Интрига канцлера потерпела полный крах. Ко двору снова явился И.И. Шувалов и занял своё «законное» место. С главенствующим положением семьи Шуваловых при дворе Елизаветы Петровны следует связывать и поворот внешней политики в сторону Франции, и создание русско-австро-французской коалиции против Пруссии. Бестужев был на страже всех начинаний Шуваловых и Воронцова, но активного участия в них не принимал. Против антипрусской направленности этой коалиции он возражать, естественно, не мог. Новый фаворит целиком овладел расположением государыни и успешно парировал все контрвыпады канцлера.

В 1751 году канцлер, по оценке Соловьёва, ещё «крепко держался на своём месте, пользуясь полною доверенностию императрицы», неуклонно проводя в жизнь свою систему «осоюзивания» европейских держав, чтоб связать руки Пруссии и Франции.

Главной его личной проблемой в этот период было безденежье. Еще в 1745 году он обратился к Елизавете за разрешением продать подаренный ему дом А.И. Остермана: ни содержать, ни ремонтировать его средств не хватало.

В октябре 1752 года он обратился с письмом к Елизавете, в котором просил оказать ему помощь: «Я такой тягости долгов подпал, что оной прибавить уже невозможно. Кредиту тем лишаюсь, никакого уже заимодавца… не нахожу и так что при наступающей поездке в Москву, как с места тронуться, не знаю. Всё заложено, что с пристойностью заложить можно было».

Он подробно описывает своё трудное финансовое положение и жалуется, что доходов с личных деревенек не хватает, а представительские расходы его как великого канцлера Российской империи постоянно растут. Кроме того, много денег уходит на содержание дома в Москве и на ремонт полученного в подарок от императрицы огромного дома в Петербурге. Кстати, сообщает он, петербургский дом, когда-то принадлежавший А.Д. Меншикову, а после него — Б.-Х. Миниху, уже заложен, а выкупить его за уже пожалованные 40 000 рублей до сих пор было невозможно. Отделку дома и окультуривание близлежащей территории канцлер «хитро» объясняет необходимостью соответствовать находящимся рядом императорским дворцам и садам — самому-то ему по возрасту (60 лет) и болезням всё это было бы не нужно, а для сына он и конуры бы не оставил после своей смерти! И в конце письма — сама просьба: «да соизволите пожаловать мне из субсидных денег заимообразно 50 000 рублей на десять лет так, чтоб каждый год из моего жалованья по 5000 вычитаемо, а в случае пресечения моей жизни без взыскания с моих наследников оставлено было».

Канцлер забыл упомянуть ещё об одной статье своих огромных расходов — вино и карты. Впрочем, Елизавета об этом отлично знала, и ответа на письмо не дала. Враги Бестужева радовались. Но воспоможение всё-таки последовало — правда, пришло оно к нему лишь через два года.

Конечно, канцлер сильно преувеличивал своё безденежье. О том, что Алексей Петрович гневил Бога, постоянно ссылаясь на свою бедность, пишет историк М.И. Пыляев. В окрестностях Петербурга у канцлера было имение Графское, оно же Каменный Нос, что в Новой и Старой Деревне. Имение было отобрано у Э. Бирона и подарено А.П. Бестужеву-Рюмину. (Граф, по свидетельству Пыляева, «подобрал» многое из того, что когда-то принадлежало опальным Остерману, Головкину и Бирону.) В 1762 году Бестужев построил в Новой Деревне для крестьян церковь во имя Благовещения, на колоколе которой были изображены герб и медали, выбитые когда-то в честь великого канцлера.

Ещё было имение на Каменном острове, доставшееся графу от М.Г. Головкина. Бестужев вложил в него деньги, которые пошли на устройство поперёк острова рва. Он велел обложить ров камнем, вокруг развёл голландские сады, а ниже, по Большой Невке, устроил тоню, которой могла воспользоваться гуляющая публика. Стоимость рыбалки колебалась от 50 копеек до полутора рублей. Рядом был построен так называемый вокзал с несколькими комнатами, в которых желающие могли откушать ухи, выпить мёда и вообще подкрепиться.