Утешал себя Алексей Петрович и чеканкой медалей. В память о постигшей его беде 1758 года он отчеканил две медали со своим портретом и соответствующими надписями на фасе («Immobilis in mobile» и «Semper idem») и изображением на реверсе двух скал среди бушующих волн, озаряемых с одной стороны солнцем, а с другой — молнией. Таковы, по всей видимости, были символы его жизни — солнце и молнии, которым он долгие годы противостоял, как монолитная скала.

В Горетове 25 декабря 1761 года скончалась его супруга Анна Ивановна. (Двое сыновей, один из которых Пётр, упомянутый в 1742 году как совершеннолетний, умерли задолго до этого.) Пока великий канцлер ютился в крестьянской избе, в его роскошном дворце в Петербурге ежедневно заседала комиссия по похоронам преставившейся Елизаветы Петровны во главе с его заклятым врагом князем Н.Ю. Трубецким.

Восшествие на престол Петра III никакого облегчения ссыльному не принесло, и это было вполне понятно: любовницей у императора была племянница вице-канцлера Елизавета Романовна Воронцова (1739–1792), и Михаил Илларионович был у Петра III в большом фаворе. Да и прежде Пётр III относился к Бестужеву-Рюмину, мягко говоря, с большим недоверием. Он имел все основания говорить про Бестужева следующим образом: «Я подозреваю этого человека в тайных переговорах с моей женой, как это было уже раз обнаружено; в этом подозрении подкрепляет меня то, что покойная тётушка на смертном одре говорила мне весьма серьёзно об опасности, какую представляло бы возвращение его из ссылки». По некоторым данным, император подозревал Бестужева-Рюмина в совместном с женой заговоре, имевшем целью лишить его трона, и Елизавета перед своей смертью якобы наказала ему никогда не освобождать графа из ссылки.

М.И. Воронцов в первый же день восшествия на престол Петра III — 25 декабря 1762 года — исходатайствовал у него помилование и освобождение из ссылки Лестока и Бирона. Естественно, о Бестужеве-Рюмине он даже и не подумал. Людей, пользовавшихся благосклонным отношением императора и испытывавших при этом уважение к ссыльному Бестужеву, вокруг нового императора просто не было. Если Бирон, сохраняя достоинство, по части изъятого и разграбленного у него имущества никому не предъявил претензий, то Лесток, получив от императора разрешение отыскивать свои пропавшие вещи, без всякого приглашения стал наносить визиты некоторым вельможам. Он придирчиво осматривал гостиные и будуары хозяев и молча забирал то, что узнавал принадлежащим когда-то его дому. Думается, он ни секунды бы не раздумывал нанести «визит триумфатора» и к графу Бестужеву-Рюмину, но граф в это время сам был жертвой жесточайшей опалы и, лишённый всех дворцов и домов, сидел в курной избе своего Горетова.

Ссылка лишила Бестужева возможности стать непосредственным свидетелем заключения Петром III позорного мира с Фридрихом II — мира, который свёл на нет все громкие победы русской армии в Пруссии и фактически спас Фридриха II от полного разгрома. Алексею Петровичу не пришлось наблюдать за тем, как прусский посол в России Бернхард Вильхельм фон Гольц (? — 1795) стал руководить всей внешней политикой России, как всю русскую армию переодели в прусские мундиры и заставили принять устав армии Фридриха II…

Что ж, император Пётр Фёдорович, подозревая бывшего канцлера во всём нехорошем, в данном случае вряд ли ошибался: будь Бестужев летом 1762 года в Петербурге, он, возможно, принял бы в свержении императора самое активное участие.