Екатерина немедленно закрыла заседание.

Но Орловы и Бестужев-Рюмин продолжали настаивать на своём. Из брака Разумовского и Елизаветы они решили создать прецедент. Екатерина повела при этом тонкую игру. Она не могла прямо отказать своему фавориту в желании стать её мужем — её довольно шаткое на первых порах положение во многом зависело от расположения всесильных братьев Орловых, — и согласилась составить проект соответствующего указа об официальном признании брака покойной Елизаветы и старика Разумовского. С проектом этого указа Екатерина направила к Алексею Григорьевичу графа и канцлера М.И. Воронцова.

Бывший фаворит жил в Москве в доме на Покровке. Канцлер застал Разумовского у растопленного камина. Гость показал хозяину проект и попросил у него бумаги, подтверждающие его тайное венчание с Елизаветой Петровной. Несколько минут Разумовский молчал. Потом подошёл к комоду, достал оттуда ларец и извлёк из него свёрток из розового атласа, в котором оказались пожелтевшие листы двадцатилетней давности. Подержав их в руках, Алексей Григорьевич бросил их в огонь.

— Я не был ничем более, как верным рабом её величества, — произнёс он, с трудом опускаясь в кресло…

Идея Бестужева-Рюмина сгорела в камине вместе с брачным свидетельством. Панинская партия и тут взяла верх.

Пользуясь поддержкой Орлова, граф Алексей Петрович затеял против Панина новую интригу, но, по всей видимости, не рассчитал силы. Ему уже не хватало ни такта, ни чутья, ни чувства собственного достоинства. Французский посланник Бретёйль в одной из своих реляций описывал, как Екатерина на каком-то приёме никак не могла отделаться от пьяненького Бестужева, досаждавшего ей, по-видимому, очередным прожектом.

Каплей, переполнившей чашу терпения Екатерины, оказались польские дела. Ввиду тяжёлой болезни Августа III Екатерина предпринимала отчаянные попытки сделать после его смерти королём Польши своего бывшего фаворита Станислава Понятовского. Существенную помощь в этом ей оказывал Фридрих II, а всю дипломатическую сторону дела обеспечивал Панин. Бестужев-Рюмин тоже привлекался к польским делам, но его настойчивые советы сохранить Польшу за саксонскими курфюрстами уже не отвечали новым реалиям, и Екатерина окончательно разочаровалась в нём.

«Батюшки Алексея Петровича» не стало, остался вовсе никому не нужный упрямый старец. Таким образом, тяжба за верховенство в вопросах внешней политики закончилась для Бестужева плачевно, а Никита Иванович не только удержался на своих позициях, но и скоро значительно укрепил их после отставки также «вышедшего из моды» М.И. Воронцова. В октябре 1763 года Панин, как было написано в указе о его назначении, «по теперешним небезтрудным обстоятельствам» стал безраздельно заведовать делами КИД. Не будучи официально назначен канцлером («великие канцлеры» Екатерине были ни к чему), он, тем не менее, был поставлен выше вице-канцлера князя Д.М. Голицына и в течение двух десятков лет оставался главным советником императрицы по иностранным делам.

Осенью 1763 года в Петербурге прошли совещания по поводу событий в Швеции, на которых выступил А.П. Бестужев-Рюмин. Именно он с большой настойчивостью озвучил неприемлемость для русских интересов восстановления в Швеции абсолютизма. К Бестужеву прислушались и другие участники совещания, а потом их одобрила и Екатерина. Впрочем, ничего нового бывший канцлер не присоветовал: самодержавный Петербург, начиная с Петра Великого, всегда пытался держать Стокгольм в конституционных рамках и бороться с любой попыткой шведских королей вернуться к абсолютизму.

Несмотря на холодность в отношениях с императрицей, милости Бестужеву время от времени продолжали ещё перепадать. Так, например, в конце 1763 года ему по иронии судьбы был пожалован голштинский орден Св. Анны 1-й степени — вероятно за то, что голштинская партия при русском дворе всегда его ненавидела, а он отвечал ей взаимностью.