В 1772 г. канцлер Никита Иванович сумел ослабить влияние Орловых, он предложил назначить фаворита главой русской делегации на Фокшанском мирном конгрессе для ведения переговоров с турками. Но по опыту Панин знал, что прямой и вспыльчивый Григорий — плохой дипломат. Негибкая позиция Орлова фактически привела к срыву мирных переговоров. Этот роковой удар означал конец карьеры Григория Григорьевича, он помчался в Петербург, но было уже поздно, на дороге его остановил карантин. В эти дни совершился маленький придворный переворот: все заметные места заняли сторонники Паниных, и господствующей силой при дворе стала партия наследника Павла Петровича. Место фаворита занял А. С. Васильчиков — ставленник Никиты Ивановича Панина. Плотная стена сторонников сына замкнулась вокруг императрицы.

Ответный удар Екатерины доказывал, что она многому научилась у своего канцлера. Императрица объявила о желании женить наследника Павла Петровича. На первый взгляд, это был триумф партии цесаревича, ведь по понятиям того времени брак доказывал совершеннолетие человека. Казалось, Екатерина II спешит выполнить все формальности для передачи сыну короны. Именно Никите Ивановичу было поручено подыскать достойную кандидатуру невесты. Группировка Паниных находилась в зените своей силы почти год, за это время многое можно было сделать, по крайней мере вытребовать из Москвы Петра Ивановича. Но канцлера подвела его всегдашняя медлительность и осторожность. Считая дело почти выигранным, он постарался не раздражать императрицу, чтоб не спугнуть так великолепно развивавшуюся интригу.

Первым неладное почувствовал именно Петр Иванович, переписывавшийся с Фонвизиным. Ему, человеку серьезному и семейному, в отличие от влюбчивого ветреного брата, было ясно, что брак надолго может отвлечь внимание цесаревича Павла от политики, а сохранение влияния на него отныне будет в зависимости от отношений с будущей супругой.

С начала 1773 г. императрица предпринимает шаги для возвращения Орловым былого политического могущества. Григорий Григорьевич вновь начинает появляться при дворе, именно он, а не Никита Иванович, сопровождает императрицу и Павла Петровича на встречу с невестой цесаревича — принцессой Вильгельминой Гессен-Дармштадтской, приехавшей в Россию.

Вскоре письма Фонвизина из Петербурга становятся довольно тоскливыми. В канун свадьбы наследника в сентябре 1773 г. он писал в Москву: «Мы очень в плачевном состоянии. Все интриги и все струны настроены, чтоб графа (Н. И. Панина — О. Е.) отдалить от великого князя… даже до того, что под претекстом (предлогом — О. Е.) перестраивать покои во дворце велено ему опорожнить те, где он жил… Бог знает, где граф будет жить и на какой ноге. Только все плохо, а последняя драка будет в сентябре, то есть брак его высочества, где мы судьбу свою узнаем». Данное письмо обращено не к Петру Ивановичу, а к сестре драматурга Е. М. Фонвизиной. Сведения, сосредоточенные в нем, вероятно, предназначались для передачи генералу П. И. Панину. Писать прямо становилось небезопасно, в конце лета, по повелению Екатерины, Волконский усилил надзор за Паниным.

Императрица приказала Волконскому послать к генералу «одного надежного человека выслушать его дерзкие болтанья». Петр Иванович, видимо, почувствовал слежку, прекратил агитацию и замкнулся.