Поначалу императрица и не думала расставаться с мужем, полагала, что он простит измену, «покроет» единичный случай ее «слабости». И, кажется, Григорий Александрович готов был на это пойти, но требовал удаления Завадовского. Однако Екатерина считала, что, совершив такой шаг, она только укрепит слухи в обществе, и просила Потемкина оставить мимолетного любовника в покое. Ситуация стала патовой. Если бы императрица удалила Завадовского, она бы в глазах придворных группировок только подчеркнула свою зависимость от Потемкина. Как государыня Екатерина не могла себе этого позволить. Со своей стороны Григорий Александрович боялся потерять лицо и как мужчина (ему изменили, и весь свет знает об этом), и как государственный человек (его требования больше не выполняются).

К этому времени Потемкин уже понял, что отстаивать за собой исключительное положение любимца ему придется не только на сердечном поприще, но и в жестоких схватках с противоборствующими партиями. У него сложилась своя небольшая группировка. Опираясь на нее, он пытался противостоять враждебным действиям Паниных и Орловых. Однако сам факт существования «конфидентов» Екатерина восприняла очень болезненно, сразу же переведя дело в личную сферу. «Сожалетельно весьма, — писала она, — что условленность у вас с Гагариным, Галициным, Павлом, Михаилом и племянником, чтоб свету дать таковую комедию, вашим и моим зладеем торжество. Я не знала по сю поре, что вы положение сего собора исполняете, и что оне так далеко вникают в том, что меж нами происходит. …У меня не единого есть конфидента в том, что до вас касается, ибо почитаю ваши и мои тайны, и не кладу их никому на разбор».

Говоря о «конфидентах», Екатерина лукавит: Прасковья Брюс, пользовавшаяся в это время еще полным доверием императрицы и когда-то указавшая ей на Потемкина, теперь усиленно создавала у своей «хозяйки» благоприятное мнение о Завадовском и всячески чернила старого фаворита.

Перечисленные императрицей лица — С. С. Гагарин, С. Ф. Голицын, троюродные братья П. С. Потемкин и М. С. Потемкин, а также племянник А. Н. Самойлов. Эта группировка была еще слишком слаба. Скорее ее члены удерживались на своих постах благодаря весу Григория Александровича, чем сами могли его поддерживать. Противостоять же им приходилось во много раз более сильным и опытным противникам.

Первыми атаку начали Орловы. В самом конце 1775 года Алексей Григорьевич подал в отставку со всех постов. Это был демонстративный шаг, очень напоминавший давний поступок П. И. Панина. Недаром случившееся так оскорбило императрицу. Алексей ставил вопрос ребром: Екатерина передала слишком много власти новому любимцу, для ее старых, испытанных сотрудников такое положение унизительно, теперь она должна выбирать — либо он, либо они.

Ситуация очень похожа на ту, которая сложилась двенадцать лет назад в Москве после коронации Екатерины. Власть, захваченную Орловыми, другие вельможи посчитали чрезмерной. Один слух о возможном венчании императрицы с Григорием Григорьевичем вызвал ропот возмущения и заговор Федора Хитрово с целью убийства братьев Орловых. Нечто подобное теперь грозило и Потемкину. Екатерина прекрасно понимала нараставшую угрозу, и ее отдаление от прежнего возлюбленного — это, кроме всего прочего, еще и попытка защитить его. Точно так же она когда-то отказалась от плана брака с Орловым, но в тот момент сохранила его как фаворита. С Потемкиным ситуация была обратной. Он уже являлся мужем, но Екатерина пошла на личный разрыв.

Все происходящее было для обоих крайне болезненно. 9 февраля 1776 года из заграничного путешествия вернулся Г. Г. Орлов, в марте он слег с лихорадкой. В «публике» сразу заговорили об отравлении Орлова Потемкиным.