Возможно, новый фаворит имел меньше любовного опыта, чем Потемкин, и потому так безоглядно влюбился. «Ты самый Везувий», — писала она Завадовскому. Возможно, к его неопытности относятся и слова: «...когда менее ожидаешь, тогда эрупция окажется; но нет, ничего, ласками их погашу. Петруша милый!» Ее переписка с Завадовским менее формальна, чем с Потемкиным. Он называет ее «Катюша» или «Катя», а не «Матушка» и «Всемилостивейшая Государыня». Письма императрицы к Завадовскому кажутся более интимными: «Петрушинька, радуюсь, что моими подушечками тебя излечила, а буде ласка моя способствует твоему здоровью, так не будешь болен никогда».

Завадовский часто болел, скорее всего, от постоянного нервного напряжения. Он не выдерживал интенсивности окружавших его интриг и ненависти. Несмотря на то что Екатерина постоянно заверяла его в своих чувствах, он не мог успокоиться: на его частную жизнь смотрели «в микроскоп». Она не понимала, что с ним творится, а он не обладал способностью Потемкина добиваться от нее того, чего хотел. Прежде всего он должен был сносить вездесущность самого светлейшего, которому уделяли внимание каждый раз, как он того требовал. Когда они ссорились, их отношения улаживал Потемкин: «Нужно нам обоим восстановление душевного покоя! — писала Екатерина. — Я наравне с тобою три месяца стражду, мучусь... Князю Гри[горию] Александровичу] говорить буду». Разговоры с Потемкиным о чувствах Завадовского едва ли способствовали восстановлению душевного равновесия фаворита. Позднее он утверждал, что постоянное присутствие кипучего Потемкина было ему безразлично, но на самом деле князь угнетал его и он старался его избегать. «Я не понимаю, — писала императрица Завадовскому, — почему на меня не можешь возреть без слез». Когда Потемкин получил титул светлейшего князя, Екатерина приказала Завадовскому: «Буде ты пошел новую Светлость поздравить, Светлость примет ласково. Буде запресся, ни я, никто не привыкнет тебя видеть».

Рассказывали, что Потемкин однажды, вспылив, потребовал у императрицы отставить Завадовского, ворвался к ним в комнаты и запустил в Екатерину шандалом. Это очень похоже на Потемкина, но, если такая вспышка действительно случилась, мы не знаем, что послужило ее причиной. Возможно, скучный Завадовский ему надоел или рассердил своей дружбой с его недругом Семеном Воронцовым. Завадовский, несомненно, был весьма ограниченной натурой, ничем не схожей с Потемкиным; возможно, он раздражал и Екатерину.

Дипломаты заметили подавленное настроение фаворита. Уже в середине 1776 года Корберон желал узнать «имя следующего фаворита [...] потому что, говорят, Завадовский уже клонится к закату». Сравнивая работу дипломатов по расшифровке екатерининского фаворитизма с реальностью XX века, ее можно сравнить и с «кремлевской аналитикой», и со сплетнями из желтой прессы: они занимались разгадыванием обманных маневров, иногда двойных. «О фаворе судят по степени немилости», — записал французский поверенный в делах.

Через год и Екатерина наконец заметила уныние Завадовского. В мае 1777 года она написала ему: «Мне князь Ор[лов] сказал, что ты желаешь ехать, и на сие я соглашаюсь [...] После обеда, буде будешь кушать, я могу с тобою увидеться». Между ними произошел тяжелый разговор — естественно, переданный в подробностях Потемкину: «Я посылала к нему и спросила, имеет ли он, что со мною говорить? На что он мне сказал, что, как он мне вчерась говорил, угодно ли мне будет, естьли кого выберет».