Гуннинг считал причиной утраты фаворитом влияния на императрицу его леность. Екатерина, доносил он в Лондон в 1772 году, «желала и намеревалась образовать его, если возможно, для занятия делами и в случае успеха доверить ему министерство иностранных дел; но совершенное отсутствие в нем трудолюбия заставило ее отказаться от этого намерения». Преодолеть леность уговаривал фаворита и его брат Алексей Орлов, но достичь этого не удалось ни ему, ни императрице, что не мешало ей высоко оценивать его добродетели.

Так, в 1763 году она писала послу России в Речи Посполитой Кейзерлингу: «Еще раз рекомендую вам этого молодого человека; он пошел в род свой, с которым благодарность связывает меня по гроб». Более трезвый отзыв императрицы о фаворите относится к 1775 году, когда Орлов уже пребывал в отставке. Подруге своей матери Бьельке она писала: «Если когда-нибудь вам придется встретить его, вы увидите бесспорно самого красивого мужчину из всех тех, которых удавалось вам видеть в жизни». Далее Екатерина наградила фаворита свойствами, из которых он обладал далеко не всеми. Она писала, что «природа наделила его всем как со стороны внешности, так и со стороны сердца и ума. Это — баловень природы, который, получив все без труда, сделался ленивцем». «Орлов большой лентяй», — писала Екатерина Жоффрен в 1766 году.

Императрица права относительности внешности, сердечности и лени Орлова, но вот ума современники у него не обнаруживали. Хитрово, в 1763 году осуждавший намерение Екатерины обвенчаться с Григорием Орловым, считал среди братьев Орловых самым умным Алексея, а Григорий представлялся ему человеком глупым.

О заурядности Г. Г. Орлова — правда, уже после его отставки — писал и шевалье де Корберон: «Из друзей императрицы, быть может, один только Орлов имел силу давать ей смелые и достойные уважения советы; но будучи увлечен свойственным рабству эгоизмом, он кончил тем, что стал жить только для себя. Притом, не имея никаких познаний в управлении, он остался в свойственном его родине состоянии невежества и стал совершенно бесполезным государству».

В другой характеристике, оставленной Корбероном после того, как Орлов услужил секретарю, негативные качества фаворита несколько смягчены: «Это человек откровенный, прямой и честный; твердость никогда не покидала его; у него решительный характер. Если бы с этими качествами он соединил в себе государственные познания и умел держать себя как нужно в его положении, из него вышел бы великий министр России».

Надо, однако, отметить заблуждение автора дневника, считавшего, что Григорий Орлов оказался в фаворитах великой княгини потому, что она, претендуя на трон, обнаружила в нем свойства государственного деятеля, но этот деятель обманул ее ожидания и, оставаясь в состоянии невежества, оказался «совершенно бесполезным государству». Мы множество раз убедились, что полезность государству не относилась к первостепенной важности критериям подбора фаворитов.

У Орлова было множество возможностей проявить себя в качестве государственного деятеля и «застолбить» свое имя в истории страны. Он мог, например, прославиться на дипломатическом поприще — в 1772 году Екатерина назначила его руководителем делегации, отправлявшейся в Фокшаны для мирных переговоров с Османской империей. Легкомыслие, однако, лишило фаворита этой возможности — ему стало известно, что императрица подыскивает преемника в фаворе, и он, бросив конгресс, помчался в Петербург.

Реальных успехов Г. Орлов достиг лишь однажды, в 1771 году, когда в Москве вспыхнул чумной бунт. Орлов сам вызвался отправиться в Белокаменную и быстро навел там порядок, проявив немалое личное мужество: он учредил вокруг Москвы крепкие заставы и, пренебрегая опасностью, появлялся в местах скопления народа — в церквах, на рынках.

Тревога Екатерины за судьбу фаворита выразилась в ее письме к нему от 3 декабря-1771 года, в котором она предложила ему выехать из Москвы в новую столицу «не мешкав дале» в придворной карете, которую она для этой цели отправила в Москву.