Похоже, иностранные дипломаты относились к Панину несколько благожелательнее, чем русская императрица. Британский посол Гаррис в 1778 году доносил: «Надо обладать сверхчеловеческим терпением, чтобы вести дела с людьми настолько ленивыми и не способными ни выслушать вопроса, ни дать рассудительный ответ. Вы едва ли поверите, что граф Панин посвящает деловым занятиям по получасу в день». В том же 1778 году посол Франции Карберон отправил депешу со схожим отзывом о Панине: «Граф Панин слаб, как и все лица этого двора, держащиеся милостию; доверие, которым он пользуется, бывает иногда бесполезно. По натуре он чувствителен, а из системы и по привычке ленивец. Слово „нет“ ему неизвестно, но обещания свои выполняет редко, и если с его стороны по-видимому лишь изредка встречаешь в чем-нибудь отпор, зато и подаваемые им надежды почти никогда не сбываются. К числу черт его характера принадлежит и хитрость — та хитрость, что он окружает вас вежливостью и тысячами любезностей, заставляющих человека, беседующего с ним о делах, забывать, что он говорит с главным министром императрицы, а этим он отвлекает собеседника от предмета его миссии и сбивает его с серьезного тона, которого следовало бы ему держаться среди увлекательной и опасной беседы».

Карберон возвратился к теме ленивости Панина еще раз два года спустя, описав его распорядок дня: «Он встает очень поздно, забавляется рассматриванием эстампов или новых книг, потом одевается, принимает являющихся к нему, затем обедает, а после того играет в карты или спит, потом он ужинает и очень поздно ложится. Старшие чиновники его работают нисколько не больше его и проводят время за картежной игрой, причем проигрывают пропасть денег, до шестисот рублей в вечер, как случается, например, с Фонвизиным или Морковым, Бакуниным и др.»

Все эти депеши относятся к концу 70-х годов. Но и в первой половине этого десятилетия посол союзной Пруссии, граф Сольмс, пользовавшийся особым расположением Панина, не отмечал его служебного рвения. В январе 1774 года Сольмс доносил королю: «Неприятно видеть, что этот министр, который и никогда не был особенно трудолюбив, теперь еще гораздо менее деятелен, и позволяет себе несравненно более развлечений с тех пор, как он покинул двор, чем когда он занимал там должность обер-гофмейстера. Вдобавок он становится болезненным, и я боюсь, что он едва ли продержится долго. Дела слишком страдают от такого безделья».

Итак, иностранные дипломаты, равно как и Екатерина, упрекали Панина в лености. Быть может, ключ к объяснению снижения работоспособности Панина лежит в донесении английского посла Гуннинга, отправленном тремя годами раньше: «В последнее время враги графа Панина распространяют слух, будто бы с ним недавно произошло нечто вроде апоплексического удара, что значительно ослабило его способности. И мне известно, что несколько дней тому назад он сам в присутствии императрицы говорил, что нервы его чрезвычайно ослабели и что он уже не в состоянии много заниматься делом. Все полагают, что он хотел приготовить императрицу к своему удалению от службы, событие, которое очень обрадует графа Потемкина и Чернышовых, так как всего их влияния оказалось недостаточно, чтобы устранить его от должности, хотя в последнее время их мнение перевешивало его мнение во многих случаях».

О благородстве натуры Панина и его бескорыстии свидетельствует его поступок, изумивший современников. В 1773 году императрица щедро наградила воспитателя своего сына, достигшего совершеннолетия и более не нуждавшегося в опеке. Никите Ивановичу было пожаловано звание, приравненное к фельдмаршальскому, жалованье со столовыми деньгами, 8412 душ крепостных, 100 тысяч рублей на меблировку дома.