Да, «пятна» бывают не только на солнце, были они и у Ягужинского. Но недостатки Павла Ивановича являлись естественным продолжением несомненных государственных и человеческих его достоинств. Он был человеком прямым, откровенным, вспыльчивым и неуживчивым. Часто (а к концу жизни — почти всегда) он, нетрезвый, громогласный и решительный, не выбирал в богатом ненормативной лексикой русском языке выражений и никого не щадил, обличая грехи и грешки петровских сподвижников. Прямота генерал-прокурора нравилась государю (который сам мало считался с этикетом и любил принародно выводить воров и проходимцев на чистую воду), но страшила других «птенцов гнезда Петрова», которые могли похвастаться многим, но только не честностью и неподкупностью. Больше всего генерал-прокурор досаждал вору из воров — Меншикову, которого, в отличие от других сановников, совсем не боялся и разоблачал его с пеной у рта, как только представлялся к этому случай. А случаев этих было предостаточно, как можно догадаться из помещенного выше рассказа о жизни светлейшего.

Неудивительно, что как только Петр Великий умер, Меншиков и другие сановники, оказавшиеся у власти при Екатерине I, постарались «задвинуть» Ягужинского. Они создали Верховный тайный совет, но Ягужинского в него не только не включили, а далее должности генерал-прокурора лишили — кому же нужен был такой обличитель их пороков? Между тем в управлении страной они активно пользовались идеями Ягужинского. Именно он уже в первые месяцы после смерти Петра Великого стал инициатором изменения политического курса страны, подал Екатерине I «Записку о состоянии России», в которой оценил это состояние как критическое. Он предлагал облегчить для народа налоговое бремя, сократить военные расходы, отказаться от завоевания новых территорий: известно, что в конце жизни Петр устремился мечтами к Индии, готовил туда поход, собирался послать корабли на остров Мадагаскар, чтобы создать там базу для завоевания Индии.

Меншиков и другие «верховники» (члены Верховного тайного совета) своего добились. Ягужинского сначала сделали штальмейстером — главным начальником царских конюшен, а потом вообще отправили с глаз долой — послом в Пруссию. Но перед отъездом Ягужинский все-таки сказал Меншикову все, что о нем думал. Больше им судьба не предоставила возможности поругаться. Когда Ягужинский вернулся в Петербург, сосланный Меншиков уже устраивался на новом месте, в Сибири. Но к этому времени карьера и самого Ягужинского была сломана — «око государево» в России уже не требовалось.

Ягужинский был мужчина красивый и очень нравился женщинам. С нескрываемой симпатией пишет о нем леди Рондо, жена английского посланника при дворе Анны Иоанновны: «Его наружность прекрасна, черты лица неправильны, но очень величественны, живы и выразительны. Он высок и хорошо сложен. Манеры его небрежны и непринужденны, что в другом человеке воспринималось бы как недостаток воспитания, а в нем столь естественно, что всякому видно: он исполнен достоинства, привлекающего к себе взоры даже в очень большом собрании, словно является в нем центральной фигурой».