Грибовский едва успевает заявить о себе в столице неслыханной даже для екатерининских времен роскошью, мотовством, оркестром, куда собирает лучших музыкантов и где сам неплохо играет на скрипке Страдивариуса — предмет его невероятной гордости, как наступает расплата. С приходом к власти Павла он лишается всех должностей, высылается из Петербурга, а через несколько месяцев оказывается под следствием в Петропавловской крепости по обвинению в краже картин и имущества из Таврического дворца и к тому же в переселении казенных крестьян на свои земли. Огромный выкуп, ценой которого Грибовский возвращает себе свободу, еще не может разорить его. Но через год он оказывается на этот раз в Шлиссельбургской крепости по обвинению в продаже в Малороссии казенных земель.

Обвинения в полной мере оправдываются, но вступление на престол Александра I приносит Грибовскому прекращение следствия. Свобода не означает в этих условиях оправдания. Путь на государственную службу для него закрыт. Грибовский переезжает в Москву, и здесь, проматывая остатки былого состояния, примыкает к «мартинистам» — фрондерство, в котором находят выход его личные разочарования. После событий 1812 года он вынужден и вовсе скрыться в единственном сохранившемся от распродажи имений селе Щурове под Коломной, но и живя там, объявить себя в 1817 году банкротом. Впрочем, в этом последнем шаге кредиторы усматривают способ избавиться от нарастающих долгов. Грибовскому до конца своих дней приходится судиться, защищаясь от обвинения в так называемом злостном банкротстве. Незадолго до смерти бывший статс-секретарь напишет свои воспоминания о Екатерине, естественно, очень приблизительные по сообщаемым в них фактам, — ничья память не способна выдержать тридцатилетнего разрыва во времени, — и позаботится оставить потомству свой портрет кисти модного миниатюриста двадцатых годов XIX века Фюгера.

Единственный сын Грибовского, Николай, унаследует от отца способности к языкам — после участия в Отечественной войне 1812 года он работает переводчиком — и связь с «мартинистами», симпатии к которым носят у него глубокий и искренний характер. Его-то портрет и пишет в 1818 году Левицкий — факт, подтверждаемый родным племянником Николая Адриановича, сыном его единственной сестры, вышедшей замуж за В. Губерти. Если трудно полагаться на семейные предания вообще, то утверждения Н. В. Губерти представляют исключение. Один из крупнейших русских библиографов, автор отмеченного Уваровской премией классического трехтомного труда «Материалы по русской библиографии» (XVIII век), он обладал тем методом установления фактов, который позволяет с доверием относиться к сообщаемым им сведениям. При этом характерно, что портрет Н. А. Грибовского несет на себе совершенно такую же формулу подписи: «Р. Lewizky pinxit А. 1818». Двойное повторение буквы «р» не вызывало никаких сомнений ни у кого из первых исследователей, начиная с С. П. Дягилева и И. Э. Грабаря. Не вызывало сомнений и написание фамилии, отличное от ранних работ художника. Почему? Но, прежде всего, с тех пор прошло полвека, и мастер вполне мог подписаться по-иному. Подобно своему отцу, Левицкий мог допустить изменения в написании фамилии, потому что в латинской транскрипции оно оставалось для него чужим: русский художник переводил здесь свое имя с родного языка.