Проходят долгие четырнадцать лет. Шувалов объездил всю Европу, близко сошелся с «фернейским патриархом» — Вольтером, помог актеру Дмитревскому завязать дружеские отношения с знаменитым французским комиком Лекеном и актрисой Дюмениль, готовившими реформу современного театра. Он гость всех монархов, которые почему-то принимают его с королевскими почестями, и он же верная тень пресловутой княжны Таракановой, с которой встречается не часто, но постоянно переписывается, стараясь быть рядом.

Однако недолгая эпопея княжны завершилась трагической гибелью в Петропавловской крепости, и именно после нее Екатерина II вспоминает о Шувалове и день ото дня настойчивее начинает настаивать на его возвращении. Всякие отговорки становятся опасными, колебания бессмысленными, и былой фаворит в конце концов решается вернуться на родину. В сентябре 1777 года Шувалов в Петербурге. Екатерина немедленно посылает осведомиться о его здоровье и звать во дворец. На следующий день в честь «такого дорогого гостя» (слова императрицы!) устраивается вечернее собрание Эрмитажа. Потемкин и Григорий Орлов оспаривают друг у друга честь представить собравшимся новоприбывшего. Газеты Москвы и Петербурга печатают приветственные стихи. Среди авторов приветствий Г. Р. Державин, в свое время мечтавший сопровождать И. И. Шувалова в поездке, но, к величайшему своему огорчению, задержанный родственниками.

Шувалов назначается обер-камергером и теперь обязан постоянно сопровождать императрицу. Для знатока хитросплетений закулисной жизни русского двора дипломата Гельбига происшедшая метаморфоза логична и легко объяснима: «Разве не видно из этого призвания ко двору, что Екатерина имела в виду заплатить отцу деньгами и орденами за отнятую у него и насильно лишенную жизни дочь, лишь бы замять это гнусное преступление». В глазах многих из современников И. И. Шувалов был родным отцом так называемой княжны Таракановой.

Новые обязанности, а главное, придирчивый контроль самой императрицы, не спускавшей с былого фаворита глаз, долго не дают Шувалову добраться до Москвы. Его положение необычайно осложнилось тем, что в первые же дни пребывания в Петербурге он получил пространное письмо от бывшего почт-директора Фридриха Аша. Поныне сохраняющееся в Центральном государственном архиве древних актов, оно объявляло Шувалову тайну его рождения — сын Анны Иоанновны и пресловутого Бирона! Дворцовый переворот в пользу «принца» должен был организовать податель письма, старший сын к тому времени уже скончавшегося Аша.

Правда, Шувалов без малейшего колебания тут же выдает преданного офицера. Оставив молодого Аша в собственной спальне, он поспешил с доносом во дворец. Судьба Аша-сына была решена. Арестованный прямо в шуваловском доме, он больше не увидел свободы, объявленный буйно помешанным узник одного из суздальских монастырей. Его положение оставалось неизменным и при Екатерине, и при Павле, и при Александре I — неизбежная расплата за сомнение в законности власти державных правителей.

И все равно И. И. Шувалов просчитался. Он искал покоя и безопасности, а вызвал самые тяжелые подозрения независимо от того, насколько близко к истине было содержание письма. Теперь все его действия тем более проверяются, о каждом своем передвижении он обязан «делиться впечатлениями» с самой императрицей. В Москве Шувалов оказывается только летом 1778 года. Здесь у сестры Прасковьи все годы хранились наиболее дорогие ему вещи, картины, среди которых, скорее всего, и была память о былой коллекции — рокотовский «Кабинет». Именно в это время Ф. С. Рокотов, живший постоянно в старой столице, имел возможность встретиться с былым покровителем и получить разрешение на копирование своей старой картины — идея, исходившая от Н. Е. Струйского.

В каком из шуваловских домов сначала находился «Кабинет»? По-видимому, в том самом, который так спешно строит для фаворита еще по чужому, не собственному, проекту привезенный им из Москвы вчерашний архитектурный подмастерье А.