Надев фрак, граф Ростопчин бросал вызов обществу и власти. По действующим в те времена правилам генерал-губернатор и обер-полицеймейстер должны были потребовать от графа носить военный мундир. Но ни тот, ни другой не решились. А петербургский почт-директор Константин Яковлевич Булгаков писал своему брату Александру в Москву: «Ты графу Ростопчину дал очень хороший совет: неприлично генералу ходить во фраке. Находится еще в оном, когда получит отставку. Подобные тузы должны первые подавать пример повиновения к правилам и законам и, отклоняясь от оных, не вводить начальников города в затруднение и неприятность». Поддавшись уговорам Александра Яковлевича Булгакова, граф Ростопчин вновь стал носить мундир, но практически перестал покидать дом. Федор Васильевич возобновил светскую жизнь, только получив возможность надевать фрак после удовлетворения прошения об отставке в декабре 1823 года. По этому поводу со свойственной ему иронией он написал графу Аракчееву: «Извещение о всемилостивейшем увольнении меня от службы я имел честь получить. Теперь остается мне единственно избрать кладбище, где, соединясь с прахом вельмож и нищих мира сего, пролежу до Страшного суда, на коем предстану с чистою совестью пред правосудие Божие. Пожелав сего всякому христианину и вам, имею честь пребыть и проч.».

Он по-прежнему был остроумен и язвителен. Как-то случился скандал между московским обер-полицеймейстером Дмитрием Ивановичем Шульгиным и генерал-губернатором светлейшим князем Дмитрием Владимировичем Голицыным. Передавали, что Шульгин в крайне резких выражениях требовал от губернатора уважительного отношения. «Вы можете плевать на Шульгина, но при малейшей обиде обер-полицеймейстеру я вам уши обрублю: мне этому не учиться», – объявил Дмитрий Иванович.

Когда эту сцену передали графу Ростопчину, он поинтересовался реакцией генерал-губернатора, который, по рассказам, ничего не ответил, а молча стриг ногти. «Так что, – заметил Федор Васильевич, – князь изменил пословице; вместо того, чтобы сказать: “Я умываю руки”, – он говорил: – “Господа, я подрезаю ногти”».

Граф охотно посещал балы и маскарады. Чаще других светские приемы устраивала графиня Анна Владимировна Бобринская, урожденная баронесса Унгерн-Штернберг, жена внебрачного сына Екатерины II, Алексея Бобринского. Графиня считалась одной из самых образованных и наиболее любимых женщин высшего света. В своем московском доме она устраивала маскарады, во время которых гости переодевались до неузнаваемости. Граф Ростопчин любил эти вечера и подолгу задерживался у Анны Владимировны. Некоторые уезжали, так и не сняв масок, и Александр Яковлевич Булгаков высказывал предположение, что хозяйка разбавляет высшее общество всякими парвеню.

Насколько грандиозными были балы у графини Бобринской, можно судить по маскараду, устроенному 30 января 1824 года. Анна Владимировна только незнакомым людям раздала 200 билетов, взяв с них обязательство не снимать масок и не раскрывать своих личностей. Во время этого праздника не смогли опознать графа Ростопчина. Хозяйка маскарада заподозрила Федора Васильевича в госте, нарядившемся пустынником. Маска так и не раскрыла свое инкогнито. Графиня приказала слуге следовать за каретой загадочного отшельника. Но выяснить, кто скрывался под этой маской, так и не удалось. Граф Ростопчин утверждал, что пропустил этот маскарад. Не прошло и месяца, как графиня Бобринская устроила новый маскарад на 150 гостей, на который прислала особое приглашение графу Ростопчину.

Казалось бы, наконец-то пришло признание на родине. Перестали сыпаться со всех сторон обвинения за деятельность на посту московского главнокомандующего.