Вяземский очень рано начал тосковать по безмятежным временам своего детства, по допожарной Москве и отцовскому салону. Уже в 29-летнем возрасте он посвятил этой Москве взволнованный пассаж в статье о И.И. Дмитриеве: «Москва была тогда истинною столицею русской литературы и удовольствий общежития образованного; памятники блестящего двора Екатерины доживали свой век в тихой пристани и придавали московскому обществу какую-то историческую физиогномию». Но Отечественная война, пожар города, пишет Вяземский дальше, «еще разительно означаются в отношении к нравственному опустошению. Цветущий возраст московского общества миновал». Послепожарная Москва, по мнению Вяземского, стала уже совершенно другой, безвозвратно лишилась только ей присущей духовной ауры… Хотя князь любил родной город на протяжении всей жизни и лучшие его стихи о Москве были написаны в старости, в 60-х годах, все же «истинной», идеальной Москвой остался для него совсем небольшой, по нынешним меркам, — всего 275 тысяч населения — город, поглощенный огнем в сентябре 1812-го.

Слава Богу, что Вяземскому не суждено было узнать о судьбе его родного дома в жестоком XX веке. Вскоре после революции в старинной усадьбе разместится УЛИСО — Управление личного состава флота, где будет командовать ценительница изящного с наганом за поясом — обаятельная и жестокая Лариса Рейснер. В 1926 году Малый Знаменский переулок будет переименован в улицу Маркса и Энгельса, а в 1933—1936 годах Музей Маркса и Энгельса будет размещаться в комнатах бывшего дома Вяземских. В мае 1962 года этот музей будет открыт там уже повторно… И все-таки судьба оказалась к старинной усадьбе милостива — пусть в перестроенном виде, она уцелела и некоторое время служила резиденцией Российскому Дворянскому собранию. В 2002 году здание было передано Музею имени Пушкина.

Правда, к этому времени оно выглядело далеко не так презентабельно, как при советской власти. Во времена Музея Маркса и Энгельса усадьба, естественно, содержалась в образцовом порядке. А XXI век она встретила в ужасающем состоянии. Серое, с безобразно обвалившейся штукатуркой на фасаде, с лепными серпами и молотами, с остатками запущенного сада, с крохотной невзрачной табличкой «Памятник архитектуры. Охраняется государством» и амбарным замком на дверях, родовое гнездо Вяземского спустя 210 лет после его рождения выглядело — особенно в сравнении с соседним Музеем Рерихов — убого и жалко. Увы.

…Андрей Иванович разрешал сыну присутствовать при беседах взрослых. Иногда, если гостей было не очень много, в одиннадцатом часу оставляли его и ужинать за общим столом. Беседой чаще всего владел хозяин дома — блестящий спорщик «по вопросам метафизическим и политическим». Нанизав себе на пальцы несколько соленых крендельков, которые подавались к водке, Андрей Иванович с легкой улыбкой выслушивал возражения собеседников и тут же наносил искусный ответный выпад… Петр внимательно прислушивался к table-talks, «многого из разговоров не понимал… иное понимал криво», но все же изредка вставлял свое слово, которое всегда принималось со всей серьезностью и даже могло послужить темой новой беседы. От гостей отца мальчик впервые услышал прекрасную, сочную русскую речь и множество любопытных историй времен Екатерины II. В Москве тогда доживали некогда могущественные государственные деятели, отставные вельможи, много повидавшие на своем веку. У Андрея Ивановича бывали подлинные аристократы по духу и крови. Многочисленный клан Оболенских — десять двоюродных братьев и сестер Андрея Ивановича породнились с Гагариными, Стакельбергами, Мелыуновыми, Мусиными-Пушкиными, Щербатовыми, Дохтуровыми…

Прекрасно образованный граф Дмитрий Петрович Бутурлин, обладатель великолепного книжного собрания, впоследствии директор Императорского Эрмитажа, умерший во Флоренции и давший начало итальянской ветви Бутурлиных, — в чине тайного советника и действительного камергера он не имел ни одного ордена, что было поистине удивительно.