Лето 1821 года — первое лето опалы — Вяземские провели в уединении. Лишь однажды на четыре дня приехал к ним милый и говорливый, как прежде, Василий Львович Пушкин… Опамятование от Варшавы и отставки, примирение с резкой переменой обстановки продолжалось долго и тяжело (Булгаков даже предполагал, что у Вяземского развилась меланхолия — как болезнь). «Я в деревне еще не обсиделся, — сообщал князь Тургеневу. — Тысяча… мелочей наводят тусклость на жизнь». Вяземский чувствовал себя в вакууме — старых друзей рядом нет, службы тоже, обличать и пылать негодованием не на кого… В Москву совсем не тянуло — он несколько раз высовывал туда нос и снова скрывался в деревню. Регулярно видел лишь Федора Толстого да изредка пересекался с Булгаковым. Не сходился он ни с кем в Первопрестольной, и попадались сплошь дураки: «Обухом мысли не выбьешь ни из одного»… Это был уже другой, не отцовский, не дружеский, «послепожарный» город: «Праздность, рассеянность, глупая роскошь, роговая музыка, крепостные виртуозы и в школе палок воспитанные актеры, одним словом, нелепое бригадирство». Многие годы спустя Вяземский будет негодовать на тех, кто видел в старой Москве только толпу грибоедовских персонажей, но в начале 20-х его нередко переполняли самые что ни на есть «Чацкие» эмоции. Недаром же, по одной из версий, Грибоедов кое-какие черточки Вяземского передал главному герою своей комедии…

Не мог Вяземский не знать и о том, что в Москве за ним установлен тайный полицейский надзор. Тайный-то он был тайный, но генерал-губернатор князь Дмитрий Владимирович Голицын или, что еще вернее, Булгаков наверняка сообщили о нем князю. Ходили о Вяземском дурацкие слухи (например, о том, что в деревне ему велено жить два года безвылазно — Михаил Орлов слышал это в Одессе). Книги, которые заказывал он из Польши, проходили специальную цензуру, а французские газеты пересылать из Варшавы в Остафьево запретил лично великий князь Константин. Все это были мелкие унижения, но и они вызывали досаду.

И еще не было денег. В 1819 году новые налоги сильно ударили по остафьевской суконной фабрике, так что работала она буквально на последнем издыхании. Сплошные убытки приносили тульские и костромские поместья. А деньги ох как были нужны, хотя бы для того, чтобы ремонтировать усадебный дом. Вяземский скрепя сердце занял у графа Апраксина тридцать тысяч рублей, и Остафьево надолго превратилось в строительную площадку — фасад дворца штукатурили, обустраивали оранжерею (в ней росли груши, лимоны, померанцы, персики, шпанские вишни, в теплице — арбузы и дыни), перестилали полы… Визжали пилы, стучали топоры. Пахло масляной краской. Рабочие копали колодцы. На двор усадьбы въезжали телеги с войлоком, паклей, хворостом для отопления оранжерей, цветочными горшками… Вяземский занялся планировкой усадебного парка — сделал заказ архитектору Мельникову. Задумал парк в английском вкусе, с изящными аллеями, расходящимися полукругом, с «затеями» — «Марсовым полем», гротом с фонтаном, беседками, храмами, статуей Флоры… Тогда же появились в Остафьеве Карамзинская аллея (а еще раньше Петр Андреевич и сестра его посадили березки Карамзинской рощи), роща «Огорок» и терраса под старинной липой, которую по традиции звали «Ляпуновской» — в память древнего владельца усадьбы. Перед самим домом Петр Андреевич и Вера Федоровна посадили каждый по два тополя и две ивки. Ухаживали за ними тщательно, но приживались деревья почему-то плохо и скоро погибли.

Все это развлекало, отвлекало — но иногда наваливалась такая тоска, что впору волком выть.