После пожара Вяземский остался в Москве без кола и двора — с женой и двумя крошечными детьми на руках (7 августа 1813 года Вера Федоровна родила дочь Машу). Родной отцовский дом уцелел при пожаре, но он уже не принадлежал Вяземскому: по совету Карамзина был продан генерал-майору Алексею Тимофеевичу Тутолмину, сыну московского генерал-губернатора. Пришлось поселиться в неаристократическом районе, на Старой Живодерке, где стоял одноэтажный деревянный дом, боком выходивший на Садовое кольцо и принадлежавший отчиму Веры Федоровны полковнику Кологривову. Дом был огромный, с садом и огородом — настоящая усадьба посреди города. Гостеприимством этой усадьбы Вяземские пользовались около трех лет, на лето обычно выбираясь в Остафьево. Семейная жизнь мало-помалу наладилась, вошла в послепожарную колею. Однако счастье молодых супругов омрачила внезапная смерть в августе 1814 года двухлетнего первенца — сына Андрюши.

В конце июля 1814-го Вяземский, которому только что исполнилось двадцать два, подвернулся под перо Филиппу Вигелю, прибывшему в Москву с рекомендательными письмами. «Меня сначала смутила холодность, с какою, казалось мне, был я принят, — пишет Вигель. — Вяземский, с своими прекрасными свойствами, талантами и недостатками, есть лицо ни на какое другое не похожее… Он был женат, был уже отцом, имел вид серьезный, даже угрюмый, и только что начинал брить бороду. Не трудно было угадать, что много мыслей роится в голове его; но с первого взгляда никто не мог подумать, что с малолетства сильные чувства тревожили его сердце: эта тайна открыта была одним женщинам. С ними только был он жив и любезен, как француз прежнего времени; с мужчинами — холоден, как англичанин; в кругу молодых друзей был он русский гуляка. Я не принадлежал к числу их и не имел права на его приветливую искренность. Но с неподвижными чертами и взглядом, с голосом немного охриплым, сделал он мне несколько предложений, которые все клонились к тому, чтобы в краткое пребывание мое в опустевшей Москве доставить мне как можно более развлечений. Он поспешил записать меня в Английский клуб… пригласил меня на другой день к себе обедать и назначил мне в тот же вечер свидание на Тверском бульваре… куда два раза в неделю остатки московской публики собирались слушать музыку». Чуткому и обычно придирчивому к людям Вигелю Вяземский явно понравился, хотя мемуаристу показалось странным, что в доме князя он слышал только французскую речь — ни слова на русском. «Стыдно, право, Вяземскому, который так славно писал на нем, так чудесно выражался на нем в разговорах, что он не попытался ввести его в употребление в московском обществе, где имел он такой вес, — пишет Вигель, но тут же оговаривается: — Мне ли упрекать его, когда с любезными ему французами он храбро сражался и в славной Бородинской битве готов был проливать кровь за отечество?»

«Развлечения» на руинах Москвы всю весну и все лето более или менее были связаны с победным окончанием заграничной кампании — 19 марта 1814 года пал Париж. «День чудес невероятных! Мы в Париже, — ликует Вяземский в письме к Тургеневу. — Шутки в сторону, дела великие и единственные… Я отдал бы десять лет и более своей жизни, отдал бы половину и более достояния моего, чтобы быть 19 марта в Париже». Первый джентльмен и дипломат Европы Александр I с триумфом возвращается на родину… Первопрестольная хлебом-солью принимала воинов-победителей — в их числе был и брат Веры Федоровны Федор Гагарин, уже произведенный в гусарские майоры, с новеньким Георгием IV степени на груди… 19 мая в Москве, в доме статского советника Полторацкого у Калужских ворот, состоялся пышный праздник в честь взятия французской столицы.