В царствование Павла Вяземский вышел в отставку, поселился в Москве и занялся строительством в своей подмосковной деревне — Остафьеве. В эти годы отношения Вяземского и Карамзина становятся более близкими и дружескими. Из посетителя общих вечеров Карамзин превратился в особенно желанного гостя. П. А. Вяземский, в то время мальчик, вспоминает, что они с младшей сестрой сердились на него: «В те редкие вечера, когда салоны наши не переполнялись посетителями, а было два-три человека, иногда и никого, отец оставлял нас, детей, ужинать с собою, обыкновенно в одиннадцатом часу. Понятно, что эти дни дорого ценились нами. Не знаю, по какому случаю и по каким соображениям, Карамзин бывал гостем нашим именно в эти исключительные дни. Отец был великий устный следователь по вопросам метафизическим и политическим; сказывали мне, бывал он иногда и очень парадоксальный, но блестящий спорщик. Беседы и прения его с Карамзиным длились без конца. В ожидании вожделенного ужина мы дремали в соседней комнате, а ужин был все отлагаем позднее и позднее».

Осенью 1803 года Карамзин заметил, что его влечет в дом Вяземских не столько беседа с князем, сколько желание видеть старшую дочь Вяземского, Екатерину Андреевну. Он был старше ее на 14 лет: ему — тридцать восемь, ей — двадцать четыре. Екатерина Андреевна, как догадывался Карамзин, была влюблена в него. Ему все чаще вспоминался странный сон, который он увидел незадолго до кончины Лизаньки. Однажды, утомленный, умученный бессонницей, он уснул и увидел сон: он стоит у вырытой могилы, а на другой стороне — Екатерина Андреевна и подает ему руку…

В декабре 1803 года Карамзин сообщает о предстоящей женитьбе на Екатерине Андреевне другу юности, с которым подружился в Париже во время путешествия, барону Вильгельму фон Вольцогену. «После того, как в течение 18 месяцев я был погружен в глубочайшую печаль, я открыл, что сердце мое еще чувствительно к радости любить и быть любимым. Молодая девушка, прекрасная и добрая, обещала любить меня, и я через несколько недель надеюсь стать ее супругом. Будучи уверен в Вашей дружбе, я уверен также в участии, которое Вы примете в этой перемене моей судьбы. Я осмеливаюсь еще надеяться на счастье; Провидение довершит остальное. Я знаю, я мог бы лишь медленно угасать, не имея такой привязанности. Моя первая жена меня обожала; вторая же выказывает мне более дружбы, и этого мне достаточно…»

С Вольцогеном Карамзин более откровенен, чем с кем бы то ни было. 10 февраля 1804 года, месяц спустя после венчания, он пишет ему: «Я вверил ей свою судьбу и надеюсь, что не пожалею об этом никогда. Да, дорогой мой барон, литератор, привязанный занятиями к своему очагу, живее других чувствует необходимость в нежной и верной подруге». И еще два месяца спустя, в апреле, вновь подтверждая правильность выбора, он элегически размышляет: «Да, милый барон, я должен лишь благодарить Провидение за мое теперешнее положение, в котором мне почти нечего желать. Милая и нежная супруга, и добронравная — настоящее сокровище в этом мире… Разочаровавшись в иллюзиях, которые манят в юности, человек учится ценить домашнее счастие как самое истинное из всех радостей. Однако и мне бывает подчас грустно. Я никогда не смогу ни забыть мою первую жену, ни думать о ней без умиления. Блажен тот, кто может смотреть на могилы, не вспоминая о счастии, ими похищенном! Воспоминания заставляют нас беспокоиться о тех благах, которыми мы еще располагаем. Можно преодолеть страх смерти, но как не бояться ее власти над всем, что нам дорого?..»

О Екатерине Андреевне известно немного, она как бы растворилась в славе мужа. К сожалению, нет ее портрета в молодые годы, имеется только описание Ф. Ф. Вигеля. Она была красива одухотворенной и спокойной красотой.