«Почти отстав, — по его собственному выражению, — от света», Карамзин не перестал бывать в домах, где находил понимание, любовь, умную и интересную беседу. Чуть ли не ежедневно он виделся с Дмитриевым, который, выйдя 30 декабря 1799 года в отставку, поселился в Москве, купив у Красных ворот, в приходе Харитония, деревянный домик. Дмитриев в воспоминаниях пишет о своем первом московском жилище с большой любовью. Он рассказывает, что «переделал его снаружи и внутри сколько можно получше; украсил небольшим числом эстампов, достаточною для меня библиотекою и возобновил авторскую жизнь… С весны до глубокой осени в хорошую погоду каждое утро и каждый вечер обхаживал я мой садик, занимаясь его отделкою или поправкою; иногда же чтением под густою тению двух старых лип, прозванных Филемоном и Бавкидою. Между тем посвящал часа по два моему кабинету, езжал на дрожках за город любоваться живописными окрестностями или хаживал по разным частям города. Но не проходил ни один день, чтоб я не видался с Карамзиным…»

Этот домик, сгоревший в пожаре 1812 года, и собрания в нем, где «дружба угощала друзей по вечерам», описал Жуковский в стихотворном послании «К И. И. Дмитриеву». Он описал и ветвистую липу, под которой стоял стол, и душистый чай с коньяком, которым потчевал хозяин гостей. Застолье оживлялось «веселым острым словом» самих гостей и, конечно, Карамзина:

Карамзин часто посещал князя Андрея Ивановича Вяземского. Князь Андрей Иванович был неординарной личностью: умен, образован, знаток и поклонник французских просветителей. Он много путешествовал за границей, жил в Швеции, Германии, Франции, Голландии, Испании, Португалии, Англии, Италии и Швейцарии. По натуре был страстен и решителен, «слыл, как рассказывает его сын П. А. Вяземский, упорным, но вежливым спорщиком: старый и сильный диалектик, словно вышедший из Афинской школы, он любил словесные поединки и отличался в них своею ловкостью и изящностью движений».

Кроме того, его сердце было способно к глубокой и романтической любви. В 1780 году в Ревеле, где тогда стоял полк, которым он командовал, у него был бурный роман с графиней Елизаветой Сиверс, уже помолвленной. Графиня родила дочь и вскоре вышла замуж, оставив ребенка отцу. Девочку назвали Екатериной и дали ей фамилию Колыванова по славянскому названию Ревеля — Колывань. Сначала она воспитывалась у сестры князя с ее детьми, а, женившись в 1786 году, Андрей Иванович взял ее к себе. Князь Вяземский очень любил старшую дочь, после долгих хлопот он удочерил ее, но без права на княжеский титул и фамилию. Его женитьба также была романтична: находясь в Англии, он страстно влюбился в ирландку Дженни О’Рейли, увез ее от мужа в Россию, добился ее развода и сочетался с ней браком против воли родителей, потрясенных таким мезальянсом. Однако брак этот оказался счастливым, от него родились дочь Екатерина и сын Петр.

Московский дом Вяземского, по свидетельствам современников, «был одним из приятнейших и ежедневно открытых для друзей и многочисленных посетителей», «был средоточием жизни и всех удовольствий просвещенного общества». Несмотря на богатство хозяев, «он был чужд всякой роскоши и не блистал убранством», но зато в нем имелась «обширная и разнообразная библиотека», но и та «служила не предметом роскоши, а необходимого потребления». «Князь Вяземский посвящал ежедневно, до позднего вечера, т. е. до времени обыкновенного съезда гостей, несколько часов на чтение книг исторических, философских и путешествий. Неизменно первый вечерний посетитель мог быть уверен, что найдет его дома, у камина, в больших вольтеровских креслах, с книгою в руке…»

Среди постоянных посетителей Вяземского, наиболее близких ему по взглядам, вкусам и интеллекту, были люди, оставившие более или менее значительный след в истории русской культуры: граф А.