Очень редко в письмах и дневниках проскальзывают намеки на эту сторону его бытия: Вяземский тщательно оберегал ее от посторонних глаз. «Во мне я занимает более места, нежели в ком-нибудь, — замечал он. — Мой внутренний мир так чувствителен, чуток, похотлив, раздражителен, что внешний мир со всем могуществом своих впечатлений не всегда может пересилить его». И в другом месте: «Много из жизни моей пошло и на внутренние, созерцательные и мечтательные думы. Много прожил я жизнью одинокою, жизнью про себя».

В записных книжках Вяземского сохранилась очень яркая автохарактеристика, сделанная уже в зрелые годы: «NN может казаться гордым, но он не горд, а скорее не всегда и не со всех сторон общедоступен. У него на лбу не написано: очень рад познакомиться с вами, подобно вывеске на гостинице… Он не бегает навстречу к каждому с распростертыми объятиями. Объятия его не гибки; они редко настежь растворяются… Если покажется ему, что кто-нибудь заискивает его и обращается к нему приветливым лицом, он готов на двадцать шагов предупредить его, но если кто как будто сторонится и ожидает от него заявления и задатка, он на пятьдесят шагов отступает. И тогда дело кончено: никакому сближению во веки веков не бывать. Он в людях вообще держится поодаль, не в наступательном, а в оборонительном положении. Тут есть, быть может, доля гордости, но есть и доля смирения. Он не ставит себя выше других, но в нем развилось ревнивое чувство охранения своего достоинства… Это достоинство для него сокровище… Между тем, по какому-то разноречию в натуре 1 его, он в одно время и необщедоступен, и общежителен…

NN — такая личность, которую почти все знают… Он человек улицы, толпы, всякого сборища. Но ни он толпою не поглощается, ни толпа не отражается в нем. Кто-то из приятелей его сказал, что он одна из плошек, которые зажигаются на улицах по праздничным дням. Но вообще ничего нет праздничного в нем. Он существо самое будничное.

Когда он и в среде своей, между равными, он все смотрит каким-то посторонним: и они как будто не признают его своим, и он как будто не признает их своими… В этом и сила, и слабость его. Но он на эту слабость не жалуется: скорее он ею утешается и ею дорожит. Вот здесь, может статься, и гнездится червяк гордости… Еще одна черта: несмотря на свое особничество, NN бывал в приятельских связях своих мало разборчив. Бывали приятелями ему нередко люди очень посредственные, дюжинные, даже, в некоторых отношениях, не безупречные, пожалуй, частью, и предосудительные. В этом отношении натура его была снослива. Одно натура его не могла вынести: соприкосновение с натурами низкопробными, низкопоклонными, низкодушными».

…По-разному возникает в душе будущего поэта предчувствие своего призвания, Судьбы своей. Какие-то авторские и литературные «зародыши» в Вяземском были заложены изначально. Удовольствие доставляло ему чтение по складам. По средам и субботам он с жадностью бросался просматривать свежие номера «Московских ведомостей» — искал стихов, которые там изредка печатались. С благоговением и любопытством читал объявления о продаже новых переводных романов. Слушал рассказы гостей дома — почти все они владели пером, во всяком случае, эпиграмму или мадригал сочинить могли без труда. И, конечно, не упускал возможности унести в свои комнаты очередной том с отцовских полок… Библиотека Андрея Ивановича находилась в полном его распоряжении.