Пансионские годы, 1805-й и 1806-й, стали для Вяземского тем же, чем были для Пушкина лицейские годы (и, кстати, они могли стать однокашниками — родители Пушкина сперва планировали отдать сына именно в этот пансион). Иезуиты открыли свой коллегиум в январе 1803 года. Для него архитектор Руска выстроил на углу Екатерининского канала и Итальянской улицы трехэтажный дом с шестиколонным портиком (он сохранился и поныне). Учебный год начался 1 сентября. Вяземский почти каждую неделю писал отцу почтительные отчеты о своем житье-бытье, а ректор пансиона патер Чиж отсылал в Москву дневники и классные работы юного князя. Надо полагать, что «bien, cher et respectable Papa» несколько переменил свое невысокое мнение о способностях сына — учился Петр не то чтобы блестяще, но совсем недурно.

После легкого вступительного экзамена Вяземского определили в средний класс, но очень скоро он свел дружбу и со старшими учениками, которым было тогда по 16—19 лет. Многие из них запомнились ему на всю жизнь — будущий скульптор Иосиф Юшков, богач и карточный игрок Василий Энгельгардт… С Дмитрием Севериным, которого в пансионе звали «котенком», князь затем встретился в обществе «Арзамас» и поддерживал теплые отношения до самой смерти Северина в 1865 году. Но все же самым близким человеком в коллегиуме для Вяземского стал красивый, стройный юноша, влюбленный в поэзию Оссиана и в кавалергардский мундир, — Никита Смирнов. Его, по воспоминаниям князя, отличали «любезный нрав, радушная откровенность, чистая и возвышенная душа, целомудрие и какое-то нравственное благоухание». К несчастью, эта дружба оказалась недолгой: после возвращения Вяземского в Москву он некоторое время переписывался с Никитой, а в июле 1810-го узнал, что 19-летний корнет-кавалергард Смирнов погиб во время осады Рущука.

Преподавание в пансионе велось на французском и латинском языках. Учили языкам (кроме французского и латыни русский и немецкий), логике, риторике, истории, алгебре, верховой езде, фехтованию, танцам, игре на скрипке. Однокашникам Вяземский запомнился как большой проказник. В пансионе он начал собирать собственную библиотеку — с разрешения отца покупал Лафонтена, Расина, Корнеля, Вольтера, Руссо, Флориана, Баттё, книги по истории и философии. Из русских поэтов среди пансионеров успехом пользовались Державин, Карамзин и Дмитриев. Именно в пансионе, в ноябре 1805-го, сочинил Вяземский французское четверостишие на смерть адмирала Нельсона. А летом 1806-го появился изящный альбомный мадригал, пять строф, посвященных кузине, Агриппине Нелединской-Мелецкой.

Вообще обстановка в иезуитском коллегиуме была, судя по всему, доброжелательной и творческой. Особенно Вяземский подчеркивал то, что никаких попыток перетянуть учеников в католичество преподаватели не делали. Никогда никто не пробовал внушить пансионерам, что католическая церковь душеспасительнее и выше православной. «Иезуиты, начиная от ректора патера Чижа, — пишет Вяземский, — были — по крайней мере, в мое время — просвещенные, внимательные и добросовестные наставники. Уровень преподавания их был возвышен… Обращение наставников с воспитанниками было не излишне строгое: более родительское, семейное». В костел пансионеров не водили, по воскресным и праздничным дням они бывали в православном храме; Великим постом говели как следует. «Допускалась некоторая свобода мнений и речи, — продолжает Вяземский. — Однажды кто-то сказал во время класса, что из всех иезуитов любит он наиболее Грессета. Известно, что этот французский поэт принадлежал иезуитскому ордену и вышел из него. Шутка остряка была и принята шуткою. Меня товарищи также вызывали на подобные выходки. «Вяземский, отпусти bon mot», — говаривали мне». Mots отпускались, и совсем неплохие; с годами репутация крепла, в 27 лет печатно назовут его остроумнейшим русским писателем, и уже спустя век с лишним, в 1950-м, начиная работу над комментарием к «Евгению Онегину», язвительный Набоков, которому мало кто из русских классиков умел угодить, без тени сомнения скажет о Вяземском: «Виртуоз слова, тонкий стилист-прозаик, блистательный мемуарист, критик и острослов»… В устах виртуоза слова и тонкого стилиста-прозаика Набокова — высочайшая похвала.