Детям — Петру и старшей сестре его Кате — новый родственник сначала не нравился. Они всей душой сочувствовали майору Струкову, несчастливому сопернику Карамзина в сватовстве — может быть потому, что Струков, приезжая в гости, всегда одаривал детей конфетами, а Карамзин не обращал на них никакого внимания. Когда свадьба была уже решена, брат с сестрой потерянно бродили по коридорам дома и изливали печаль в стихах от имени Струкова:

Автором этих стихов был Карамзин, но юные его противники не смущались этим обстоятельством. Впрочем, очень скоро между младшими Вяземскими и Николаем Михайловичем установились мир и дружба. Карамзина нельзя было не полюбить — столько было в этом человеке доброты и мудрости… В знак примирения Карамзин подарил Вяземскому его первые часы, которыми мальчик долго щеголял перед ровесниками.

Именно Карамзин, видя, что домашнее образование Петра затянулось, посоветовал определить его в петербургский иезуитский Благородный пансион. Андрею Ивановичу идея эта понравилась. Согласно рекламе ученье в коллегиуме было рассчитано на шесть лет. Год обучения стоил огромных денег — тысячу рублей (в Московском университетском пансионе, например, — 275). В преддверии отъезда, 21 июля 1805 года, будучи в Остафьеве, старый князь вызвал к себе сына. Вяземский нашел отца на террасе, выдающейся в сад; перед ним был стол с бумагой, чернильницей и перьями. Сурово и в то же время грустно князь приказал сыну сесть и писать под диктовку. Диктовал он по-французски. «В импровизации своей — он мастер был говорить и большой диалектик — изложил он картину моего воспитания, не отвечающего желаниям его; беспощадно вычислял все недостатки и погрешности мои», — вспоминал Вяземский 70 лет спустя. «Обвинительный акт» звучал строго: «Вы не лишены ни ума, ни известного развития, но ветреность вашего характера делает то, что вы отвлекаетесь всем, что вас окружает… Леность вашего ума, эта вторая причина вашего невежества, заставляет вас скучать и испытывать отвращение к изучаемым вами предметам… Пустота и бессодержательность вашего времяпрепровождения после классов — третья причина вашего невежества: или вы повсюду слоняетесь, как дурачок, или вы занимаетесь такими пустяками, как пускание змея, или другими детскими игрушками. Даже если вы и берете книгу, то это лишь от скуки и от нечего делать. Старые газеты или серьезное сочинение — это для вас безразлично, вы читаете все, что первым попадается под руки».

Князь упомянул дочерей, которые утешают и радуют его старость, тогда как сын… Тут монолог отца прервался; на глазах его заблестели слезы. Он отпустил сына, приказав ему переписать два с половиной листа диктанта набело.

Сказать откровенно, Вяземского эта сцена не растрогала. Приговор, произнесенный над ним, показался ему чересчур суровым. Кроме того, он не без оснований полагал, что тогдашний его учитель, француз Дандилли, вовсе не отвечал требованиям звания своего. Так или иначе, в августе 1805 года Андрей Иванович, «несмотря на лета свои, немощи и особенно домоседные привычки», сам отвез Петра в Петербург. В преддверии экзаменов остановились в доме доброго приятеля Вяземского, Ивана Борисовича Пестеля. Первым проводником Петра по Северной столице стал 12-летний сын Пестеля Павел, которому через двадцать лет суждена смертная казнь за участие в противоправительственном заговоре… Вяземский будет потрясен этой казнью.