Правда, «беспристрастность истории» трактовалась Вяземским весьма своеобразно. Легко заметить, что Карамзин и Жуковский в его воспоминаниях вне критики — они непогрешимы всегда, абсолютно. А в тех случаях, когда Вяземский пытался выглядеть нарочито бесстрастным летописцем, добру и злу внимавшим равнодушно, его хладнокровие далеко не всегда шло мемуарам на пользу… Вот князю подвернулся под руку давно забытый Херасков — некогда гремевший поэт, автор «Россияды», для юного Вяземского — образец холодного и бездарного стихотворца. Теперь же, по прошествии многих лет, Вяземский охотно признает за Херасковым немалые заслуги в русской словесности. Здесь «беспристрастие», пожалуй, вполне к месту. Но вот князь берется заново воссоздать пушкинскую дуэльную ситуацию — и тот же самый метод уже скорее отталкивает, чем привлекает. Непонятны и неблизки русскому читателю попытки Вяземского быть объективным по отношению к Дантесу (1872): словно перечеркивая собственные боль и ярость зимы 1837-го, мемуарист обстоятельно доказывает, что Дантес не мог не вызвать Пушкина на дуэль, что поведение Пушкина было излишне резким… Возможно, такой подход к проблеме и имеет право на существование, но никакого удовлетворения он никому, кроме разве самого автора, не приносит. Вяземский словно дразнил своих читателей, намеренно защищая правду меньшинства, отыскивая добрые черты в заведомо недобрых исторических персонажах и подчеркнуто спокойно отзываясь о тех, чьи имена стали к 1870-м святыми — Гоголе, Лермонтове… Отчасти можно понять его желание быть объективным ко всем: сам Вяземский за последние двадцать лет услышал немало безосновательной критики в свой адрес.

Конечно, и в старости ему случалось изменять принципу беспристрастия и выходить из себя (и для этого требовались иногда сущие пустяки — например, услышав слова Софьи Карамзиной о том, что железные дороги сильно сократили расстояния и экономят время; от подобных высказываний Вяземский почему-то приходил в ярость). Но такие случаи были редкостью. «Он никогда не осуждал, никогда никого не бранил, — вспоминал князь В.П. Мещерский, — он всегда только судил кротко и остроумно о людях и о событиях и только с тонким юмором осмеивал в них смешное и дурное». Даже полемика с абсолютно чуждыми ему по духу оппонентами — «красными» журналистами 60-х — велась князем в высшей степени по-джентльменски. От беспощадной колкости его эпиграмм 20-х не осталось и следа, теперь Вяземский предпочитал мягко вышучивать, убеждать, подавлять противника аргументами. (Единственное исключение — эпиграммы на И.С. Тургенева, о чем ниже.) Ярким примером джентльменской полемики старого князя может служить его статья «Воспоминание о 1812 годе», написанная после появления «Войны и мира».

Отношения классиков поначалу были вполне доброжелательными — их связывало свойство (Толстой — четвероюродный брат В.Ф. Вяземской), молодой граф не раз бывал у Вяземского в гостях, читал ему свои рассказы и даже факт запрета Вяземским-цензором одной из глав «Юности» отметил в дневнике без всякого возмущения.