Одним словом, недовольны Вяземским по разным причинам были и справа, и слева. «Для стариков я слишком молод, / Для молодых я слишком стар», — повторил он стихами свою фразу из письма к Жуковскому… У него была возможность примкнуть к какой-либо правительственной группировке и тем самым «потеряться», слиться с толпой, зазвучать в общем хоре; мог он и с доброй улыбкой приветствовать литературную молодежь, выступить в роли живой легенды пушкинских времен, принять лозунг Бенедиктова «Шагайте через нас!» — но его независимый нрав и тут дал себя почувствовать.

Конечно, он, по своему обыкновению, «не дорожил ни похвалами, ни бранью», тем более такой бранью, делал вид (и успешно), что ему это вовсе не любопытно. Но все это — внешнее, внешнее… Он был гордым, сильным аристократом, но и ранимым, и впечатлительным человеком с издерганными нервами и, конечно, уставал от публичности, мундира, выверенных фраз, подписей, ответственности, пустяки государственной важности язвили своей ненужностью, радостный лай черни заставлял морщиться, одиночество с каждым днем сковывало своим холодом… Министерское кресло, новая жизнь излечили Вяземского от безвольного «прозябания» 1853—1854 годов, бесспорно, дали какую-то надежду, но, вольно или невольно, служба такого уровня, заботы первого цензора страны отвлекали князя от самого себя, губили душу… Нет, не рожден он бороться с жизненными трудностями, радоваться успехам и огорчаться неприятностям. Его призвание — не действие, а ощущение. Давным-давно сравнил он себя с термометром… Князь со вздохом откладывал бумаги, привезенные из Петербурга на подпись, снимал очки, массировал утомленные веки. Медленно, с наслаждением вдыхая сосновый воздух, брел он по знакомой тропинке в Лесном, вовсе не чувствуя себя главным цензором России, не думая ни о чем…

…26 ноября 1857 года для выработки нового цензурного устава в министерстве была образована комиссия под председательством Вяземского (делопроизводителем в комиссии был известный поэт Аполлон Майков). Князь настаивал на скорейшем принятии нового устава — формально в России все еще действовал устав 1828 года, безнадежно устаревший, опутанный клубком позднейших добавлений и уточнений. Кроме того, Вяземский резко выступал против обилия в России ведомственных цензур, каждая из которых подчинялась своему начальству, — всего таких цензур было ни много ни мало двадцать две. Словом, готовилась масштабная внутриведомственная реформа, у которой, естественно, тут же нашлись противники.

Об обстановке, в которой обсуждался проект устава, свидетельствуют дневниковые записи А.В. Никитенко: «Министр народного просвещения потерпел сильное поражение в заседании совета министров в прошедший четверг, где он докладывал. Начало доклада, по-видимому, было хорошее. Министр прочитал записку о необходимости действовать цензуре в смягчительном духе. Записку эту писал князь Вяземский с помощью Гончарова. Против Норова восстал враг мысли, всякого гражданского, умственного и нравственного усовершенствования, граф Панин.