Вскоре Ростовцев заболел, изнуренный тяжелой работой и клеветническими нападками своих врагов. Силы быстро оставляли его. Он сказал одному из своих близких: «Если мне суждено умереть сегодня, то я умру со спокойной совестью. Я честно выполнил свой долг перед императором. Кажется, мне удалось сдвинуть это святое дело с места. Я верю в твердость царя. Господь не оставит Россию». Александр явился к постели больного. Увидев его, Ростовцев с трудом произнес: «Ваше Величество, не дайте запугать себя!» Это были его последние слова.

Александр тяжело переживал эту потерю. Кем заменить человека, который так хорошо его понимал? В его окружении ожидали назначения другого великого либерала. Выбор Александра пал на графа Виктора Панина, министра юстиции, старого соратника Николая I. Сухой бюрократ и педант, черствый по отношению к своим подчиненным и презиравший народ, это был яростный противник реформы. Однако перед монархом он испытывал священный трепет. Александр надеялся, что этот человек, пользовавшийся доверием у оппозиционеров, сумеет, из почтения перед самодержавием, убедить их подчиниться воле царя. Другими словами, он рассчитывал уговорить наиболее непримиримых землевладельцев с помощью одного из них, который действительно в дальнейшем будет преданно претворять его идеи в жизнь. Великой княгине Елене, которая не скрывала своего беспокойства, он сказал: «Вы не знаете этого человека. Все его убеждения сводятся к подчинению моей воле». Самому же Панину он заявил: «Вы должны взяться за это дело со всей ответственностью. Я всегда почитал вас человеком чести и уверен, что вы меня не разочаруете». Что же касается Панина, тот с грустью поведал великому князю Константину: «Если я прямо или косвенно признаю, что придерживаюсь по этому поводу мнения, отличного от мнения императора, то сочту своим долгом отказаться от него и буду действовать с удвоенной энергией наперекор своим собственным чувствам». Вне всякого сомнения он был искренен в своем признании, но Александр проявил очевидную наивность, решив, что механическое подчинение высшей воле способно заменить в работе государственного деятеля душевный порыв. Несмотря на личину реформатора, в душе Панин останется ретроградом.

Вступив в должность, он сразу же высказался против предоставления крестьянам земли в вечное пользование и за то, чтобы оставить за помещиками право полицейского надзора в их владениях. В скором времени между ним и Николаем Милютиным вспыхнула ссора. Раздосадованный царь выступил в роли арбитра и уладил этот конфликт. Сталкиваясь с упорным сопротивлением своим требованиям, он иногда сомневался, не слишком ли редакционные комиссии склоняются в пользу крестьян в ущерб землевладельцам.

Объемистые подборки материалов, подготовленные редакционными комиссиями, одна за другой ложились на стол председателя Центрального комитета князя Алексея Орлова. Однако в конце 1859 года этот обаятельный и авторитетный человек, восхитивший французов во время Парижского конгресса, слег в постель и был вынужден отойти от дел. Царь назначил на его место своего брата великого князя Константина, только что вернувшегося в столицу из девятимесячного путешествия по Европе, Востоку и Палестине.