Однако предоставление некоторых юридических прав и закрепление в личную собственность мизерного крестьянского надела вряд ли могли вызвать коренные сдвиги. Крестьянину было очень трудно, а чаще всего и невозможно вырасти в современного агрария, стать полноценным субъектом развитой рыночной экономики. Ему нужна была широкая государственная финансовая и социальная поддержка. Но сколько нибудь внятных рекомендаций в этой области министр не предложил. Очень скоро этот пробел стал очевиден и ему. В своих мемуарах, писавшихся в годы столыпинских преобразований, экс министр и экс премьер пытался задним числом приписать себе заслуги в области аграрного переустройства, которых у него в действительности не было. В начале XX века положение С. Ю. Витте становится шатким. Против него объединяются влиятельные придворные и правительственные силы, недовольные и самим сановником, и многими аспектами его политической деятельности. Помимо возмущения курсом на ускоренную индустриальную модернизацию страны, ущемлявшую интересы крупных землевладельцев, министр финансов стал объектом критики и в связи с его неприятием внешнеполитического курса на Дальнем Востоке, того курса, который в конце концов завершился русско японской войной. Главе финансового ведомства была понятна и близка имперская экспансия России. Однако он неизменно отдавал предпочтение экономическим методам, считая опасным «демонстрацию мускулов» перед лицом своих соседей. Министр финансов не сомневался, что любой военный конфликт неизбежно приведет к финансовым потерям и социальным потрясениям.

Призывы к осторожности не способствовали укреплению позиции министра финансов в правящих верхах. В 1902–1903 годах антивиттевские настроения объединили весьма влиятельные фигуры. Его врагом был муж сестры царя, великий князь Александр Михайлович, министр внутренних дел В. К. Плеве, контр адмирал, управляющий Особым комитетом Дальнего Востока А. М. Абаза, наместник на Дальнем Востоке адмирал Е. И. Алексеев, председатель Комитета министров И. Н. Дурново. В обществе хорошо знали и о нелюбви к главе финансового ведомства императрицы Александры Федоровны, возмущенной и оскорбленной поведением сановника по время тяжелой болезни Николая II осенью 1900 года, когда тот посмел публично обсуждать последствия смерти императора и воцарения младшего брата царя великого князя Михаила Александровича.

Натиску этой сильной партии стал уступать Николай II, его поддержка министра финансов начала ослабевать. Развязка наступила в августе 1903 года, когда С. Ю. Витте был снят с должности министра и переведен на почетный, но почти декоративный пост главы Комитета министров.

Однако это не являлось окончательным крушением карьеры. В последующие несколько лет Сергей Юльевич сумел неоднократно заявить о себе, ему удалось вознестись на вершину успеха и известности. В августе 1905 года делегации во главе с Витте удалось заключить в Портсмуте (США) мир с Японией, лишь незначительно ущемлявший русские интересы. За эту заслугу перед Россией ему был высочайше пожалован титул графа, о чем ему сообщил сам император, которого Витте посетил сразу по возвращении. В письме Марии Федоровне Николай II сообщил: «После длинного разговора, когда я ему объявил о графском титуле, с ним почти сделался «столчок» и затем он три раза старался поцеловать руку!»

Осенью 1905 года С. Ю. Витте становится «крестным отцом» русских политических свобод – Манифеста 17 октября. С середины октября 1905 го до конца апреля 1906 года возглавляет объединенный Совет министров.