В апреле 1960 года при подготовке к 90-летию со дня рождения В, И. Ленина Молотов прислал в редакцию журнала «Коммунист» большую статью «О Владимире Ильиче Ленине». Эта статья, однако, не была опубликована.

В конце концов Хрущев решил перевести Молотова на работу подальше от китайских границ. Как раз в это время член-корреспондент АН СССР В. С. Емельянов, перегруженный множеством обязанностей и должностей, попросил освободить его от должности советского сопредседателя Международного агентства по атомной энергии при ООН. Штаб-квартира этого агентства располагалась в Вене. Вскоре решением Совета Министров СССР руководителем Советского представительства в упомянутом агентстве ООН был назначен Молотов. Общее руководство было оставлено, однако, за Емельяновым. Молотову пришлось переехать из Монголии в Австрию.

Во время венской встречи Хрущева с новым американским президентом Дж. Кеннеди среди приглашенных можно было увидеть и медленно передвигающегося старого человека небольшого роста в пенсне с золотой оправой. Это был Молотов, советский представитель в агентстве ООН по атомной энергии. Когда появился Хрущев, Молотов приветствовал его с непроницаемым лицом. Хрущев небрежно ответил на приветствие и прошел мимо.

Летом 1961 года в СССР началась активная подготовка к очередному, XXII съезду партии. Был опубликован проект новой Программы КПСС для его всенародного обсуждения. В печати, однако, публиковались только такие статьи, которые полностью одобряли проект Программы или вносили в него не слишком существенные добавления и исправления. Молотов также решил принять участие в этом обсуждении. Незадолго до начала съезда он направил в ЦК КПСС заявление, содержащее подробный и критический разбор проекта Программы КПСС. Молотов утверждал, что этот проект – ошибочный и «ревизионистский» документ. Его критические замечания не были опубликованы. Краткий и, возможно, не вполне точный разбор письма Молотова можно найти лишь в речах на съезде П. А. Сатюкова и П. Н. Поспелова. Сам факт выступления Молотова против Программы КПСС вызвал раздражение у Хрущева. Несомненно, это было одной из причин включения в его отчетный доклад специального раздела, посвященного критике «антипартийной группы» Молотова, Маленкова, Кагановича и других «фракционеров». Резкая критика Молотова содержалась и в речах других делегатов съезда. На этот раз о преступлениях Сталина, Молотова и прочих ближайших помощников вождя говорилось не в закрытом докладе, а в открытых выступлениях делегатов и докладчиков съезда. Многие из делегатов требовали исключить Молотова и его политических союзников из партии. И действительно, вскоре после окончания съезда Молотов был снят со всех своих постов. Первичная организация, в которой он состоял на учете, исключила его из партии.

В феврале 1962 года бюро Свердловского райкома партии Москвы исключило Молотова из рядов КПСС за антипартийную фракционную деятельность, активное участие в массовых репрессиях. Молотов направил письмо в МГК КПСС с просьбой оставить его в партии. На заседании бюро горкома тогдашний первый секретарь МГК П. Н. Демичев задал ему вопрос: «Мы спрашиваем вас как человека: почему вы, подписывая списки, безвинных людей направляли на расстрел?» Молотов ответил: «Я считаю это ошибкой».

Бывший советский премьер был отправлен на пенсию. Что касается городов и поселков, носящих имя Молотова, то им были возвращены прежние названия еще в 1957 году. В стране не осталось больше ни одного предприятия или учреждения «имени Молотова».

Вскоре после XXII съезда, как вспоминает А. И. Аджубей, Полина Семеновна Жемчужина добилась приема у Хрущева. «В ответ на ее просьбу восстановить мужа в партии Никита Сергеевич показал ей документ с резолюцией Молотова о расстреле жен Косиора, Постышева и других ответственных работников Украины, затем спросил, можно ли, по ее мнению, говорить о восстановлении Молотова в партии или надо привлекать к суду».