На последнем своем месте работы Каганович мирно, без конфликтов руководил строительством ведомственного дома отдыха у Волги. Впоследствии он не раз проводил там лето и, познакомившись с кем-либо из отдыхающих, с законной гордостью сообщал: «Это моя последняя работа».

Осенью 1961 года только что построенный в Кремле Дворец съездов впервые принял в своих стенах съезд КПСС. Главным вопросом повестки дня стала новая программа партии, обещавшая к 1980 году построение материально-технической базы коммунизма, что на практике должно было означать фантастическое наращивание «вала» различных видов продукции. В центре внимания был и острый спор с албанскими коммунистами. Тем не менее уже в первый день съезда Хрущев в своем докладе вернулся и к вопросу об антипартийной группе 1957 года. Это было тем более неожиданно, что с тех пор уже имел место XXI съезд партии, на котором эту тему не затрагивали.

В прениях по докладу Хрущева подробно об антипартийной группе решились говорить лишь некоторые влиятельные делегаты. Представители рабочих и крестьян посвящали свои выступления другим вопросам. Из опальных вождей больше всех досталось Молотову, который написал съезду большое письмо с критикой проекта программы партии, а до этого прислал в «Правду» статью о Ленине. Его называли «идейным вдохновителем» антипартийной группы. Но не забыли и Кагановича. О некоторых его преступлениях 30-х годов рассказал Н. М. Шверник. Иногда критика носила верноподданный и странный характер. Так, редактор «Правды» П. А. Сатюков заявил, что после смерти Сталина «Каганович дошел до того, что цинично называл поездки руководителей партии на места ненужным „мотанием по стране“. Жили, мол, без этого и дальше проживем… Партия нанесла сокрушительный удар по таким антипартийным взглядам, по таким поборникам культа личности. (Аплодисменты.)». Нежелание куда-то ехать, разумеется, не является преступлением, а на фоне подлинно преступных деяний Кагановича подобное обвинение вообще было смехотворным. Н. В. Подгорный назвал Кагановича «большим мастером интриг и провокаций» и рассказал о его деятельности на Украине, ограничиваясь одним 1947 годом. По его словам, Каганович «окружил себя сворой беспринципных людей и подхалимов, избивал преданные партии кадры, травил и терроризировал руководящих работников. Как настоящий садист, Каганович находил удовлетворение в издевательствах над активистами, интеллигенцией… Он требовал, например, от художников в уже написанные картины по поводу освобождения Украины от немецких оккупантов дорисовывать и свой портрет, хотя к этим событиям он не имел никакого отношения. (Смех, оживление в зале.)».

И делегаты съезда, и радиослушатели впервые узнавали такие факты, впервые слышали такие оценки с всесоюзной трибуны. Степень откровенности была выше, чем в 1956 или 1957 году, изменились и интонации. Однако и в речи Подгорного звучали фальшивые нотки: «В конечном итоге Каганович преследовал цель скомпрометировать и расправиться с руководящими кадрами компартии Украины, и в первую очередь он нацеливался на компрометацию товарища Хрущева. Это для нас сейчас совершенно ясно». Зато сам товарищ Хрущев «всеми мерами срывал провокации со стороны Кагановича». Сказанное Подгорным, вероятно, соответствовало истине, но главная вина Кагановича состояла вовсе не в этом, и явно недостаточным, не в меру мягким было требование об исключении из партии: «Это перерожденец, у которого давно уже нет ничего коммунистического». Оценку деятельности Кагановича на Украине, данную Подгорным, подтвердил в своей речи писатель Корнейчук.