Юрий Андропов не поддержал Румянцева. Он держался крайне осторожно, не примыкая ни к одной из группировок, возникших в это время и вокруг Брежнева, и вокруг Косыгина, и вокруг Шелепина, и вокруг Суслова. На XXIII съезде КПСС состав ЦК значительно изменился. Но Андропов был вновь избран членом ЦК, а затем и его секретарем. Он продолжал возглавлять свой прежний отдел. Однако характер работы в отделе и прежняя атмосфера «интеллектуальной вольницы» изменились, это оказался очень трудный период и для самого Андропова. Он видел, что в стране происходит консервативный поворот. Но он не мог открыто восстать против него. Андропов являлся профессиональным политиком и кадровым партийным работником. Для такого человека не существовало в то время никаких возможностей выступать самостоятельно в идеологии или политике. К тому же он не хотел потерять те позиции в партийной иерархии и в структуре власти, которых добивался и которых достиг с немалым трудом. Пример Дмитрия Шепилова, которому Андропов направлял в 1956 году свои шифрограммы и который трудился теперь в архивном управлении Совета Министров СССР, был хорошо ему известен. Поэтому он решил остаться, вероятно, в надежде на то, что в стране со временем возобладают иные политические течения и он получит шанс использовать их, разумеется, не столько в личных интересах, сколько в интересах народа, как он их понимал. Это был мучительный личный компромисс, который даже в его ближайшем окружении далеко не все могли понять и одобрить.

Андропов часто выглядел подавленным, мрачным, раздраженным. Его ближайшее окружение начало постепенно распадаться. Одним из первых ушел из аппарата ЦК Ф. Бурлацкий. «…Это было, — вспоминает Федор Михайлович, — в конце декабря 1964 года. В девять часов вечера я все еще сидел в своем просторном кабинете, просматривая последние сообщения ТАСС и деловые бумаги. Попалась на глаза подготовленная мной для Политбюро записка "О планировании внешней политики СССР". Перечитывая текст, я с горечью думал о том, как гибнут или превращаются в свою противоположность самые разумные идеи, о повороте, который начался после падения Хрущева. Вдруг зазвонил телефон.

— Вы не могли бы зайти ко мне? — раздался в трубке какой-то растерянный и хрипловатый голос Андропова.

Я зашел к нему, сел в кресло напротив и поразился необычно печальному и удрученному выражению его лица. Посидели несколько минут молча: он — опустив глаза, а я — всматриваясь в его лицо и пытаясь понять, что происходит. И тут — по какому-то совершенно необъяснимому импульсивному движению души — я неожиданно сказал:

— Юрий Владимирович, мне хотелось бы поговорить с вами об этом все последнее время. (Он удивленно вскинул на меня глаза.) Я чувствую все большую неуместность продолжения своей работы в отделе. Вы знаете, что я никогда не стремился, да, вероятно, и не мог стать работником аппарата. Я люблю писать. Но главное, пожалуй, не это. Сейчас происходит крутой поворот во внутренней и внешней политике. Вначале казалось, что мы пойдем дальше по пути реформ, по пути Двадцатого съезда. Теперь видно, что эта линия отвергнута. Наступает какая-то новая пора. А новая политика требует новых людей. Я хотел просить вас отпустить меня. Я давно мечтал работать в газете политическим обозревателем, и сейчас, считаю, для этого самый подходящий момент, кроме того, вероятно, и вам это в чем-то развяжет руки, поскольку на меня многие косятся, считая фанатичным антисталинистом.

Все это я выложил залпом. И тут увидел лицо Андропова.