Основной причиной этого является то, что роль наших партийных организаций в армии и флоте, роль наших политических органов сведена просто, я даже не могу сказать, к чему она сведена, просто никакой роли не играет. Вхождение нашего Главного Политического управления в состав Министерства обороны я считаю неправильным. Мы всегда привыкли к тому, что во главе Главного Политуправления Красной Армии, а сейчас Советской Армии, находится человек политически подготовленный, партийный, к которому относились бы с глубоким уважением, который своим прошлым, своей преданностью, своей работой должен уже выдвигаться. Я вспоминаю слова товарища Сталина, который говорил следующее. Если партия принимала решение о назначении кого-то командующим, то он всегда задавал вопрос: а как его армия примет?

Начальник Политуправления должен быть таким человеком, которого знала бы армия, знала бы партия. Во-вторых, он, безусловно, должен быть член Центрального Комитета. Это поднимет его роль и даст большую самостоятельность, более тесную связь с нашим ЦК и Президиумом Центрального Комитета.

Товарищи, время моё истекает, я должен доложить, что это решение нашего Президиума Центрального Комитета является абсолютно правильным и своевременным. Наша задача заключается в том, чтобы мы вовремя, решительными мерами провели всё то, что сказано в письме Центрального Комитета, в принятых решениях и о чём здесь говорилось».

С одной стороны — полный «одобрямс». С другой — тон обвинений сравнительно сдержанный. Более того, Рокоссовский в основном говорит об упущениях в воспитательной работе в войсках. Пожурил Жукова постфактум за матерный стиль управления войсками. Ну да, матерился. Даже Верховного однажды в октябре 1941 года матом покрыл, да так, что тот повернулся и ушёл, посоветовав и всей своей полувоенной свите тоже покинуть расположение Генштаба и не мешать военным делать своё дело. Время было такое. Многие офицеры стрелялись, не выдержав груза ответственности и не веря уже, что Москву удастся отстоять. А Жуков с Рокоссовским выдержали, отстояли столицу. И потому были вправе по прошествии лет предъявлять друг другу те или иные претензии.

И последнее: Рокоссовский в своём выступлении дважды приводит в пример бывшего своего главнокомандующего Сталина. Никто из выступавших сделать этого не посмел. Упоминание Сталина к тому времени было уже не просто дурным тоном, а в буквальном смысле опасным.

Хрущёв не пропустил этого мимо ушей, запомнил. После выступлений первого секретаря ЦК КПСС на XX съезде и последующих пленумах, на которых «осуждался и разоблачался» культ личности Сталина и его «пагубные последствия», выступление Рокоссовского выглядело вызовом.

Весной 1962 года Хрущёв, возможно, решив повторить сюжет с разгромной статьёй в «Правде» по поводу «неправильной политической линии» маршала Жукова за подписью Конева, предложил Рокоссовскому выступить в печати с критикой действий Сталина в годы войны, то есть как главнокомандующего.

— Ну что вы, Никита Сергеевич, — ответил Рокоссовский, — для меня Сталин велик и недосягаем. Да у меня и рука не поднимется, чтобы написать о Верховном главнокомандующем что-то… Под руководством Сталина Советский Союз разгромил фашизм!

Спустя короткое время Рокоссовский был уволен с должности заместителя министра обороны и переведён в «райскую группу» — группу генеральных инспекторов Министерства обороны СССР.

Существует и другая версия отставки.

В то время Рокоссовский, занимая пост заместителя министра обороны, служил в должности главного военного инспектора. Много ездил по военным округам, военно-морским базам, гарнизонам. Проверяющим он был строгим, но, как говорят, справедливым. Во время командировки на базы Балтийского флота обнаружил крупные приписки. Строящиеся боевые корабли с большими недоделками сдавали и «спускали на воду» раньше срока, чтобы получить большие премии.