9—10 сентября, после потери Шлиссельбурга, Ленинград был окружен окончательно. Ворошилов 10 сентября лично возглавил атаку морских пехотинцев, но это был скорее акт отчаяния. Сталин принял решение сместить Ворошилова и назначить на его место генерала армии Жукова. Жуков немедленно вылетел в Ленинград и прямо с аэродрома отправился в Смольный. С собой он вез короткую записку Сталина Ворошилову: «Передайте командование фронтом Жукову, а сами немедленно вылетайте в Москву».

Появление Жукова прервало совещание Военного совета фронта, на котором обсуждалось, что надо сделать, если не удастся удержать Ленинград. Но этот вопрос отпал сам собой, так как Жуков привез и приказ Сталина: не сдавать Ленинград, чего бы это ни стоило.

Никаких формальностей при сдаче командования фронтом не было, и Жуков доложил по прямому проводу в Ставку: «В командование вступил». Ворошилов собрал генералов штаба, чтобы попрощаться. «Отзывает меня Верховный, — с горечью сказал маршал. — Нынче не Гражданская война — по-другому следует воевать…» Ворошилов хотел перед отлетом в Москву дать Жукову какие-либо советы, но последний довольно резко отказался от разговора с ним. Начавшийся уже через несколько дней новый штурм немцами Ленинграда был отбит под командованием Жукова. Как представитель Ставки, Ворошилов некоторое время помогал своему другу, командующему 54-й армией Кулику, который пытался пробиться на помощь Ленинграду с востока. Однако маршал Кулик оказался неспособным умело руководить армией и потерпел поражение. Он был также смещен и строго наказан.

Ворошилова Сталин пощадил. Назначил от ГКО контролировать подготовку резервов Красной Армии в Московском, Приволжском, Среднеазиатском и Уральском военных округах. В сентябре 1942 года Ворошилов стал Главнокомандующим партизанским движением. Ему был подчинен созданный еще весной 1942 года Центральный штаб партизанского движения, возглавляемый П. К. Пономаренко, первым секретарем ЦК КП(б) Белоруссии. Он-то и был главным руководителем партизанского движения, ибо участие Ворошилова было лишь эпизодическим и формальным. Также чисто формальным было участие Ворошилова и в работе тыла. Бывший заместитель наркома вооружений в 1941–1948 годах В. Н. Новиков вспоминал:

«В 1942 г. приехал в Ижевск член ГКО К. Е. Ворошилов, который занимался тогда формированием новых воинских подразделений. Он провел смотр созданных в нашем регионе воинских частей. На другое утро Климент Ефремович выразил желание осмотреть завод. Начали с цехов, где выпускали винтовки. Когда он пришел на сборку, то на двух конвейерах винтовки текли (ширина конвейерной ленты была около метра) буквально рекой. Операции были разбиты на очень мелкие, с тем чтобы быстрее обучать людей сборке. Ворошилов долго стоял, смотрел, потом говорит мне: „Товарищ Новиков, неужели винтовки могут выпускаться рекой?“ Я сказал, что так идет производство круглые сутки. Он покачал головой и предложил продолжить знакомство с другими цехами. В 6 час. вечера Климент Ефремович неожиданно попросил меня вернуться вместе с ним еще раз в сборочный цех. Пришли — и опять река винтовок. Он сказал: „Чудеса!“»

Когда Красная Армия начала продвигаться на запад, Ворошилов возглавил Трофейный комитет. Он выполнял и другие поручения: вел переговоры с английской военной делегацией, участвовал в Тегеранской конференции, был председателем комиссий по перемирию с Финляндией, Венгрией и Румынией.

Иногда, впрочем, Ворошилов выезжал и на фронт как представитель ГКО. Известен случай, когда во время такой поездки он пожелал прибыть в 9-ю Краснознаменную пластунскую дивизию не на автомобиле, а верхом, мотивируя это своим знанием психологии казаков. В книге В. Карпова «Полководец» рассказывается о том, как в 1944 году после блестяще проведенного Отдельной Приморской армией десанта и захвата плацдарма на Керченском полуострове для координации действий сухопутных войск и флота туда прибыл Ворошилов.