Архитектурными памятниками официально были признаны лишь 216 зданий, но и этот список на союзном уровне не был никем утвержден. Еще с 1918 года в городе сносили памятники, срывали иконы с башен Кремля и соборов. В 20-е годы продолжался снос церквей (например, на Мясницкой) и разгром монастырей (в их числе — Данилов монастырь). В 1927 году были снесены Красные ворота.

Могущественные предприятия и организации, размещавшиеся в Москве, вели несогласованную, хаотичную застройку. До 1930 года на планировку Москвы тратилось 50 тысяч рублей; на планировку Харькова — 100 тысяч, Ленинграда — 130 тысяч.

К многочисленным разрушениям 20-х годов Каганович не имел, да и не мог иметь никакого отношения. Однако он сам нередко подчеркивал малоценность, никчемность старой Москвы: «…пролетариату в наследство осталась весьма запутанная система лабиринтов, закоулков, тупичков, переулков старой купеческо-помещичьей Москвы… плохонькие, старенькие строения загромождают лучшие места нашего города». Признание хоть какой-то ценности, хоть какой-то части архитектурного наследства Москвы полностью отсутствует в речах и докладах Кагановича.

В свое время А. В. Луначарский возражал против сноса древних Иверских ворот с часовней, располагавшихся при входе на Красную площадь у Исторического музея. Там же предполагалось снести церковь на углу Никольской улицы. А. В. Луначарского поддерживали ведущие архитекторы. Каганович, подводя итог обсуждению, безапелляционно сказал: «А моя эстетика требует, чтобы колонны демонстрантов шести районов Москвы одновременно вливались на Красную площадь».

Замахнулись и на храм Василия Блаженного. Помешал архитектор, реставратор и историк П. Д. Барановский. Он добился встречи с Кагановичем и решительно выступил в защиту замечательного храма. Увидев, что Кагановича не убедили его доводы, Барановский отправил резкую телеграмму Сталину. Храм Василия Блаженного удалось отстоять, но Барановскому пришлось явно не без «помощи» Кагановича пробыть несколько лет в ссылке. Его жена рассказывала: «Петр Дмитриевич одно только и успел спросить у меня на свидании перед отправкой: „Снесли?“ Я плачу, а сама головой киваю: „Целый!“»

Как видим, в этих случаях Каганович сам принимал варварское решение и категорически настаивал на его исполнении. В других случаях (и это как правило) его роль и долю ответственности невозможно установить точно. Видимо, многие «белые пятна» останутся белыми, несмотря на усилия историков; и в этом есть своя мрачная логика: преступления — и малые и большие — всегда совершаются подальше от людских глаз, и дефицит сведений у историков сам по себе дает почувствовать дух эпохи: «Мы живем, под собою не чуя страны, наши речи за десять шагов не слышны» (О. Э. Мандельштам). Но — возвращаясь к Кагановичу — даже если инициатива уничтожения была не его (пример — храм Христа Спасителя), от него исходило отнюдь не молчаливое согласие.

Да и Сталин, позволивший Василию Блаженному остаться в живых, сделал это отнюдь не из любви к старине: «Как-то Хрущев доложил Сталину о протестах по поводу сноса старинных зданий. Сталин задумался, а потом ответил: „А вы взрывайте ночью“.

В начале связанной с Москвой деятельности Кагановича, в декабре 1930 года, по его инициативе и с одобрения Сталина была произведена административная реорганизация: вместо шести районов стало десять, было закрыто управление коммунального хозяйства и появились тресты при Моссовете: Трамвайный, Мосавтотранс, Гордоротдел и другие. Вместо Мослеспрома, заготовлявшего дрова для всего города, стали выделять лесные участки районам, которые сами должны были себя обеспечить.

В эти месяцы впервые был поднят вопрос о новом Генеральном плане для Москвы — пока еще не на трибунах, а в кабинетах.