Весь аппарат министерства сидел на рабочих местах практически круглосуточно. Если кто-нибудь и успевал приехать домой, чтобы отдохнуть и пообедать, — не проходило и получаса, как работника вызывали обратно в министерство по срочному делу. Дети не видели отцов месяцами. Болезни на нервной почве были обычным явлением.

По праздникам Каганович посылал подчиненного объехать Москву и посмотреть: как висят его портреты? Точно ли на том же месте от портрета Сталина — или перемещены?

Когда про одного из работников нашептали, что он много пьет, Лазарь при очередной встрече у себя в кабинете спросил у него: ты, мол, сколько можешь выпить? «Пол-литра», — ответил тот. «Ну, пол-литра и я могу», — заявил министр и потерял интерес к вопросу.

Как-то раз, зайдя в кабинет к своему заместителю И. П. Гвоздареву, Каганович случайно увидел там его 16-летнего сына и взял его с собой в поездку на кирпичный завод. Ехали на семиместных «паккардах», закупленных за границей в 1933 или 1934 году, с бронированными 10-сантиметровыми зелеными стеклами, со спецсигналом и двумя машинами охраны. По дороге встретился железнодорожный переезд с опущенным шлагбаумом. Один из охранников с красным флагом бросился останавливать подходивший к переезду поезд, другой поднял шлагбаум.

На завод уже были доставлены 5 автобусов охранников. Они стояли шеренгами. Бледный директор со своей свитой ждал министра. «Ты что трясешься заранее? — сказал ему Каганович. — Я же тебя не съем. Вот если найдем неполадки — будешь трястись».

Подросток Гвоздарев-младший 20 лет спустя случайно ехал с Кагановичем в лифте жилого дома. «А я вас знаю, — сказал тогда пенсионер Каганович, — вы ездили со мной на кирпичный завод». Чтобы узнать в человеке средних лет однажды виденного юношу, надо обладать очень цепкой памятью на лица.

Один из членов коллегии Министерства стройматериалов во время войны занимал более высокий пост, работал под непосредственным руководством Сталина и много сделал для победы. Это был хороший руководитель, уже не молодой человек. Во время одного из докладов Сталин вдруг приказал ему раздеться. Он разделся. Сталин примерил его одежду и сказал: «Как раз впору. Будешь примерять мои костюмы». И во время заседаний коллегии бывало, что Каганович снимал трубку зазвонившей «вертушки» и, выслушав сказанное, произносил фамилию невольного живого манекена: «На примерку». И заслуженный, солидный мужчина стремглав, бросив все дела, мчался на примерку.

А в общем, и на этом месте Каганович оставил память о себе как о начальнике энергичном, с большими организаторскими способностями, но нечеловечески жестоком. Его гипнотизирующий, тяжелый взгляд люди и здесь запомнили на всю жизнь.

С другой стороны, у многих простых рабочих предприятий, подчиненных его министерству, остались самые лучшие воспоминания о своем министре. Так, в дни субботников он обязательно приезжал на какой-нибудь завод и трудился вручную наравне со всеми, всегда бывая при этом очень приветливым и простым в обращении. Это неизменно производило очень хорошее и глубокое впечатление.

В 1946 году Каганович принял участие в совещании высших военных и государственных руководителей, на котором по инициативе Сталина были заслушаны сфабрикованные компрометирующие материалы на маршала Жукова. Обвинения были достаточно серьезные, и при дурном обороте дела маршал мог быть арестован. Но военные почти единогласно выступили в защиту Жукова, и он остался на свободе, хотя и был переведен на более низкую должность — командующим Одесским военным округом. В этот день Каганович, как и Берия, выступал против Жукова.

В том же году во время одной из поездок по стране Кагановичу довелось заехать и в город Асбест, куда 11 лет спустя он был отправлен в почетную ссылку.