Еще одну «денежную» сценку описал портной Ю. Д. Ефремов, реставрировавший для Кагановича шубу: «…А скоро мне деньги понадобились. Иду по швейному цеху занимать — у той нету, у того нету. Дай, думаю, к Лазарю Моисеевичу сбегаю, аванс возьму. Прихожу — он дома. „Я, — говорю, — шубу вашу распорол, верх колонок, низ белка — там все рухлядь. Я за работу восемьдесят рублей возьму. Нельзя ли аванс?“ „Знаете что, — говорит, — из меня врага народа сделали, я пенсию семьдесят шесть рублей получаю…“ В конце концов с ценой согласился, но аванса не дал. Ну, а когда я сделал, принес ему, он меня усадил, работу принял и вышел. Я сижу тихо, смотрю на дверь. А у него в двери стекло такое дутое, я потом специально посмотрел — он из своей комнаты меня хорошо видит, а я со своей стороны — только тень смутную за стеклом. Шелестел-шелестел за дверью — выносит пятьдесят рублей, двадцать пять и пятерку, все новенькие. На том и распрощались».

Когда был снят со своих постов Н. С. Хрущев, Каганович направил в ЦК КПСС заявление с просьбой восстановить его членство в партии. Но Президиум ЦК отказал Кагановичу в пересмотре ранее принятого решения. В дальнейшем его пенсия была снижена до 300 рублей. Но по-прежнему в случае надобности к подъезду подавали машину. Как-то раз в разговоре с молодыми родственниками о прошлом Лазарь Моисеевич воскликнул: «Разве сейчас могут так работать! Мы же горели, мы ночей не спали…» Видимо, это и есть его подлинная самооценка.

Каганович записался читателем в Историческую библиотеку. Его приняли без возражений. При заполнении анкеты его спросили об образовании. «Пишите — высшее», — сказал Каганович. Иногда Каганович приходил для работы и в Ленинскую публичную библиотеку. Он, как и Молотов, стал писать мемуары. Это было видно уже по тем книгам и журналам, которые он подбирал с помощью библиографов: о событиях в Саратове и Гомеле в 1917 году, о Туркестанских делах 1920–1922 годов, об организационно-партийной работе в 20-е годы, об истории московской партийной организации.

Каганович часто работал и в газетном зале Ленинской библиотеки. Мимо него в эти дни проходило множество посетителей, некоторые из любопытства, но он не обращал на них особого внимания.

Однажды при сдаче книг в академическом зале Ленинской библиотеки из-за отсутствия библиотекарши у стойки перед выходом образовалась маленькая очередь ученых, хотевших сдать книги. Каганович подошел и встал первым. Ему спокойно заметили, что имеется небольшая, но очередь. «Я — Каганович», — заявил неожиданно Лазарь Моисеевич, обиженный невниманием к его персоне. Однако из очереди вышел ученый и встал перед Кагановичем, громко сказав при этом: «Я — Рабинович». Это был очень известный физик по проблемам плазмы М. С. Рабинович.

Ночами Лазарь Моисеевич ходил кругами с палочкой и в очках вокруг своего дома два-три часа подряд; во всех встречных внимательно вглядывался. Впрочем, жильцы обходили его стороной, как и Маленкова и Булганина. Между собой бывшие соратники и нынешние соседи не общались совершенно. Пока Каганович гулял, жена его сидела у подъезда и разговаривала с лифтершами, которые любили ее и не любили ее мужа. Мария Марковна Каганович была очень полной женщиной, у нее была водянка, и она с трудом передвигалась на распухших ногах. Она тоже была старой большевичкой, получала персональную пенсию и пользовалась кремлевской столовой и поликлиникой.