Н. Каратаева вспоминает: «Если у нас бывали ссоры, Анатолий Дмитриевич иногда заявлял: «Я пойду к маме жить». Он приходил к своей маме, а она всегда говорила: «Ты женился, Толя, и, пожалуйста, разбирайся со своей женой у себя дома, а ко мне с этим не ходи. Я не могу вставать на твою сторону и осуждать твою жену». Я ей очень благодарна за это…»

Еще одним предметом для конфликтов в семье нашего героя было его чрезмерное увлечение алкоголем. Об этом вспоминает еще одна актриса Театра сатиры — Вера Васильева: «Появился у нас в театре буйный на выдумки, смелый и творчески необычайно деятельный актер Женя Весник. Он тоже был молод, но быстро занял в нашем театре значительное положение. И все вокруг него кипело. С Толей они крепко подружились, но по темпераменту Женя его перехлестывал. Словом, к нашему с Надей Каратаевой ужасу, появилась в жизни Толи опасная приятельница — водочка. Тогда к такого рода злу относились проще и, кажется, само зло было менее трагичным, чем сейчас. Так или иначе, но у молодой жены Папанова появились основания для грусти».

Стоит отметить, что наш герой и Весник были людьми одного поколения: Весник родился на 2,5 месяца позже Папанова — 15 января 1923 года, Козерог-Свинья — гармония со Скорпионом-Собакой по месячным знакам, как сказано в гороскопе: «У Скорпиона и Козерога очень хорошие отношения». Оба они были фронтовиками, и оба были ранены. У них были общие взгляды на многие вещи, оба были беспартийными и никогда не участвовали в каких-либо группировках внутри родного театра. Короче, их дружба была предопределена множеством различных причин, в том числе и астрологических (месячная гармония).

Увлечение нашего героя алкоголем было вызвано прежде всего тем, что в театре он был мало востребован как актер. В то время как его жена уже считалась ведущей актрисой в репертуаре Театра сатиры, Папанов выходил на сцену в ролях, которые принято называть «Кушать подано». Все это угнетало Папанова. Перелом в его судьбе наступил в середине 50-х. Причин было две.

Во-первых, в 1954 году (Лошадь) родилась дочка Лена, причем она тоже оказалась Скорпионом, как и отец (20 ноября), во-вторых, в 1955 году Папанов сыграл свою первую значительную роль — в спектакле «Поцелуй феи». После этого столичные театралы впервые заговорили о Папанове как о талантливом актере, о том, что у него прекрасные перспективы на будущее. Именно в то время наш герой прекратил свои пьяные застолья. Как вспоминает Н. Каратаева:

«Единственный серьезный конфликт у меня с ним был из-за того, что он стал выпивать. Но у Анатолия Дмитриевича за такой внешней мягкостью скрывалась очень большая сила воли (как и у всякого Скорпиона. — Ф. Р. ). И он как-то мне сказал: «Все, я больше не пью». И как отрезал. Банкеты, фуршеты — он ставит себе боржоми, в театре все знали, что Папанов не пьет».

Кстати, Скорпионам вообще не рекомендуется злоупотреблять алкоголем, поскольку если они на это дело «подсядут», то вылечить их от этого пристрастия бывает чрезвычайно трудно. Папанов сумел вовремя остановиться.

Стоит отметить, что и курить наш герой бросил таким же волевым способом вместе со своей женой.

Не менее трудно, чем в театре, складывалась актерская судьба Папанова и в кинематографе. Первую свою крохотную роль в кино наш герой сыграл в 1951 году в фильме режиссера, который родился в год Тигра, а тот из одной астрологической команды с Собакой. Речь идет о Григории Александрове, который пригласил Папанова сыграть роль адъютанта Карла Ивановича в фильме «Композитор Глинка». Затем в течение нескольких лет Папанов не был востребован в кино, пока в 1955 году молодой тогда режиссер Эльдар Рязанов не пригласил его попробоваться на роль директора заводского Дворца культуры Огурцова в картине «Карнавальная ночь».