Практически не снимался в кино Столяров и в 60-е годы. Эта невостребованность носила не только профессиональный характер, но и политический. В начале десятилетия в обществе обострилось противостояние между двумя группировками — либералами и державниками, — и Столяров тоже участвовал в этом конфликте. Например, он был против той волны огульных антисталинских разоблачений, которая внедрялась в советское общество либералами после ХХII съезда КПСС (октябрь 1961).

Столяров продолжал играть на сцене Театра киноактера, но в кино занят почти не был, как и большинство актеров этого театра его возраста. Столяров неоднократно поднимал вопрос об этом на разного рода совещаниях, но успеха эти выступления почти не имели. Так, в начале 60-х он схлестнулся на этой почве с режиссером Сергеем Колосовым (27 декабря 1921 года, Козерог-Петух). Тот взялся экранизировать «Укрощение строптивой» Шекспира силами актеров ЦАТСА, где шел этот спектакль и где играла его жена — Людмила Касаткина (15 мая 1925 года, Телец-Бык). Столяров же был уверен, что это можно было сделать силами их театра. Победа в этом споре осталась за режиссером. Чего Столяров простить не мог.

В конце 1965 года на Первом учредительном съезде Союза кинематографистов СССР Столяров вновь вспомнил о Колосове и раскритиковал его последний фильм — телеэпопею (первый многосерийный фильм на советском ТВ) «Вызываем огонь на себя». И вновь под огонь его критики попал не только режиссер, но и его супруга Касаткина, вновь сыгравшая главную роль. «Артистка Касаткина — прекрасная артистка, но в эту роль она внесла все свои штампы», — заявил Столяров.

Читаем в гороскопе: «Свинье лучше держаться от Петуха подальше. Они не доверяют друг другу, поэтому ничего хорошего из их партнерства не получится. С Быком Свинья может поладить, если их встречи будут достаточно редкими».

Все эти пикировки актера не могли не сказаться на его карьере в кинематографе. В итоге в 60-е Столяров снялся лишь в четырех картинах: «По газонам не ходить» (1963; Клюев), «Спроси свое сердце» (1964; Коржавин), «Человек меняет кожу» (1965; Синицын) и «Туманность Андромеды» (1967; Дар Ветер). Последний фильм даже получил специальный приз на фестивале в Триесте в 1968 году. Столяров в этом фильме сыграл свою последнюю роль в кино. Однако малая занятость в кинематографе позволила руководителям Театра киноактера, где Столяров работал, выдвинуть против него обвинение, что он не выполняет положенную норму. За это его и его жену уволили из театра. Этот скандал серьезно подорвал здоровье актера, вскоре он серьезно заболел.

В 1968 году у Столярова внезапно начала опухать нога, и поначалу он не придал этому особого значения. Он никогда до этого не болел. Как раз тогда ему удалось наконец «пробить» разрешение на съемки собственного фильма «Когда расходится туман». Много нервов для этого пришлось потратить. Вместе с сыном они поехали выбирать натуру, и тут болезнь спутала все планы Столярова. Врачи обнаружили у него рак. Как тогда сказали врачи, «болезнь от огорчения». Актера положили в Кремлевку, а его сыном овладела навязчивая идея: он обязательно должен отдать отцу долг! И он написал сценарий о Дмитрии Донском — великом князе Московском и Владимирском, возглавившем борьбу русского народа против монголо-татар.