Однако не забывает Пырьев и о творчестве. После четырехлетнего простоя, связанного с обилием общественных дел, Пырьев вновь возвращается на съемочную площадку как режиссер – берется за экранизацию «Идиота» Ф. Достоевского. Фильм становится настоящей сенсацией, хотя и занимает в прокате-58 скромное 12-е место (31 млн. зрителей). С точки зрения кассы – не самый удачный проект для такого режиссера, как Пырьев. Однако сам он так не считает и через год экранизирует еще одно произведение великого русского писателя – «Белые ночи» (главную роль в нем играла новая пассия режиссера Людмила Марченко). Затем он снимает два фильма на современные темы: «Наш общий друг» (1962, 15-е место в прокате – 22,4 млн. зрителей) и «Свет далекой звезды» (1965, 6-е место – 60 млн.). В последней картине в главной роли снялась новая возлюбленная режиссера, которая затем стала его третьей – и последней – официальной женой (с 1963 года), – Лионелла Скирда-Пырьева.

Между тем в рядах кинематографистов зреет недовольство руководством Пырьева. Это недовольство всячески поощрялось на самом кремлевском верху, где он давно был как кость в горле в силу своей почвенности. Когда-то в молодости Пырьев восставал против авторитета Сергея Эйзенштейна, а теперь он сам оказался в эпицентре критики молодых, которых умело направляли более опытные интриганы как из ЦК КПСС, так и из Союза кинематографистов. В итоге по Пырьеву был нанесен ряд нокаутирующих ударов, которые он сам помог спровоцировать своим невоздержанным характером.

На съемках фильма «Свет далекой звезды» в Горьком летом 1964 года Пырьев не сдержался и, поднеся к губам мегафон, выругался матом. Тут же кто-то из присутствующих зрителей накатал на режиссера «телегу» и отправил в Москву. В «Известиях», которые возглавлял зять Хрущева Алексей Аджубей (один из недругов Пырьева), появился фельетон, посвященный режиссеру. В результате Пырьева исключают из партии (потом, правда, восстановят) и снимают с поста председателя оргкомитета Союза российских кинематографистов.

Пырьев тяжело переживал свою опалу и только спустя полгода стал немного приходить в себя. Будь он один, ему было бы вдвойне тяжело, но с ним тогда рядом находилась молодая жена, которая смогла смягчить тяжесть ситуации.

Между тем, будучи фактически в опале, Пырьев продолжал играть активную роль в кинематографической жизни страны. Например, он был одним из немногих в своей среде, кто еще в середине 60-х разглядел тревожные тенденции среди киношников – когда молодежь стала пренебрегать заветами своих отцов, все сильнее отходила от народных корней, увлеченная западными новациями. Причем эти настроения активно поддерживались большинством представителей более старшего поколения кинематографистов, которые относили себя к либералам. Об одном характерном случае, который произошел с Пырьевым во второй половине 60-х, вспоминает Г. Чухрай:

«Мне вспоминается совещание у недавно назначенного на пост заведующего Отделом культуры ЦК КПСС В. Шауро, который собрал кинематографистов для того, чтобы „посоветоваться, как дальше повести дело“. Было предложено откровенно высказаться. Выступил С. Герасимов с несколько умеренно-смелыми мыслями относительно малой информированности нашей печати. М. Ромм говорил о подготовке молодых кинематографистов. По его мнению, во ВГИКе неверно набирались студенты на режиссерский факультет. Он призывал уделять внимание личностям и создавать условия для их развития. Затем выступил Пырьев.