В июне 1950 года Серова ушла из Ленкома в Малый театр. Поступить так ей посоветовал Симонов, который собирался отдать в Малый свою новую пьесу, где его жена должна была играть главную роль. Но пьесу в театре не приняли, и Серовой пришлось довольствоваться более скромной ролью в другом спектакле. В итоге в этом театре она долго не задержалась и покинула со скандалом. Как-то вечером выпила с приятелем Павлом Шпрингфельдом и отказалась приезжать на вечерний спектакль. По этому поводу в Малом созвали собрание, которое приняло решение уволить Серову из театра. Когда Серова услышала это резюме, она упала в обморок. Домой ее увез сам Симонов, завернув в норковую шубу. На дворе стоял конец января 1952 года.

После этого случая Серова запила. Симонов как мог пытался спасти жену, но у него это плохо получалось. Болезнь пустила слишком глубокие корни. Не спас Серову даже перевод в другой театр – имени Моссовета и постановка специально под нее пьесы «История одной любви», которую она впервые играла в Ленкоме 16 лет назад. Но нынешняя Серова была не чета той, ранней: та была молода и обаятельна, эта – бледна и с отекшим лицом. Окончательно добила Серову история с ее сыном Анатолием: тот в 16 лет угодил в колонию.

К середине 50-х Симонов был уже одним из самых влиятельных людей в Советском Союзе – шестикратный лауреат Сталинской премии, член президиума Советского комитета защиты мира, главный редактор журнала «Новый мир». Естественно, это высокое положение теперь вступало в явный диссонанс с именем Валентины Серовой – закатившейся звезды советского кинематографа. Как итог: в конце 1956 года Симонов уходит от Серовой к другой женщине – вдове поэта Семена Гудзенко Ларисе Жадовой. С ней Симонов познакомился во время отдыха в Кисловодске, у них начался роман, который привел к беременности Ларисы. Как только это обнаружилось, Симонов принял решение уйти из прежней семьи. Говорят, Серова, узнав об этом, попыталась покончить с собой, выбросившись из окна. Ее спасла подруга, которая в самый последний момент успела схватить ее за руку.

Серова не простила Симонову измены и прекратила с ним всяческие отношения. И долго не давала ему развода и не разрешала видеться с дочерью. Когда к ней приходили повестки в суд, она их рвала и приговаривала: «Гуляй сколько влезет, а развода не получишь!» Однако в конце концов Симонов своего добился: 28 января 1957 года суд все-таки развел его с Серовой. Спустя несколько месяцев Лариса Жадова родила Симонову дочку Александру.

Так получилось, что, обретя новое счастье в личной жизни, в общественной деятельности Симонов угодил в опалу. При Хрущеве ему припомнили все его Сталинские премии и высокие посты, постепенно лишив его всех высоких должностей. В 58-м его сняли с редакторства в «Новом мире», год спустя вывели из секретариата правления Союза писателей СССР и, наконец, в 61-м – прекратили его членство в Центральной ревизионной комиссии ЦК КПСС. По одной из версий, все это было местью писателю за то, что он достаточно быстро и легко сменил политическую позицию: от сталинистов переметнулся к либералам.

Стоит отметить, что подобные побеги в те годы совершали многие советские интеллигенты. Свою позицию эти деятели объясняли просто: дескать, раньше мы не знали о преступных деяниях Сталина, а потом прозрели.