Первые несколько лет молодые жили прекрасно, их отношениям многие завидовали. Но после того как Рагулин повесил коньки на гвоздь, все испортилось. Бывший хоккеист стал выпивать, все чаще пропадал из дома. Вспоминает Людмила:

«Его славу хотел разделить с ним каждый встречный, и Саша не всегда мог отказывать, все чаще приходил домой навеселе, у нас с ним начались конфликты. Постепенно его, доверчивого и простодушного, стали использовать в своих целях не совсем честные и порядочные люди. Все его неприятности ложились только на мои плечи. Жизнь превратилась в кошмар. Я и близкие друзья Рагулина долго боролись за него, как могли пытались спасти Сашу, но его пристрастие к алкоголю оказалось сильнее… Мы с ним развелись, прожив вместе почти двадцать лет…»

Со своей второй женой Рагулин познакомился в начале 80-х, когда его отправили в Новосибирск тренировать тамошних молодых хоккеистов. Но тренерская работа у Рагулина и там не пошла, даже едва не привела его в тюрьму по обвинению в финансовых злоупотреблениях. Зато там он нашел свою вторую жену — работницу гостиницы Ларису. Он привез ее в Москву, прописал в квартире своей матери. Но этот брак продлился всего несколько лет и закончился разрывом. Рагулин ушел в никуда, оставив жене квартиру, а с собой забрав только комплект своих золотых спортивных медалей.

Все эти неурядицы сильно подтачивали здоровье Рагулина — у него случилось два инфаркта. В начале 90-х у нашего героя появился шанс уехать жить в США, куда его звала одна страстная поклонница его спортивного таланта — бывшая уроженка СССР, перебравшаяся жить в Америку. Рагулин съездил к ней пару раз, пообещал жениться, однако потом вдруг передумал. Видно, понял, что жить без своей родины не сможет. А потом судьба послала ему новое испытание. Будучи одним из руководителей Ассоциации ветеранов хоккея, Рагулин положил все деньги этой организации в печально знаменитую фирму «Властелина». И едва их не лишился. Но буквально за день до ареста руководительницы этой фирмы Соловьевой Рагулин приехал в офис фирмы и сумел забрать все деньги обратно. Если бы этого не случилось, он вполне мог бы наложить на себя руки, как это делали тогда многие жертвы финансовых пирамид.

Летом 1991 года судьба послала Рагулину неожиданную встречу, которая круто изменила его жизнь к лучшему. 1 июня он познакомился со своей третьей, и последней, женой — Ольгой. Он тогда жил в Красногорске, а Ольга работала там начальником отдела в администрации механического завода. Спустя год молодожены переехали жить в кооперативную квартиру близ железнодорожной станции Каланчевская. Это был престижный дом, где соседом Рагулиных был известный актер Юрий Соломин. Но Рагулину быстро разонравилось его новое место проживания, и они с женой вскоре переехали туда, где бывший хоккеист провел лучшие годы своей спортивной карьеры — в район метро «Сокол», неподалеку от Дворца спорта ЦСКА. Именно оттуда в середине ноября 2004 года Рагулина забрали в госпиталь, откуда живым он уже не вернулся.

Несмотря на два инфаркта, Рагулин свято верил в свое долголетие. На это были причины: его мама прожила 85 лет, а бабушка — 91. Однако в 2003 году, после очередной проверки в 6-м госпитале в Химках, врачи настоятельно порекомендовали Рагулину поберечь сердце и не менее двух раз в год ложиться на профилактическое обследование. Однако спортсмен эти рекомендации нарушал.