Резкие разногласия в придворной среде обнаружились уже буквально накануне Ливонской войны, во время переговоров в Москве с ливонскими представителями. Разбор дневника и отчета Томаса Хорнера, проделанный шведским историком Свенссоном, показывает различие позиций А. Адашева, противника войны с Ливонией, и сторонника «военной партии» дьяка Посольского приказа И. М. Висковатого. Даже первый (зимний) поход в Ливонию в январе — феврале 1557 г. не положил конец дипломатическим переговорам и стремлениям группировки А. Адашева добиться мирного исхода конфликта. Падение Нарвы (12 мая 1558 г.) привело к временному торжеству в Москве «военной партии». Однако после целого ряда побед, воспользовавшись посреднической миссией датского короля, А. Адашев и его единомышленники настояли на заключении в 1559 г. перемирия.

Благодаря этому перемирию ливонские феодалы получили передышку, которой воспользовались, чтобы заключить соглашение с польским королем Сигизмундом II Августом. Неудачей окончился и предпринятый Даниилом Адашевым (братом Алексея) в феврале 1559 г. поход на Крым.

Внешнеполитический курс Избранной рады, конечно, содействовал охлаждению Ивана Грозного к А. Адашеву. Вскоре нашелся и повод, которым воспользовались противники Адашева, чтобы нанести ему решительный удар.

Осенью 1559 г. во время поездки с Иваном IV в Можайск тяжело заболела царица Анастасия. Возвращаясь в Москву, царь поссорился с Сильвестром. Возможно, уже тогда «шурья» Ивана IV Юрьевы как-то старались скомпрометировать царского духовника. Так или иначе, но, «видивши своих советников ни во что же бывши», Сильвестр «своею волею отоиде в Кирилов монастырь».

В мае 1560 г. в Ливонию был отправлен Алексей Адашев. Здесь его назначили третьим воеводой большого полка (после князя И. Ф. Мстиславского и М. Я. Морозова). При непосредственном участии Адашева 30 августа была взята крупная крепость Вильян. Трудно сказать, была ли опалой посылка Адашева в войско, но, вероятно, в ней можно увидеть первое предзнаменование царской немилости.

17 августа 1560 г. умерла царица Анастасия. Тогда-то и разразилась гроза. Прежде всего царь велел оставить во взятом городе Вильяне Алексея и Даниила Адашевых, а не И. И. Плещеева, как намечал И. Ф. Мстиславский. Это уже было явной опалой. Здесь Адашев, по словам Курбского, пробыл «немало время». В Москве в это время противники Адашева обвинили его в отравлении царицы. Тогда опального временщика сослали в Юрьев Ливонский.

В сентябре — октябре 1560 г. родовые, приданые и купленные вотчины Алексея и Даниила Адашевых в Костровском и Переяславском уездах были отписаны в царскую казну, а вместо них Алексей Адашев получил «за опалу» земли в Бежецкой пятине. Подобная «мена» вотчинных земель была уже одним из предвестников опричных мероприятий.

Примерно через два месяца после приезда в Юрьев Адашев умер от «огненного недуга». Только неожиданная смерть избавила его от мучительной казни, ибо царь уже послал в Юрьев человека «убити» его. А. П. Телятевский позднее в Юрьеве по поручению царя производил тщательный розыск об обстоятельствах смерти Адашева.

Почти одновременно с опалой, постигшей Алексея Адашева, осифлянские противники Сильвестра добились его осуждения и ссылки в Соловецкий монастырь, где он и умер во всяком случае до 1570 г.

Новая волна репрессий постигла сторонников Адашева в 1562 г. Именно тогда был насильно пострижен в монахи боярин Д. Курлятев, в опалу попали князья М. И. и А. И. Воротынские, князь И. Д. Бельский, боярин В. В. Морозов.