Вскоре Московское государство постигли новые неудачи. В июле же пришла весть о том, что известный основатель Запорожской Сечи князь Дмитрий Вишневецкий (некоторое время находившийся на русской службе) «отъехал с Поля з Днепра в Литву к польскому королю». Почти одновременно с этими событиями литовские войска перешли в контрнаступление и произвели в августе 1562 г. нападение на русскую пограничную крепость Невель. Во время сражения был ранен русский военачальник Андрей Курбский. Позже Грозный упрекал князя Андрея, что он с войском в 15 тысяч человек не мог победить четырехтысячного отряда литовцев. В то же время «литовские люди вывоевали» псковские волости.

В сентябре 1562 г. после фактически не состоявшегося похода в Литву Иван IV вернулся в Москву. Летописец сообщает, что через день по возвращении в столицу царь «положил свою опалу на князя Михаила да князя Олександра на Воротынских за их изменные дела». Князя Михаила отправили в тюрьму на Белоозеро, а Александра заключают «за сторожи» в Галиче. Удел князей Воротынских (Новосиль, Одоев, Перемышль и доля в Воротынске) ликвидируется. С.Б. Веселовский считал, что эта опала была «вызвана не служебной провинностью князей». Однако ссылка автора на рассказ Курбского, что Михаила Воротынского обвиняли в колдовстве, не может быть принята во внимание, ибо она относится к событиям 1573, а не 1562 г. Нет никаких данных и в пользу предположения Л.М. Сухотина, считавшего, что опала на Воротынских вызывалась «былой их близостью к Сильвестру и Адашеву», а сами репрессии на княжат произведены были «с согласия думы боярской».

Летом 1562 г. оба Воротынских находились в полках в Серпухове под верховным (но по существу номинальным) главенством князя Владимира Старицкого. Их недостаточное служебное рвение, вероятно, и показалось подозрительным Ивану IV, особенно в связи с тем, что он «гневался» на Александра Воротынского еще со времени своей женитьбы на Марии Темрюковне. Одиозная фигура Владимира Старицкого также наводила царя на тяжелые для Воротынских размышления. Когда Девлет-Гирей в июле 1562 г. подошел к Мценску, то в Серпухов к М.И. Воротынскому с царским наказом прибыл Д.И. Хворостинин. В наказе, вероятно, содержалось предписание нанести удар по крымским отрядам. И действительно, получив распоряжение царя, воеводы из Серпухова направились к Мценску. Однако крымский хан отошел от города и попытка Воротынских и других воевод «со многими людьми» догнать его не увенчалась успехом. Это скорее всего и было непосредственной причиной опалы Воротынских. Впрочем, Воротынские как удельные княжата представляли большую опасность для царя (одних военных слуг у них насчитывалось несколько тысяч).

Виднейший русский военачальник времени Ивана Грозного князь М.И. Воротынский носил почетное звание «слуги» и считался званием выше всех бояр. Он, как и его брат А.И. Воротынский, в разрядах упоминаются с 1543 г.. В посольских делах упоминается под 1542 г. (Сб. РИО. Т. 59. С. 147).] Впрочем, князь Александр уже в 1560 г. введен в состав Боярской думы Впрочем, князь Александр уже в 1560 г. введен в состав Боярской думы, совмещая боярский титул с удельно-княжескими правами.

В апреле 1563 г., через год после снятия опалы с А.И. Воротынского, по нем были взяты поручные записи. Поручные по А.И. Воротынском свидетельствовали о приближении грозовой бури опричных лет. Теперь особую запись дали восемь бояр, причем уже в 15 тысяч рублей (а не в 10 тысяч, как по Бельском), и на такую же сумму — 100 княжат и детей боярских.