Осенью 1938 года Сталину стало ясно, насколько массовые чист­ки ослабили советские органы безопасности. К тому же в ЦК ВКП(б) поступали многочисленные письма от партийных руководителей на местах и простых граждан, в которых обращалось внимание на беззаконие и произвол, творившиеся «ежовцами». Ежов выполнил свою миссию, и Сталин решил им пожертвовать, возложив на него отвстственность за разгул террора в стране.

Первым признаком того, что карьере Ежова пришел конец, стало его назначение 8 апреля 1938 года по совместительству наркомом водного транспорта. В августе того же года первым заместителем наркома внутренних дел и одновременно начальником Главного управления государственной безопасности, в состав которого входи­ла и внешняя разведка, был назначен Лаврентий Берия, являвшийся 1-м секретарем Тбилисского горкома КП (б) Грузии, а до этого дли­тельное время работавший в органах ВЧК—ГПУ Закавказья.

17 ноября 1938 года Политбюро ЦК ВКП (б) утвердило на своем заседании секретное постановление СНК и ЦК ВКП (б) «Об арестах, прокурорском надзоре и ведении следствия», явившееся, по сути, предвестником конца «ежовщины». В документе, в частности, от­мечалось:

«Массовые операции по разгрому и выкорчевыванию вражеских элементов, проведенные органами НКВД в 1937—1938 годах при упрощенном ведении следствия и суда, не могла не привести к ряду крупнейших недостатков и извращений в работе органов НКВД и прокуратуры.

Работники НКВД настолько отвыкли от кропотливой, система­тической агентурно-осведомительской работы и так вошли во вкус упрощенного порядка производства дел, что до самого последнего времени возбуждают вопросы о предоставлении им так называемых лимитов для производства массовых арестов. Глубоко укоренился упрощенный порядок расследования, при котором следователь, как правило, ограничивается получением от обвиняемого признания своей вины и совершенно не заботится о подкреплении этого при­знания необходимыми документальными данными. Нередко по­казания арестованных записываются в виде заметок, а затем спустя продолжительное время составляется общий протокол, причем со­вершенно не выполняется требование о дословной, по возможности, фиксации показаний арестованного. Очень часто протокол допроса не составляется до тех пор, пока обвиняемый не признается в совершенных им преступлениях».

Постановлением от 17 ноября 1938 года органам НКВД и Про­куратуре запрещалось проводить какие-либо массовые аресты и выселения, а сами аресты предписывалось осуществлять в соот­ветствии с Конституцией страны только по постановлению суда или с санкции прокурора. В центре и на местах ликвидировались судебные «тройки». В то же время в документе подчеркивалось, что «очистка СССР от многочисленных шпионских, террористических, диверсионных и вредительских кадров должна продолжаться, но с использованием более совершенных и надежных методов».

В тот же день Ежов направил Сталину докладную записку, в которой каялся в том, что «не завершил разоблачение заговорщиков из НКВД». Вопреки всякой логике, в его письме отмечалось, что «заговорщикам удалось завербовать не только верхушку ЧК, но и среднее звено, а часто и низовых работников». Ежов подчеркивал, что «иностранную разведку, по существу, придется создавать зано­во, поскольку весь Иностранный отдел НКВД оказался засоренным шпионами».

23 ноября в кабинете Сталина Ежов написал заявление в Полит­бюро ЦК ВКП (б), в котором просил освободить его от должности наркома внутренних дел СССР. Просьба Ежова была удовлетворена. Новым наркомом внутренних дел стал Лаврентий Берия.

Репрессии против чекистских кадров пошли на убыль, но полно­стью не прекратились. Еще будучи первым заместителем наркома внутренних дел, Берия запросил у председателя Военной коллегии Верховного суда СССР Ульриха данные о деятельности этого судеб­ного органа.