Перестройка органов ВЧК — ГПУ завершилась к середине 20-х годов, но очень скоро началась снова — уже в другом направлении. Под влиянием Сталина ГПУ стало опять превращаться в карательную организацию: получило право заключать в тюрьму или лагерь, высылать в отдаленные районы страны, а позднее даже расстреливать отдельных заключенных.

В. Р. Менжинский, Председатель ОГПУ после смерти Дзержинского, не имел такого влияния и авторитета, как Дзержинский. К тому же Менжинский тяжело болел и мало вмешивался в повседневную работу ОГПУ. Фактическим главой ОГПУ стал его заместитель Г. Ягода, находившийся под большим влиянием Сталина. В начале 30-х годов ОГПУ руководило выселением кулаков. На органы ОГПУ опирался Сталин при проведении репрессий среди «буржуазной» интеллигенции» технических и военных специалистов. Уже тогда достаточно широко применялись фальсификация следственных материалов и пытки заключённых. Когда М. П. Якубович сказал в конце 1930 года своему следователю, что при Дзержинском такие методы следствия были бы невозможны, тот рассмеялся: «Нашли кого вспоминать! Дзержинский — это пройденный этап в развитии нашей революции».

Постепенно увеличивались и штаты ОГПУ, реорганизованного в Наркомат внутренних дел (НКВД), в его состав вошло также управление милицией и пограничной охраной. После смерти Менжинского в 1934 году наркомом внутренних дел назначили Ягоду. Права НКВД были значительно расширены. При наркоме было создано Особое совещание, наделенное правом заключать людей в лагерь, тюрьму или отправлять в ссылку на срок до пяти лет без какого-либо судебного разбирательства. В состав Особого совещания, кроме наркома внутренних дел, входили его заместители, начальник главного управления милиции и Прокурор СССР или его заместитель. Решение Особого совещания мог отменить по протесту Прокуратуры СССР только Президиум ЦИК СССР.

После убийства Кирова и особенно после первого «открытого» судебного процесса в 1936 году Сталин и Ежов провели «генеральную чистку» органов НКВД, о которой уже говорилось в этих очерках. Важно отметить, что в 1937 году оклады работников НКВД были увеличены сразу вчетверо и значительно превышали оклады сотрудников других партийных и государственных учреждений. Органам НКВД передавались лучшие квартиры, дома отдыха, больницы. Сотрудники органов за успешно проведенные операции получали правительственные награды. В 1937 году штаты НКВД были еще более расширены, наркомат превратился в огромную армию со своими дивизиями и полками, сотнями тысяч работников охраны, десятками тысяч офицеров. Управления НКВД имелись не только во всех областных, но и во всех районных центрах. Специальные отделы НКВД были на всех крупных предприятиях, в учреждениях, учебных заведениях. Под контролем НКВД находились и все средние предприятия, а также парки, библиотеки, железные дороги, театры и др. По всей стране была создана громадная сеть осведомителей и доносчиков, работавших на «общественных началах». Специальные досье заводились на десятки миллионов людей. Наряду с отделами кадетов и монархистов, меньшевиков и эсеров, а также «прочих контрреволюционных партий» в четвертом управлении НКВД был создан и отдел ВКП(б) для надзора и наблюдения за всеми партийными организациями вплоть до ЦК. Секретари горкомов, райкомов и обкомов утверждались на эти посты только после согласования с органами НКВД. Были в НКВД «особые» отделы, наблюдавшие за самими чекистами, а также «спецотдел», наблюдавший за работой «особых» отделов. Сотрудникам НКВД прививалось убеждение, что чекистская дисциплина выше партийной. В программу подготовки кадров входило изучение истории ремесла, в том числе история инквизиции. Конечно, пыткам и многому другому обучали на практике — в теории такое осуждалось.