В бытность Вышинского Прокурором Союза ССР повальные аресты производились и среди руководящих прокурорских и судебных работников. Властям всюду мерещился пресловутый «правотроцкистский контрреволюционный» и даже «террористический» заговор. Военная коллегия Верховного суда СССР и Особое совещание при НКВД СССР едва успевали рассматривать такие дела. Они пропускали через свои жернова одного за другим бывших коллег-юристов. Многие процессы заканчивались трагически для их участников. Смертная казнь была наиболее распространенной мерой наказания по такого рода делам. Слово «коллега» не являлось каким-либо смягчающим вину обстоятельством. С ними поступали не менее бесчеловечно, чем с другими подсудимыми.

По имеющимся данным, на начало 1993 года было выявлено 280 репрессированных прокуроров и следователей, из них 90 человек расстреляны. Наиболее жестокие преследования осуществлялись в те годы в отношении прокуроров республик, краев и областей. 44 из них были арестованы и осуждены, причем 23 — к высшей мере наказания, а 17 — отправлены в лагеря, где отбывали длительный срок. Впоследствии трое из них умерли, а один — покончил жизнь самоубийством. В числе репрессированных (в том числе и расстрелянных) были и женщины-прокуроры. Все прокуроры, чьи дела проверены, в настоящее время реабилитированы.

Среди лиц, попавших при содействии Вышинского и его сподручных в ежовско-бериевские застенки, оказалось немало и московских прокуроров: ответственных работников Прокуратуры СССР, Прокуратуры РСФСР, Главной транспортной прокуратуры, прокуратуры Москвы и Московской области. В частности были арестованы, а затем расстреляны Главный транспортный прокурор СССР Герман Михайлович Сегал, его заместитель Сергей Алексеевич Миронов и помощник Аркадий Маркович Липкин, старший помощник Прокурора РСФСР Виктор Михайлович Бурмистров, и. о. прокурора Челябинской области (до этого был прокурором Москвы) Андрей Владимирович Филиппов, заместитель Прокурора Союза ССР Григорий Моисеевич Леплевский, прокурор Московской области Владимир Александрович Малюнов, а также ответственные работники московской прокуратуры Виктор Давидович Торговец и Роман Артемович Прохоров, прокурор Москвы Константин Ипполитович Маслов, и. о. прокурора Москвы Вениамин Исаакович Кобленц, заместитель прокурора Москвы по спецделам Исаак Наумович Евзерихин и другие.

12 января 1938 года открылась 1-я сессия Верховного Совета СССР. В последний день сессии А. Я. Вышинский был назначен Прокурором Союза ССР сроком на семь лет (по новой Конституции СССР). От имени Совета старейшин Совета Союза и Совета Национальностей его кандидатуру представил депутат Г. И. Петровский. В своей речи он сказал, что Вышинский всем «известен по своим выступлениям на судебных процессах против врагов народа».

Массовые аресты 1936–1938 годов нанесли непоправимый урон народному хозяйству страны. Многие наркоматы, предприятия и организации были в буквальном смысле обезглавлены, оказались без лучших специалистов, что не могло не сказаться на качестве их работы. Особенно пострадали оборонные отрасти промышленности. Острую нехватку кадров испытывали и судебно-прокурорские органы. К началу 1938 года в прокуратуру было принято около 2 тысяч новых, профессионально неподготовленных работников, которые стали прокурорами и следователями. И все же, несмотря на это, оставалось большое количество вакантных мест, а в некоторых районах вообще не было прокуроров.

В январе 1938 года пленум ЦК ВКП(б) принял постановление «Об ошибках парторганизаций при исключении коммунистов из партии, о формально-бюрократическом отношении к апелляциям исключенных из ВКП(б) и о мерах по устранению этих недостатков». Постановление фактически возлагало ответственность за массовые репрессии людей на местные партийные органы, которые поддались «на происки врагов». Вскоре после этого, 17 ноября 1938 года Совнарком СССР и ЦК ВКП(б) приняли постановление «Об арестах, прокурорском надзоре и ведении следствия», которое, признавая «перегибы» в деле арестов людей и привлечения их к ответственности, приостановило массовые репрессии в стране.