Для того, чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», было признано необходимым ликвидировать разделение в структуре прокуратуры на общий и судебный надзор, а также упразднить бюро жалоб. При этом предполагалось, что каждый отдел будет осуществлять весь комплекс задач, стоящих перед органами прокуратуры, начиная от разрешения жалоб и заканчивая надзором за рассмотрением дел в суда х. Поэтому вместо отделов были образованы сектора по делам промышленности, сельского хозяйства, торговли, кооперации, финансов и др.

В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной прокуратуры), прокуратуры по спецделам, сектор надзора за местами лишения свободы и управление делами.

Новая структура Прокуратуры Союза ССР и нижестоящих прокуратур, как и следовало ожидать, оказалась недолговечной. Искусственное разделение прокуратуры по производственному принципу не дало желаемых результатов, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который с теми или иными изменениями сохранился и в наше время.

Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения XVII партсъезда и задачи органов юстиции» сделал Прокурор Союза ССР И. А. Акулов. В своем полуторачасовом выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целом ряде «недочетов и извращений» и предложив конкретные меры по их устранению. Как писала тогда пресса, «докладчик говорил просто, без малейшей погони за вычурной красной фразой».

В руководстве работой прокуратуры на местах И. А. Акулов проявлял большую оперативность и требовал этого же от своих подчиненных. Он был противником «бумажного руководства», очень быстро подмечал самые больные вопросы, на которые всегда остро реагировал. В целях коллективной выработки наиболее важных решений, И. А. Акулов организовал в Прокуратуре СССР так называемое оперативное совещание, порядок работы которого определялся специальным приказом (прообраз будущей коллегии).

При И. А. Акулове Прокуратурой Союза ССР был учрежден собственный журнал «За социалистическую законность» (позднее стал называться «Социалистическая законность», а в настоящее время — «Законность»). Первый номер журнала был подписан в печать в конце января 1934 года. Ответственным редактором его стал Акулов.

1 декабря 1934 года в Смольном выстрелом из револьвера был убит член Президиума ЦИК СССР и Политбюро ЦК ВКП(б), секретарь Центрального и Ленинградского областного комитетов ВКП(б) Сергей Миронович Киров. Его убийцу Л. В. Николаева задержали на месте преступления.

Расследование этого дела — одна из самых темных страниц истории советской прокуратуры. Прокурор Союза ССР И. А. Акулов оказался в полной зависимости от работников НКВД, которые разрабатывали только ту версию убийства, которую выдвинул И. В. Сталин. Он не противодействовал незаконным методам ведения следствия и фактически потворствовал нарушителям законности. Формально Акулов, его заместитель Вышинский и следователь Шейнин также допрашивали обвиняемых, но допросы сводились лишь к оформлению предварительно «выбитых» показаний.

Трагические события, происшедшие 1 декабря 1934 года, фактически развязали руки властям для организации массовых репрессий по всей стране. Но чтобы не проводить их без оглядки на строгие рамки законности, нужно было срочно изменить сам закон.