С самого начала работы в Прокуратуре Вышинский стал активно использовать судебную трибуну для борьбы с преступлениями, «врагами народа» и «контрреволюционерами». Одно из первых дел, в котором он принял участие в ранге заместителя прокурора Союза, было дело о некомплектной отгрузке комбайнов, рассматривавшееся уголовно-судебной коллегией Верховного суда СССР с 16 по 22 августа 1933 года. Суду были преданы 11 крупных хозяйственных руководителей, в их числе заместитель начальника Союзсельхозснаба Реттель, начальник управления сбыта Союзсельмаша Моев, директор Запорожского завода «Коммунар» Шабашвили, его заместитель Дик и другие. Основанием для возбуждения дела послужили многочисленные факты некомплектной отгрузки комбайнов заводом «Коммунар», что приводило к их длительным простоям. И хотя следствием не было выявлено какого-либо злого умысла со стороны обвиняемых, Вышинский в своей речи пытался представить дело как «отражение еще не оконченной в стране классовой борьбы». Подсудимых он называл проводниками «капиталистической партизанщины» и «враждебных советскому социалистическому строительству настроений, традиций, привычек, взглядов, методов работы», а их действия — как «прямой заговор группы государственных служащих против советского закона». И все же в этом процессе он был пока еще склонен «всякое сомнение толковать в пользу подсудимого» и даже посчитал излишним «излагать рецепты наказаний для каждого из подсудимых». Может быть, поэтому судьи и вынесли довольно мягкий для тех лет приговор — пятерым они определили принудительные работы, а остальным — общественное порицание или предупреждение.

В марте 1934 года прокурор Союза И. А. Акулов издал приказ «О перестройке аппарата прокуратуры в центре и на местах». Наверное, если бы он был более сведущим в прокурорской деятельности, то не стал бы разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру аппарата прокуратуры, построенную по функциональному принципу. В приказе отмечалось, что отделы перестраиваются по производственному и производственно-территориальному принципу. По мнению руководства Прокуратуры Союза ССР, это должно обеспечить «высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности» во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную ему работу.

Для того чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», было признано необходимым ликвидировать разделение в структуре прокуратуры на общий и судебный надзоры, а также упразднить бюро жалоб. При этом предполагалось, что каждый отдел будет осуществлять весь комплекс задач, стоящих перед органами прокуратуры, начиная с разрешения жалоб и заявлений и заканчивая надзором за рассмотрением дел в судах. Вместо отдела общего надзора, судебного надзора и бюро жалоб были образованы следующие секторы: по делам промышленности; по делам сельского хозяйства; по делам торговли, кооперации и финансов; по делам водного транспорта; по делам административно-судебного и культурного строительства; по судебно-бытовым делам и сектор мобработы. Было учреждено также справочное бюро, которое давало посетителям необходимые разъяснения.

Прокурорам союзных республик, краев и областей предлагалось перестроить свою работу применительно к структуре Прокуратуры Союза. В небольших областях вместо секторов надлежало иметь ответственных исполнителей (прокуроров) «по отдельным частям работы», а в районных прокуратурах перестройка должна быть направлена лишь на изменение методов руководства.

В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее Главной прокуратуры водного транспорта, прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.