Будучи прокурором, А. Я. Вышинский активно занимался и советской наукой. Из-под его пера одна за другой выходили статьи и книги: «Очерки по истории коммунизма» (1924 и 1925 годы), «Суд и карательная политика Советской власти» (1925 год) и др.

В 1925 году А. Я. Вышинский покинул прокуратуру. Ученый совет Московского государственного университета избрал его своим ректором. К этому времени он был уже профессором. Наряду с выполнением обязанностей ректора, он читал также курс лекций по уголовному процессу на юридическом факультете. На основе лекций вскоре издал учебник «Курс уголовного процесса». В эти же годы его назначили членом комиссии законодательных предположений при Совнаркоме СССР.

В мае 1928 года Вышинского временно призвали в органы юстиции. Ему поручили председательствование в Специальном присутствии Верховного суда СССР по делу группы «вредителей» в угольной промышленности, известному больше как «шахтинское дело». В начале декабря 1930 года он возглавил группу судей на процессе так называемой «Промышленной партии».

11 мая 1931 года Андрей Януарьевич Вышинский был назначен Прокурором РСФСР, сменив на этом посту Н. В. Крыленко. Через десять дней он становится одновременно и заместителем Наркомюста РСФСР. Указанные должности Вышинский занимал немногим более двух лет, но этого вполне хватило на то, чтобы о нем заговорили как о новой восходящей звезде на советском юридическом небосклоне. И хотя он продолжал пребывать как бы в тени славы Крыленко, считавшегося первым судебным оратором Страны Советов, он сумел развить очень бурную деятельность. Ни одно важное событие в правовой жизни страны, будь то совещания, активы, судебные процессы, особенно по политическим делам, не обходились без его участия. К этому надо добавить его многочисленные выступления в печати, издание книг и брошюр по юриспруденции, лекции и доклады на разнообразных конференциях и симпозиумах и т. п. Он чутко прислушивался ко всем выступлениям И. В. Сталина, тщательно штудировал его статьи и тут же пытался использовать все идеи вождя в своей практической деятельности. А. Я. Вышинский одним из первых подхватил его тезис о том, что при определенных условиях «законы придется отложить в сторону».

В качестве прокурора республики А. Я. Вышинский принял участие в целом ряде крупных процессов, в том числе и по так называемым «делам о вредительстве». Деятельность его на посту прокурора республики, хотя и непродолжительная, была вознаграждена. Он получил орден Трудового Красного Знамени, которого он удостоился за «выдающуюся работу по разоблачению вредительских и контрреволюционных организаций».

В июне 1933 года после создания Прокуратуры Союза ССР А. Я. Вышинского назначили заместителем Прокурора СССР. Его служба в центральном аппарате продолжалась шесть лет. Прокуратура Союза ССР размещалась в старинном особняке, построенном еще в первой четверти XIX века (в 1824 году) и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 1990-х годов — Пушкинская улица).

С самого начала работы в Прокуратуре Союза ССР Вышинский стал активно использовать судебную трибуну для борьбы с «вредителями», «врагами народа» и «контрреволюционерами». Одно из первых дел, в котором он принял участие в ранге заместителя Прокурора Союза ССР, — о некомплектной отгрузке комбайнов, — рассматривалось уголовно-судебной коллегией Верховного суда СССР с 16 по 22 августа 1933 года. Суду были преданы 11 крупных хозяйственных руководителей.