Весной 1918 года Н. В. Крыленко занялся организацией работы первых революционных трибуналов. Вначале он возглавил отдел, а затем — коллегию обвинителей Революционного трибунала при ВЦИК, учрежденного 16 мая 1918 года для «суждения по важнейшим делам». Руководителем следственной комиссии этого трибунала стала его жена Е. Ф. Розмирович.

Выбор главного государственного обвинителя не был случайным.

Н. В. Крыленко слыл (и не без оснований) блестящим оратором и полемистом, к тому же он был фанатично предан идеям революции и непримирим к ее врагам. Его отличали и такие личные качества, как прямота и бескорыстие. В ранге обвинителя он уже успел провести ряд процессов. Николай Васильевич выступал почти беспрерывно. Он поддерживал обвинение по всем крупным контрреволюционным и уголовным делам того времени, заслужив репутацию «прокурора пролетарской революции». В некоторых белогвардейских изданиях его называли не иначе как «советским генерал-прокурором», настолько высок был его авторитет и велико влияние на правовую политику молодой республики. Н. В. Крыленко выступал обвинителем в процессах английского дипломата Локкарта, провокатора Малиновского, левых и правых эсеров, а также по делам бывшего царского прокурора Виппера, тюремного надзирателя Бондаря, сотрудника ВЧК Косырева и многим другим. В этих процессах Николай Васильевич заявил о себе, как о судебном ораторе, выступающем с классовых позиций, великолепно владеющем словом. Как истинный представитель своего революционного времени, он был беспощаден к тем, кого считал врагами революции. Сейчас, читая его речи, можно легко уловить в них элементы не только твердости, но и неоправданной жесткости и предвзятости по отношению к подсудимым. Безусловно, в его речах соображения революционной целесообразности явно брали верх над принципами гуманности и законности.

Одним из самых громких процессов того времени был процесс правых эсеров, который проходил в Москве с 8 июня по 7 августа 1922 года.

Н. В. Крыленко произнес в Верховном трибунале большую многочасовую речь, в которой с присущей ему революционной страстностью доказывал вину подсудимых (их было 34 человека). В самом начале своей речи Н. В. Крыленко сказал следующее: «Дело суда истории определить, исследовать, взвесить и оценить роль индивидуальных лиц в общем потоке развития исторических событий и исторической действительности. Наше же дело, дело суда, решить: что вчера, сегодня, сейчас сделали конкретно эти люди, какой конкретно вред или какую пользу они принесли или хотели принести республике, что они еще могут сделать, и в зависимости от этого решить, какие меры суд обязан принять по отношению к ним. Эта наша обязанность, а там — пусть суд истории судит нас с ними».

История становления органов советской прокуратуры неразрывно связана с именем и деятельностью Н. В. Крыленко. Он был автором проекта первого Положения о прокурорском надзоре, активно выступал против принципа «двойного» подчинения прокуратуры и сделал основной доклад на 3-й сессии ВЦИК 9-го созыва, принявшей в мае 1922 года закон об учреждении Государственной прокуратуры.

После образования органов прокуратуры Николай Васильевич занял высокий пост старшего помощника прокурора республики и одновременно стал заместителем народного комиссара юстиции РСФСР. Эти должности он занимал до сентября 1928 года, когда, оставаясь заместителем наркома, был назначен прокурором республики.

В качестве старшего помощника прокурора, а затем и прокурора республики Н. В. Крыленко подписал значительное количество циркуляров и директив, которые стали основополагающими при становлении новой прокуратуры. Николай Васильевич был частым гостем на заводах и фабриках, в университетах и институтах, нередко выезжал в губернские, областные и даже уездные прокуратуры. Одна за другой выходили из печати его статьи и брошюры по правовым вопросам. Он почти беспрерывно выступал в суде.