В октябре 1933 года Н. М. Рычков, как и все другие члены партии, в соответствии с решением ЦК ВКП(б) проходил чистку в комиссии партийной ячейки Прокуратуры СССР и Верховного суда СССР. Председателем комиссии был Магидов, членами — Усанов и Папьян. Николай Михайлович подробно рассказал о себе и своей служебной деятельности, ответил на заданные ему вопросы.

Первым в прениях выступил заместитель председателя Верховного суда СССР М. И. Васильев-Южин. Он сказал: «Товарищ Рычков один из самых вдумчивых членов военной коллегии, но по судебным делам в отдельных случаях им допускались ошибки. Например, был случай, когда он приговорил к высшей мере наказания машиниста. Надзорная тройка заменила долгосрочным лишением свободы. В остальном товарищ Рычков крепкий большевик».

Выступивший вслед за ним председатель военной коллегии В. В. Ульрих назвал Рычкова одним из лучших членов коллегии. Он не согласился с оценкой Васильева-Южина о том, что осуждение машиниста к расстрелу — судебная ошибка, так как тот, по его словам, был виноват.

Разбиравший это дело в качестве члена надзорной тройки Овсянников, не посмел пойти против Ульриха и также сказал, что судебной ошибки не было, но «надо было смягчить приговор».

Комиссия постановила: «Рычкова Н. М. считать проверенным».

Служба в органах военной юстиции принесла Н. М. Рычкову ряд наград. В 1928 году Реввоенсоветом республики он был награжден именными серебряными часами, а в 1933 году — золотыми. 20 августа 1937 года «за образцовое выполнение задания правительства» удостоен высшей награды — ордена Ленина.

К этому времени Николай Михайлович был женат на дочери профессионального революционера, Ариадне Михайловне Морозовой. Его жена работала тогда врачом-педиатром в клинике МГУ (после войны она была сотрудником Московского городского отдела здравоохранения). У Н. М. Рычкова было четверо детей: сыновья Виктор, Юрий и Борис и дочь Наталья. 28 августа 1937 года приказом Прокурора Союза ССР Вышинского Николай Михайлович Рычков был назначен прокурором республики. Пробыл он на этом посту пять месяцев. Когда он пришел в прокуратуру республики, то обнаружил, что на ряде важнейших участков центрального аппарата «положение было катастрофическим», особенно в отделе жалоб. Там без всякого движения лежали (большей частью в мешках) почти 20 тысяч жалоб и заявлений граждан, по словам Рычкова, «вплоть до личных, интимного порядка, писем помощников прокурора». В то время, как отдел был завален жалобами, оперативные отделы их почти не рассматривали. Еще более удручающее положение сложилось в областных прокуратурах. Служебная дисциплина была низкой. Направленные на места из Прокуратуры РСФСР жалобы, даже взятые на контроль, не рассматривались месяцами. На запросы прокуратуры республики местные прокуроры, по существу, не реагировали. Н. М. Рычков стал вызывать к себе прокуроров областей для личных объяснений по поводу тех или иных жалоб. К январю 1938 года Николай Михайлович решительно перестроил всю работу по рассмотрению жалоб, вследствие чего в Прокуратуре РСФСР вместо 20 тысяч остались нерассмотренными всего 650 первичных и повторных заявлений.

12—19 января 1938 года в Москве состоялась 1-я сессия Верховного Совета СССР. После уничижительной критики наркома юстиции СССР Н. В. Крыленко, прозвучавшей в речи депутата Багирова, всем стало ясно, что судьба Николая Васильевича предрешена.