С юности Николай постоянно тянулся к знаниям, однако учиться ему почти не довелось. Когда семья проживала в Баку, он был принят в Пушкинское начальное училище, где пробыл два с половиной года. Но учеба его скоро закончилась, так как отец, изгнанный с работы за участие в забастовке, вынужден был перебраться на Урал. Там Николая учиться не приняли под предлогом отсутствия мест в школе. На самом деле, как вспоминал Н. М. Рычков, требовалась «смазка», другими словами — взятка, но его отец свободными деньгами не располагал. Николай по мере сил и возможностей занимался самообразованием, много, но бессистемно читал, однако ни в какие учебные заведения так и не поступил.

Еще до Февральской революции Рычков близко познакомился с некоторыми революционерами, которые снабжали его нелегальной литературой. После свержения царя, в марте 1917 года, когда на Надеждинском заводе стали создаваться первые партийные группы, Н. М. Рычков вступил в члены РСДРП(б). Рекомендовали его в партию рабочие Василий Соболев и Семен Маков. Сразу же после Октябрьской революции 19-летний Николай Рычков поступил на службу в советские органы. Первое время он был ответственным секретарем, а затем заведующим отделом Надеждинского Совета рабочих и солдатских депутатов. В 1918 году уральские рабочие избрали его делегатом V Чрезвычайного съезда Советов. В июле 1918 года для защиты молодой Советской власти ему пришлось взять в руки оружие и стать красногвардейцем. Н. М. Рычкову довелось сражаться на Восточном фронте, на Ялуторовском направлении. В октябре 1918 года он оставил военную службу и уехал на Урал, где до апреля 1919 года служил в Белохолуницкой и Слободской уездных чрезвычайных комиссиях. Затем способному молодому чекисту доверили более ответственный пост — он становится секретарем и членом коллегии Вятской губчека. Через три месяца его перевели на такую же должность в Пермскую губернию. В апреле 1920 года решением ЦК партии Н. М. Рычков был откомандирован на работу в военно-судебные органы Красной Армии. С мая 1920 по октябрь 1921 года он занимал должность заместителя председателя Революционного трибунала войск ВОХР Восточно-Сибирского округа в Красноярске, а затем в течение года — в Ревтрибунале 5-й армии в Иркутске.

В мае 1922 года была учреждена советская прокуратура. Военные прокуратуры округов и фронтов стали формироваться в августе — октябре 1922 года. Прокурорами назначались, главным образом, члены военных трибуналов и политработники. Первым прокурором военной коллегии Верховного трибунала при ВЦИК (позднее он именовался уже Главным военным прокурором) стал Николай Иванович Татаринцев, 30-летний большевик, бывший во время гражданской войны комбригом, а затем председателем военного трибунала 5-й армии.

Одним из первых военных прокуроров становится и Николай Михайлович Рычков. В октябре 1922 года Н. И. Татаринцев, его бывший начальник по ревтрибуналу 5-й армии, выдвинул Н. М. Рычкова на должность военного прокурора Восточно-Сибирского военного округа, откуда тот в феврале 1923 года был переведен в Западно-Сибирский и Сибирский округа (в Омске и Новосибирске). Там Рычков прослужил до апреля 1927 года. К этому времени в Прокуратуре Верховного суда СССР был образован отдел военной прокуратуры, возглавляемый помощником Прокурора Верховного суда СССР по военной коллегии и военной прокуратуре (он же — Главный военный прокурор). Постановлением ЦИК и СНК СССР от 20 августа 1926 года было утверждено и Положение о военных трибуналах и военной прокуратуре.

В мае 1927 года Н. М. Рычкова переводят в Москву помощником прокурора в отдел военной прокуратуры Верховного суда СССР, который тогда возглавлял Петр Ильич Павловский. Служба в аппарате военной прокуратуры продолжалась три года. В январе 1931 года ЦК ВКП(б) выдвинул Николая Михайловича на очень ответственный пост — члена военной коллегии Верховного суда СССР.