В мае 1918 года по заданию партии он выехал в Самару, где в течение нескольких лет находился на хозяйственной и профсоюзной работе. Когда город оказался в руках белочехов, он вновь угодил в тюрьму. После освобождения некоторое время работал слесарем в автомастерских Главного артиллерийского управления. В ноябре 1918 года Н. М. Янсон возглавил Самарский губернский совет профсоюзов, а годом позже был избран первым «красным директором» Самарского трубочного завода. В 1920–1921 годах последовательно занимал должности председателя Самарского губернского совета профсоюзов и заместителя секретаря губернского комитета РСДРП(б).

В Самаре Николай Михайлович встретил женщину, которая вскоре стала его второй женой — Лидию Федоровну (Фридриховну) Петрулевич.

В мае 1921 года Янсона перевели на работу в Москву, где он возглавил Союз металлистов, а в мае 1923 года стал секретарем ЦКК ВКП(б). В 1925–1928 годах Н. М. Янсон служил первым заместителем народного комиссара рабоче-крестьянской инспекции.

16 января 1928 года постановлением Всероссийского Центрального Исполнительного Комитета Николая Михайловича назначают народным комиссаром юстиции РСФСР и прокурором республики. В этих должностях он пребывал недолго. В качестве прокурора республики Н. М. Янсон успел провести всего несколько крупных мероприятий. Одно из них — III совещание прокурорских работников. Оно проходило в Москве с 16 по 20 марта 1928 года. В совещании участвовали руководящие работники аппарата прокуратуры республики; прокуроры Крымской, Татарской АССР, АССР Немцев Поволжья; краевые прокуроры Кавказа, Сибири и Дальнего Востока; прокуроры Уральской и Ленинградской областей; Московской, Калужской, Тульской, Орловской, Нижегородской, Саратовской и некоторых других губерний, а также 14 участковых и камерных прокуроров. Совещание заслушало два доклада: об общем надзоре и его методах в городе и деревне и о работе органов расследования и надзора за ними.

В 1929 году Н. М. Янсон провел VI съезд прокурорских, судебных и следственных работников РСФСР, на котором выступил с большим отчетным докладом.

После отставки с поста народного комиссара юстиции РСФСР, последовавшей в ноябре 1930 года, Янсон некоторое время работал заместителем Председателя Совнаркома РСФСР, а в феврале 1931 года возглавил Народный комиссариат водного транспорта СССР. В этой должности он прослужил до марта 1934 года, когда «согласно его просьбе» был переведен на должность заместителя наркома по морской части. Однако в августе 1935 года его сместили и с этого поста, и лишь в октябре того же года он стал первым заместителем начальника Главного управления Северного морского пути при Совнаркоме СССР, где и служил до дня своего ареста.

Осенью 1937 года были арестованы некоторые сотрудники Главсевморпути: начальник строительства судоремонтного завода в Мурманске, главный инженер и другие. Во время следствия они подробно рассказали о своей «вредительской» деятельности, назвав среди соучастников и Н. М. Янсона. Николая Михайловича арестовали в ночь с 5 на 6 декабря 1937 года. Тогда же были произведены обыски в его квартире и служебном кабинете. Лидия Федоровна Петрулевич (Янсон) обивала пороги органов НКВД, пытаясь хоть что-либо выяснить о судьбе своего мужа. Но все было безуспешно, только однажды следователь, видимо сжалившись над ней, сказал: «У вашего мужа хорошее, прекрасное прошлое, но последние два года он ездил по Ленинграду и Москве и создавал эстонскую антисоветскую организацию».