В декабре следующего года на Носовской районной конференции комсомола Руденко избрали членом райкома, а на пленуме он вошел в бюро РК ЛКСМУ. Оставив работу на сахарном заводе, молодой комсомольский вожак стал в райкоме заведовать культурно-пропагандистской работой. В апреле 1927 года Роман Руденко, вступивший к тому времени в большевистскую партию (декабрь 1926 года), возглавил кульпросветотдел райисполкома, а еще через год переехал в город Нежин Черниговской области, где получил должность инспектора окружного комитета рабоче-крестьянской инспекции. Каждое порученное ему дело он выполнял ответственно и с душой, был активен, напорист, любознателен, хорошо разбирался в политике, знал законодательство. Часто ему проходилось выступать общественным обвинителем в суде. Активно занимался и журналистикой — печатал заметки и статьи в местных газетах.

Плоть от плоти крестьянин, Роман Руденко безоговорочно разделял политику партии, и, как он писал в анкетах, у него «колебаний не было, в оппозициях не участвовал». Такие люди тогда ценились, и партийные комитеты их нещадно эксплуатировали, «бросая» на самые трудные участки работы. Так случилось и с Руденко. В ноябре 1929 года окружной комитет партии направил его на должность старшего следователя окружной прокуратуры в город Нежин. С этого времени вплоть до последнего дня жизни (более пятидесяти лет) Роман Андреевич служил в прокуратуре, пройдя все основные ступени прокурорской иерархии.

На следственной работе Руденко пробыл семь месяцев, а затем его «перекинули» в город Чернигов, где он стал помощником окружного прокурора. Здесь также задержался ненадолго. Через четыре месяца, в октябре 1930 года, 23-летний Роман Руденко получил самостоятельную должность — он возглавил Бориславскую районную прокуратуру Николаевской области. Эти обязанности он выполнял в течение одного года, после чего его назначили помощником Мариупольского городского прокурора (в Донбассе). В декабре 1932 года Руденко перевели в Донецк старшим помощником областного прокурора, а в октябре 1933 года он вновь получает «процессуальную» должность — становится прокурором в Макеевке. Здесь он задержался почти на два с половиной года. В марте 1936 года Руденко получил довольно высокий пост — заместителя прокурора Донецкой области, а еще через полтора года сам возглавил эту прокуратуру. В апреле 1938 года он стал областным прокурором в Сталино.

Руденко пользовался довольно высоким авторитетом в среде партийных и исполкомовских функционеров, был членом горкома партии и горсовета (в Бориславле и Макеевке), членом ревкомиссии в обкоме партии (в Сталино) и депутатом горсовета. В качестве делегата принимал участие в районных и областных партийных конференциях. Был делегатом XVIII съезда ВКП(б) с правом совещательного голоса (съезд состоялся 10—21 марта 1939 года). Его знал и ценил Н. С. Хрущев, ставший в феврале 1938 года первым секретарем ЦК компартии Украины, а в марте следующего года — одновременно и членом Политбюро ЦК ВКП(б). Роман Андреевич был на хорошем счету и в Прокуратуре Союза ССР. Когда в июне 1939 года встал вопрос о назначении нового Прокурора СССР, Вышинский, уходивший на должность заместителя председателя Совнаркома СССР, предложил оставляемую им должность Руденко, но Хрущев «заартачился», не желая отпускать с Украины толкового прокурора, и назначение тогда не состоялось. Прокурором Союза ССР стал, как известно, М. И. Панкратьев.

Понимая, что без прочных юридических знаний ему не обойтись, Руденко поступил на заочное отделение Харьковского юридического института, однако из-за жесточайшей загруженности по работе сумел закончить только один курс.

15 сентября 1940 года Роман Андреевич стал слушателем Высших академических курсов Всесоюзной правовой академии. Одновременно зачислен в экстернат Московской юридической школы Наркомата юстиции РСФСР. Таким образом, учиться ему пришлось на «два фронта» — очно на высших курсах, а также самостоятельно готовиться к экзаменам в Юридической школе, причем сразу же за двухгодичный курс обучения.