Так Роман Андреевич оказался на прокурорском Олимпе.

На этом же заседании Президиума ЦК было принято постановление «Об организации следствия по делу о преступных антипартийных и антигосударственных действиях Берии». Ведение следствия поручалось Генеральному прокурору СССР Р. А. Руденко. Ему предлагалось в суточный срок подобрать соответствующий следственный аппарат, доложив о его персональном составе Президиуму ЦК КПСС, и немедленно приступить, «с учетом данных на заседании Президиума ЦК указаний», к выявлению и расследованию «фактов враждебной антипартийной и антигосударственной деятельности Берии через его окружение (Кобулов Б., Кобулов А., Мешик, Саркисов, Гоглидзе, Шария и др.)».

Официально Р. А. Руденко был назначен Генеральным прокурором СССР 30 июня 1953 года и утвержден на сессии Верховного Совета СССР. Он сразу же приступил к выполнению возложенной на него ЦК партии миссии.

Старейший работник органов прокуратуры, прослуживший в ее рядах более 40 лет, государственный советник юстиции 2-го класса Сергей Васильевич Тюрин вспоминал: «1 июля 1953 года нас — аппарат Прокуратуры СССР — срочно собрали в Мраморном зале. В президиуме появился Р. А. Руденко, один, без всякого сопровождения, и объявил о том, что он назначен новым Генеральным прокурором СССР. Р. А. Руденко сразу же сообщил, что он уполномочен заявить: Политбюро ЦК КПСС претензий к прежнему Генеральному прокурору СССР Г. Н. Сафонову не имеет, его освобождение связано с тем, что сочтено неудобным оставление его в должности в связи с арестом Берии. Конечно, мы понимали, что после разоблачения Берии не могло не быть претензий к Генеральному прокурору СССР, и освобождение Сафонова произошло «не просто так». Но все же был и какой-то успокоительный жест в адрес Прокуратуры СССР. Им как бы подчеркивалось, что органы прокуратуры не отождествляются с бандой Берии и органами безопасности, творившими произвол».

Р. А. Руденко пришлось готовить сразу же несколько крупных процессов: над Берией, Абакумовым, Рюминым и другими лицами. Как и в сталинские времена, судьба указанных лиц решалась, конечно же, не в прокуратуре или суде, а в ЦК партии, где предварительно обсуждались и обвинительные заключения, и меры наказания. Но если дело Берии рассматривалось в порядке, установленном законом от 1 декабря 1934 года (без участия сторон), то Абакумова судили 14 декабря 1954 года в Доме офицеров Ленинградского военного округа (там же, где состоялся некогда процесс по так называемому «ленинградскому делу», основным из «авторов» которого и был Абакумов). Бывший Председатель Верховного суда СССР А. А. Волин рассказывал, что он, присутствуя на заседании Секретариата ЦК партии, рассматривавшего предварительно дело Абакумова, предлагал направить его для производства дополнительного расследования, так как в нем многое было еще неясным. Однако с ним не согласились. Генеральный прокурор СССР Р. А. Руденко лично поддерживал обвинение по этому делу. Абакумов виновным себя не признал, сказав, что его дело было сфабриковано Кобуловым и Рюминым (последний к этому времени по приговору суда был уже расстрелян). И тем не менее Абакумов был приговорен к расстрелу. Приговор привели в исполнение немедленно, не дав подсудимому даже его обжаловать. Спустя 40 лет военная коллегия Верховного суда СССР пересмотрела это дело и нашла в деяниях виновного только злоупотребление властью и превышение власти при наличии особо отягчающих обстоятельств, но никак не контрреволюционное преступление.

Роман Андреевич с первых же дней своей работы в Прокуратуре СССР стал расчищать авгиевы конюшни, в которые фактически превратились органы правопорядка, да и сама законность в стране.