До 1800 года он оставался сенатором, выполняя различные поручения, в числе которых была поездка в Могилевскую губернию, где он разбирался с жалобой некоего Зорича. Затем был уполномоченным в Белоруссии по борьбе с голодом и получил после возвращения чин действительного тайного советника и почетный командорский крест Мальтийского ордена. Вновь возглавлял Коммерц-коллегию, был государственным казначеем и членом Императорского совета. В 1801 году ему был вручен орден Святого Александра Невского. В 1801–1802 годах командирован в Калугу для производства следствия о злоупотреблениях губернатора Лопухина.

8 сентября 1802 года император Александр I подписал Манифест, в котором сообщалось: «Мы заблагорассудили разделить государственные дела на разные части, сообразно естественной связи между собою, и для благоуспешнейшего течения поручить оные ведению избранным министрам…» В тот же день последовал высочайший указ Правительствующему сенату: «Министром Юстиции или Генерал-Прокурором повелеваем быть Действительному Тайному Советнику Державину, предоставляя впредь назначить ему Товарища». Спустя несколько дней Державин был приведен к присяге. В конце сентября он одновременно стал членом Непременного совета, а в ноябре того же года еще и членом Еврейского комитета.

В должности министра юстиции беспокойный Гаврила Романович прослужил один год и, как сам писал, всегда шел «по стезе правды и законов, несмотря ни на какие сильные лица и противные против него партии», «держась сильно справедливости, не отступал от нее ни на черту, даже в угодность самого императора». Он действительно не стеснялся открыто выражать свое несогласие со многими его преобразованиями, резко и открыто порицал молодых советников императора.

Трудился он много и неустанно. Ежедневно, с утра до вечера, посвящал все свое время исполнению разнообразных служебных обязанностей: поездкам во дворец с всеподданнейшими докладами, участию в заседаниях Сената и Комитета министров, «объяснениям» с обер-прокурорами, приему посетителей. Ездил в Сенат даже в воскресенье и праздничные дни – посмотреть целые кипы бумаг и написать заключения. Как генерал-прокурор он пытался противостоять приему в высшие государственные органы лиц по «проискам, взяткам и рекомендациям», с этой целью добился принятия указа о том, чтобы на высокие должности отбирались лучшие чиновники из губерний. Долго и упорно разрабатывал проект закона о третейском совестном суде, который отослал «на отзыв» и «для примечания» известным юристам, получив благожелательные отклики. Александру I проект закона также понравился, но так и не был принят.

Занимая должность министра юстиции и одновременно генерал-прокурора, Державин, как обычно, старался не допускать «утеснения сильной стороне людей бессильных». Он умело подбирал себе толковых, талантливых сотрудников. Например, обер-прокурором третьего департамента Сената назначил тридцатилетнего Дмитрия Осиповича Баранова, окончившего Московский благородный пансион. Он совершил несколько успешных инспекционных поездок, активно занимался и литературной деятельностью, общался с А. С. Пушкиным. Его репутация была безукоризненной.

Обер-прокурор Сената князь А. Н. Голицын так писал о нем: «В минуту желчи гений блестел в его глазах; тогда с необыкновенной проницательностью он охватывал предмет; ум его был вообще положителен, но тяжел; память и изучение законов редкая; но он облекал их в формальности до педантизма, которым он всем надоедал. Олицетворенную честность и правдивость его мало оценивали, потому что о житейском такте он и не догадывался, хотя всю службу почти был близок ко Двору».

Добиваясь справедливости, Державин резко выступал против многих министров и сенаторов, чем нажил себе немало врагов. Вскоре по этой причине положение Державина стало неустойчивым. Александр I также быстро охладел к поэту.