И 22 мая 1797 года Дмитриев был принят на службу, совершенно неожиданно получив «хорошее место» товарища министра уделов и обер-прокурора третьего департамента Правительствующего сената, а через несколько дней стал статским советником.

В своих воспоминаниях Дмитриев писал: «Отсюда начинается ученичество мое в науке законоведения и знакомство с происками, эгоизмом, надменностью и раболепством двум господствующим в наше время страстям: любостяжанию и честолюбию». Он отмечал далее, что «не без смущения» занял свой новый пост, думая прежде всего о важности своего нового звания — «блюстителя законов». По его мнению, это звание обязывало охранять законы от «умышленно кривых истолкований», «сносить равнодушно пристрастные толки и поклеп тяжущихся или подсудимых», противостоять иногда «особам, украшенным сединами, знаками отличий».

Службу на прокурорском поприще он начал с того, что основательно проштудировал всю нормативную базу, которой следовало ему руководствоваться в своей деятельности, познакомился с «внутренним положением» поднадзорного ему департамента, порядком ведения дел. Департамент, где он служил, был, по его выражению, «энциклопедическим». Именно сюда стекалось множество уголовных и гражданских дел из Малороссии, Царства Польского, Лифляндии, Курляндии, Эстляндии и Финляндии. Департаменту были подведомственны Юстиц-коллегия, полиция, почта. Сенаторы обязаны были заниматься организацией работы школ и училищ, следить за устройством дорог и водных сообщений. Работы было много, а для Дмитриева она была поначалу к тому же совершенно незнакомой и немного занудной. Ведь в душе он все же оставался поэтом…

Нужно отдать должное Ивану Ивановичу — он довольно быстро освоил круг своих обязанностей и с первых дней пребывания в должности обер-прокурора очень хорошо вписался в роль и активно отстаивал интересы законности. Это не всегда нравилось сенаторам. «Едва ли проходила неделя без жаркого спора с кем-нибудь из сенаторов, без невольного раздражения их самолюбия», — вспоминал позднее Дмитриев. Стычки по службе случались у него даже с поэтическим наставником Г. Р. Державиным, которого Дмитриев «любил и уважал от всего сердца». «Благородная душа его, — вспоминал Дмитриев, — конечно, была чужда корысти и эгоизма, но пылкость ума увлекала его иногда к решениям, требовавшим для большей осторожности других мер, некоторых изъятий или дополнений. Та же пылкость его оскорблялась противоречием, однако же, не на долгое время: чистая совесть его скоро брала верх, и он соглашался с замечанием прокурора».

Служба его продвигалась успешно. В ноябре 1798 года он получил чин действительного статского советника. Однако времени для творчества практически не оставалось. По этому поводу он писал: «Во все это время, находясь в гражданской службе, я уже не имел досуга предаваться поэзии. Притом же и сам хотел на время забыть ее, чтобы сноснее для меня был запутанный, варварский слог наших толстых экстрактов и апелляционных челобитен».

В декабре 1799 года жизнь Дмитриева опять круто изменилась. Неожиданно для всех, в том числе и для генерал-прокурора А. А. Беклешова, Дмитриев подает в отставку. 30 декабря он освобождается от занимаемой должности с пенсионом и присвоением чина тайного советника. Дмитриев селится в Москве и занимается исключительно литературной деятельностью. В 1803–1805 годах выходят в свет три тома его сочинений.

Однако в феврале 1806 года его покой опять был нарушен. Молодой император Александр I, хорошо знавший Дмитриева, вновь призывает его на службу.