Первые стихи Дмитриев написал в 1777 году. Тогда же Н. И. Новиков в издаваемых им «Санкт-Петербургских ученых ведомостях» (№ 15) поместил его стихотворение «Надпись к портрету князя А. Д. Кантемира». Большое влияние на творческое созревание молодого поэта оказал подпоручик Семеновского полка Федор Ильич Козлятев. По словам Дмитриева, беседы с ним были для него «училищем изящества и вкуса». В последующие годы Дмитриев публикует свои произведения в периодических изданиях: журнале «Утро», газете «Утренние часы» и др. Однако успех долго не приходит к нему.

Только после того, как в 1783 году Дмитриев познакомился и близко сошелся с Н. М. Карамзиным (а он был его дальним родственником), Иван Иванович попал в ту колею, которая вывела его к славе. По собственному признанию Дмитриева, именно благодаря Карамзину, он принялся за «усовершенствование в себе человека». Но особую роль в становлении поэтического таланта Дмитриева оказало знакомство с Гаврилой Романовичем Державиным, состоявшееся в 1790 году. В доме маститого поэта он встретился и познакомился со всеми знаменитыми писателями и поэтами того времени: И. Ф. Богдановичем, В. В. Капнистом, Н. А. Львовым, Д. И. Фонвизиным и многими другими.

Постепенно продвигался Дмитриев и по службе. В 1787 году он получил чин прапорщика, принимал участие в кампании 1788 года против шведов. Затем последовали чины подпоручика, поручика, а в 1793 году — капитан-поручика.

В 1790-х годах поэтическая звезда Дмитриева заблистала во всем своем великолепии. Один за другим появляются в печати его стихи, оды, сатиры, басни, стихотворные сказки. Чрезвычайно популярными стали его сказки в стихах: «Модная жена», «Причудница». Пользовались успехом его эпиграммы, пародии, мадригалы и прочие поэтические «мелочи». Особенно нравились публике песни на его слова: «Стонет сизый голубочек» (часто исполняется и в наше время), «Видел славный я дворец…», «Пой, скачи, кружись Параша» и др.

В 1795 году Иван Иванович издал свой первый поэтический сборник, получивший название «И мои безделки», а в 1796 году — «Карманный песенник, или Собрание лучших светских и простонародных песен», куда, кроме фольклора, он включил свои произведения, а также песни Г. Р. Державина, А. П. Сумарокова, Ю. А. Нелединского, Н. П. Николаева, П. М. Карабанова и других поэтов.

В январе 1796 года Дмитриев, получив чин капитана и взяв годовой отпуск, намеревался выйти в отставку, чтобы полностью отдаться и творчеству. В ноябре 1796 году умерла императрица Екатерина И. Дмитриев вернулся в полк. Спустя месяц ему все же удалось выхлопотать себе отставку. В приказе от 17 декабря 1796 года отмечалось: «Семеновского полку капитан Дмитриев 1-й уволен в отставку с награждением чина полковника и со всемилостивейшим позволением носить мундир». Теперь можно было устраивать свои поэтические дела. Но произошло событие, круто изменившее его жизнь.

25 декабря 1796 Дмитриев и его товарищ Лихачев неожиданно были арестованы. Обоих под конвоем доставили к императору Павлу I, который сообщил им о поступившем на них доносе о том, что они якобы «умышляют» на жизнь государя. Монарх повелел разобраться в этом деле военному генерал-губернатору Н. П. Архарову. Наступили долгие дни тревожного ожидания. Однако вскоре доносчик был найден, и Павел I лично объявил Дмитриеву и Лихачеву о их «совершенной невиновности». Более того, Дмитриев был приглашен в Москву на коронацию императора. Павел I «осыпал» его своими милостями и приказал своему сыну, великому князю Александру Павловичу спросить его, чего он хочет. Дмитриев ответил: «Ничего, кроме спокойной жизни в отставке».