Установление нового порядка управления в одном из важнейших звеньев исполнительной власти было встречено в России по-разному. Хотя создание министерств было шагом прогрессивным, совершенствовало косную полуприказную систему, не все одобрили это новшество. По мнению барона М. Л. Корфа, учреждение министерств, «набросанное на бумагу в нескольких поверхностных очерках, без всяких подробностей исполнения, и между тем тотчас же приведённое в действие, это образование носило на себе отпечаток особенной спешности и малой опытности составителей».

Первым военным министром России стал пятидесятитрёхлетний генерал от инфантерии Сергей Кузьмич Вязьмитинов. Он был записан в армию десяти лет, служить начал с пятнадцати и в 1771 году был уже подполковником и адъютантом Румянцева, а ещё через шесть лет, получив чин полковника, стал командиром знаменитого Астраханского пехотного полка, в рядах которого в своё время проходил службу Суворов и Кутузов.

Боевое крещение Вязьмитинов получил в 1787 году в войне с Турцией. Ему было тогда тридцать восемь лет, и он носил звание генерал-майора. Отличившись при взятии Хотина, Аккермана и Бендер, Вязьмитинов получил орден Владимира второй степени. После войны он стал правителем Могилёвского наместничества и одновременно командиром Белозерского егерского корпуса. В последние годы царствования Екатерины II он последовательно занимал посты губернатора и военного генерал-губернатора в Симбирске, Уфе, Оренбурге, а в 1797 году — коменданта Санкт-Петербургской крепости.

Павел I назначил Вязьмитинова членом военной коллегии, а затем поручил ему ведение дел в комиссариатском департаменте, занимавшемся вопросами снабжения войск. Вязьмитинов занял должность генерал-кригскомиссара — главного интенданта армии — и реформировал вверенное ему учреждение, наведя строгий порядок в делах.

За то, что Вязьмитинов сумел очень быстро переодеть армию в мундиры нового образца, Павел в 1798 году произвёл его в генералы от инфантерии. Однако вскоре Вязьмитинова постигла опала, он вышел в отставку и был возвращён на службу только со вступлением на престол Александра I.

Сначала Вязьмитинов был отправлен генерал-губернатором в Малороссию, а затем отозван в Петербург, где стал вице-президентом военной коллегии, которая исторически являлась прямой предшественницей нового министерства.

Военную коллегию учредил ещё Пётр I в 1716 году для управления сухопутными войсками. Накануне реформ Александра I она состояла из двенадцати экспедиций: армейской, гарнизонной, иностранной, рекрутской, ремонтной (по закупке лошадей), учебной, военной, счётной, инспекторской, комиссариатской, провиантской и артиллерийской. Кроме того, в военную коллегию входили: генерал-аудиториат (управление военной юстицией), чертёжное и картографическое депо с архивом и Московское артиллерийское депо. Большинство экспедиций были реформированы в департаменты и вошли в состав образованного министерства военных сухопутных сил.

Вязьмитинов начал с того, что учредил временную канцелярию военного министра, преобразованную вскоре в департамент, где сходились все нити руководства и собиралась наиболее полная оперативная информация о положении дел в армии. Были произведены серьёзные изменения в деятельности артиллерийской экспедиции, в результате чего из её ведения вывели инженерные войска, ставшие в организационном отношении самостоятельным родом войск. Были объединены в один департамент комиссариатская и провиантская экспедиции, в особое управление выделялись крепости. Ближе к концу своей деятельности (Вязьмитинов был министром до 1808 года) он произвёл под руководством и при непосредственном участии Александра I серьёзные структурные преобразования в организации всех видов сухопутных сил.

Министерство военных морских сил возглавил сорокавосьмилетний адмирал Николай Семёнович Мордвинов.