Большой логики в структуре министерства на первый взгляд не было. Первая экспедиция во главе с управляющим А. А. Жерве ведала азиатскими делами, вторая — перепиской с Константинопольской миссией и всеми внутренними делами, третья — «перепиской на французском языке с министрами (то есть посланниками. — Б. Г.) в чужих краях и внутри государства» и выдачей загранпаспортов, четвёртая — нотами и записками от иностранных послов, аккредитованных в Петербурге. Кроме вышеупомянутых были созданы три секретные экспедиции: первая — цифирная, то есть шифровальная, до 1808 года входившая в состав 1-й экспедиции, вторая — цифирно-дешифровальная и третья — газетная (под этим неказистым названием скрывалась секретная служба перлюстрации). Во главе каждой экспедиции был поставлен управляющий в скромном чине коллежского советника. Впрочем, замечает Т. А. Соболева, канцелярия Министерства иностранных дел в этот период строгой структуры и распределения функциональных обязанностей ещё не имела, и дела распределялись среди её сотрудников ad hocпо усмотрению министра.

Параллельно со структурой МИД продолжала существовать и Коллегия иностранных дел, которую в 1801–1802 годах возглавлял друг и приближённый императора Александра граф Виктор Павлович Кочубей (1768–1834), а потом Иван Андреевич Вейдемейер. В дальнейшем функции Коллегии иностранных дел постепенно сходили на нет, а функции министерства становились всё более обширными, но полностью коллегия прекратила своё существование лишь в 1834 году.

Некоторое время спустя главные экспедиции были преобразованы в отделения, а позже, при Николае I — в департаменты. В 1819 году был создан знаменитый Азиатский департамент, первым директором которого стал К. К. Родофиникин (1760–1838), а четыре года спустя при департаменте возникло Учебное отделение восточных языков (УОВЯ) — великолепное и высокопрофессиональное учреждение, просуществовавшее вплоть до 1917 года, в стенах которого знания по фарси, китайскому, японскому, турецкому и арабскому языкам получили многие русские дипломаты. В 1828 году был разработан и введен в действие Консульский устав, который с изменениями в 1858 и 1893 годах тоже дожил до 1917 года.

В 1828 году трём секретным экспедициям канцелярии было присвоено новое эвфемическое наименование — «Департамент внешних сношений». В 1832 году был создан Департамент внутренних сношений, преобразованный позже во 2-й департамент, а также Департамент хозяйственных и счётных дел, позже преобразованный в Департамент личного состава и хозяйственных дел (ДЛСиХД). В 1839 году было составлено первое подробное штатное расписание центрального аппарата министерства. В 1846 году, в период очередной реорганизации Министерства иностранных дел, наименование «Департамент внешних сношений» с секретных экспедиций неожиданно было снято, и их стали называть «Особой канцелярией» министерства. В ней стала сосредоточиваться вся политическая переписка МИД со своими загранучреждениями.

Структура Министерства иностранных дел продолжала совершенствоваться и приспосабливаться к потребностям времени и при А. М. Горчакове. В рескрипте Александра II от 17 апреля 1856 года о назначении А. М. Горчакова министром иностранных дел России говорилось: «…Посвятив себя дипломатическому поприщу, вы, при постепенном занятии различных должностей в посольствах и миссиях Наших при нескольких европейских дворах, вскоре приобрели необходимую в политических делах опытность, не переставая обращать на себя внимание отличным исполнением лежавших на вас обязанностей. Состоя в качестве чрезвычайного посланника и полномочного министра при Вюртембергском дворе, вы имели случай выказать особенную твёрдость в смутное время 1848 года и снискали доверие к себе блаженной памяти Родителя моего императора Николая I…

.