В сентябре 1920 года произошла очередная реорганизация РУ, которая приблизила его к классической военной разведке, известной ныне как ГРУ Генштаба. В принятом новом «Положении о Региструпре» было записано, что управление является самостоятельным органом стратегической агентурной разведки глубокого тыла. В его составе появилось новое подразделение — Оперативный отдел, который возглавил Я. Берзин (П. Кюзис), будущий руководитель советской военной разведки. Главным направлением его деятельности стало добывание информации о военных планах противника.

В апреле 1920 года усилиями Дзержинского в составе Особого отдела ВЧК была создана своя разведка — иностранное отделение. Его руководителем стал опытный большевик с дореволюционным стажем Я. Давтян (Давыдов). Просуществовало оно не более полугода. После неудачного похода частей Красной армии на Варшаву, в сентябре 1920 года причины его провала были вынесены на заседание Политбюро ЦК РКП (б). В повестку дня наряду с этим был включен и другой вопрос — «О состоянии разведывательной работы». После обсуждения участники заседания приняли решение «создать специальную комиссию во главе с председателем ВЧК т. Ф. Дзержинским, И. Сталиным» и другими видными большевиками, которой предстояло проанализировать причины имевших место провалов. На основании результатов ее работы 20 декабря 1920 года Дзержинский подписал приказ № 169, согласно которому в составе ВЧК был образован самостоятельный разведывательный орган — Иностранный отдел (ИНО).

Непродолжительное время им руководил Я. Давтян (Давыдов), а затем его сменил С. Могилевский. В 1922 году только‑только встававшую на ноги советскую разведку возглавил и до конца 1920‑х годов направлял ее деятельность профессиональный революционер, хорошо знакомый с методами разведывательной и контрразведывательной работы, М. Трилиссер. С 1901 года и вплоть до начала Первой мировой войны он занимался преимущественно выявлением агентов охранного отделения и полиции в большевистской среде.

С его приходом к руководству ИНО разведывательная работа приобрела более системный, масштабный и наступательный характер. Основными объектами ее устремлений являлись органы управления враждебных молодому советскому государству армий и различные белоэмигрантские организации и движения. Первоочередными задачами ИНО являлись получение упреждающей информации о военных приготовлениях, в первую очередь Польши и Японии, а также выявление замыслов лидеров белого движения по инспирированию в стране восстаний и организации «саботажнических действий».

Динамика внешней политической ситуации и образование Союза ССР привели к очередной реорганизации органов государственной безопасности. В июле 1923 года ГПУ было преобразовано в Объединенное государственное политическое управление (ОГПУ) СССР. Но ИНО не только сохранился в составе Секретно‑оперативного управления, но и существенно укрепился. В 1925 году в его составе наряду с традиционными отделениями — легальной и нелегальной разведками — появились другие, в том числе ставшее впоследствии знаменитым 8‑е отделение, занимавшееся сбором за границей информации о перспективных научных и технических разработках. Именно его сотрудники и их агентура первыми вышли на секреты атомного проекта США.

В феврале 1925 года Мелитопольский окружной комитет комсомола рекомендовал на службу в органы государственной безопасности будущего выдающегося организатора разведывательно‑диверсионной деятельности, первого и бессменного руководителя знаменитого 4‑го Управления НКВД — НКГБ СССР Павла Анатольевича Судоплатова. Жизнь этого безусловно талантливого и цельного человека, надежного и верного товарища, непревзойденного мастера разведывательных и контрразведывательных операций достаточно подробно описана в художественной и научно‑популярной литературе.