В международных вагонах чекисты охотились за иностранными дипломатическими курьерами. Одних пытались соблазнить красивые женщины, работавшие на контрразведку, другим подсыпали снотворное в надежде выманить у сонного дипкурьера его драгоценную сумку хотя бы на пару часов. В оперативную группу включали фотографа, который быстро переснимал документы, если удавалось добраться до дипломатической переписки.

Чекисты часто действовали неумело, и, когда посольства это обнаруживали, возникал скандал. Объясняться приходилось Наркомату иностранных дел.

В 1927 году Артузова назначили помощником начальника секретно-оперативного управления ОГПУ, которое объединяло все оперативные отделы, кроме иностранного, и освободили от должности начальника контрразведки. Артузов, оставшись без реального дела, переживал. Начальником управления был Генрих Ягода. Они друг друга не любили.

В январе 1930 года Артузова перевели в иностранный отдел ОГПУ (сначала заместителем начальника). С 1 августа 1931 года Артур Христианович Артузов — начальник иностранного отдела и член коллегии ОГПУ. Это пик его карьеры.

Иностранный отдел состоял из шести отделений:

1-е занималось нелегальной разведкой;

2-е контролировало въезд в страну и выезд из СССР;

3-е отвечало за разведку в капиталистических странах;

4-е отвечало за разведку в соседних странах — Литве, Латвии, Эстонии, Польше и Финляндии;

5-е занималось борьбой с белой эмиграцией;

6-е отвечало за разведработу на Востоке;

7-е было своего рода внешней контрразведкой — занималось «обеспечением безопасности советских колоний»;

8-е занималось научно-технической разведкой.

Внешняя разведка стала необходимой для политического руководства и отвоевала себе особое положение в извечном конфликте с дипломатией.

Члены политбюро довольно быстро осознали, что нужно разделить разведку и дипломатию и не компрометировать полпредов конспиративной деятельностью: «Безусловно запретить всякую нелегальную работу и деятельность как послам и ответственным лицам советских представительств за границей, так и курьерам и всяким другим служащим».

Взаимоотношения между дипломатами и разведчиками складывались трудно. Хотя поначалу дипломаты еще могли отстоять свои права с помощью партийного аппарата.

17 июля 1924 года политбюро приняло постановление: «В дальнейшем назначение основных резидентов ГПУ в состав дипломатического корпуса производить по соглашению с секретарем ЦК».

Феликс Дзержинский — в отличие от своих наследников — старался ладить с дипломатами. 23 мая 1925 года он даже обратился в политбюро с неожиданным предложением включить в состав коллегии Наркоминдела его заместителя Менжинского: «В связи с информацией, организованной ОГПУ по иностранным делам, а также с нашей борьбой со шпионажем и организуемой капиталистическими странами контрреволюцией был бы очень желателен в интересах дела и обороны страны более тесный контакт нашей работы с НКИДелом».

Но чем дальше, тем реже дипломаты побеждали в ведомственных конфликтах с разведкой и контрразведкой.

Нарком Чичерин писал в своем политическом завещании:

«Руководители ГПУ были тем невыносимы, что были неискренни, лукавили, вечно пытались соврать, надуть нас, нарушить обещания, скрыть факты…

ГПУ обращается с НКИД как с классовым врагом… Внутренний надзор ГПУ в НКИД и полпредствах, шпионаж за мной, полпредами, сотрудниками поставлен самым нелепым и варварским образом…»

Еще в конце 1923 года секретная экзаменационно-проверочная комиссия ЦК провела массовую чистку Наркомата иностранных дел, убирая всех «неблагонадежных».