С целью конспирации создание Особой группы приказом по ОГПУ не оформлялось. По сути, она была нелегальной даже внутри органов государственной безопасности.

Особая группа действовала за границей только с нелегальных позиций и подчинялась, как уже отмечалось, непосредственно председателю ОГПУ, который лично руководил ее работой. Сотрудники Особой группы не использовали в качестве прикрытия официальные советские дипломатические или торговые представительства.

Уже к середине 1929 года центральный аппарат Особой группы состоял из двух десятков сотрудников. Все остальные работали за рубежом в качестве нелегалов. Этим, в частности, Особая группа отличалась от Иностранного отдела, который решал разведывательные задачи как с легальных, так и с нелегальных позиций. А руководство ОГПУ могло по своему усмотрению использовать силы и средства ИНО и Особой группы для осуществления специальных операций.

Герой Российской Федерации Юрий Колесников, хорошо знакомый с деятельностью Особой группы, в своих воспоминаниях отмечал:

«Свой хлеб работники Особой группы оправдывали. К тому же ее центральный аппарат неизменно оставался небольшим. Всего полтора десятка специалистов в Центре. Зарубежная же часть агентуры была гораздо многочисленнее. И разнообразнее: от рядовых клерков и маклеров, портовых грузчиков и докеров, официантов и администраторов отелей, служителей казино и водителей такси до комиссаров полиции и известных политических деятелей, статс-секретарей министерств и ученых с мировым именем.

Лишь незначительная часть этих людей получала денежное вознаграждение. Не столько за опасную работу, сколько на покрытие расходов. Другие же сами оплачивали затраты, связанные с разведывательной работой, а некоторые вообще финансировали деятельность единомышленников.

При этом политические взгляды агентуры не всегда совпадали. В то же время всех их объединяла общая позиция: все без исключения симпатизировали Советам».

Одним из первых оперативных сотрудников Особой группы стал будущий руководитель специальных операций советской внешней разведки за границей Сергей Михайлович Шпигельглаз. Назначенный в сентябре 1926 года помощником начальника ИНО ОГПУ, он был включен Менжинским в Особую группу и неоднократно выезжал за рубеж для выполнения важных оперативных заданий.

В числе первых сотрудников Особой группы был и Наум Исаакович Эйтингон — в дальнейшем видный советский разведчик и один из руководителей специальных операций внешней разведки НКВД в период Великой Отечественной войны.

С начала 1927 года членом Особой группы стал и Яков Серебрянский, включенный в нее накануне отъезда в командировку в Париж. В том же году привлеченные им к сотрудничеству с советской разведкой в Палестине Ананьев, Волков, Рачковский, Захаров и Турыжников были выведены в Советский Союз, по решению компетентных органов получили советское гражданство, были приняты на службу в органы государственной безопасности и приступили к активной работе в Особой группе. Юрий Колесников подчеркивал: «Серебрянский подыскивал толковых, умных, обязательных людей. Тщательно отбирал самых надежных, способных без лишнего шума и суеты незаметно выполнять задачи. И эти люди становились для Особой группы незаменимыми, бесценными. Они дорожили доверием Якова Серебрянского и в свою очередь также полностью доверяли ему».

Вот таким особо секретным подразделением органов государственной безопасности нашей страны Яков Серебрянский стал руководить с 1 апреля 1929 года.