В 1923 году председатель ОГПУ Дзержинский направил начальнику Иностранного отдела Трилиссеру служебную записку, в которой предложил разведке приступить к установлению оперативных контактов среди еврейского населения Палестины. После этого и было принято решение о назначении Блюмкина нелегальным резидентом в Палестине, а Серебрянского — его заместителем.

Накануне отъезда Якова Серебрянского пригласил к себе Вячеслав Рудольфович Менжинский, который в то время был членом Президиума ГПУ. Он молча пожал руку вошедшему в кабинет молодому человеку и так же молча показал на стул около стола. Сел на свое место, внимательно глядя в глаза молодого человека, которого разведка направляла на работу за границу. Через 30 лет Яков Исаакович рассказывал сыну, что от той первой беседы в его памяти остался ответ Вячеслава Рудольфовича. На вопрос «А что мне там нужно делать, за границей?» — Менжинский усмехнулся и коротко ответил: «Все, что полезно для революции».

И Яков Серебрянский начал работать на пользу революции.

Перед Блюмкиным и Серебрянским была поставлена задача по сбору информации о планах Англии и Франции на Ближнем Востоке, изучению местных политических организаций и вербовке агентуры для решения оперативноразведывательных задач.

В декабре 1923 года по маршруту, использовавшемуся репатриантами-евреями, разведчики-нелегалы Блюмкин и Серебрянский, имея соответствующие документы, прибыли в главный порт Палестины Хайфу, откуда перебрались в Яффу. Треть населения города в то время составляли евреи. Здесь Блюмкин вскоре открыл прачечную, которая стала конспиративной квартирой нелегальной резидентуры ИНО ОГПУ.

Тель-Авив, бывший тогда пригородом Яффы, являлся одним из центров приема евреев, приезжавших из Польши и России. В этот период началась так называемая Четвертая алия — очередная волна репатриации евреев в Палестину из-за всплеска антисемитизма в Польше.

После окончания Первой мировой войны в Восточной Европе образовалось новое государство — Республика Польша. Принятая в 1921 году конституция страны гарантировала национальным меньшинствам, в том числе и евреям, равные с остальными права. Однако польские евреи подвергались в стране всяческим притеснениям, унижению и преследованию. В 1924 году в Палестину приехали 14 тысяч человек, половину из которых составили польские евреи. В 1925 году — более тридцати четырех тысяч человек, больше половины из которых были из Польши.

Первые месяцы пребывания разведчиков в городе были посвящены созданию надежного прикрытия, изучению обстановки и налаживанию связей в местных кругах.

Однако уже в июне 1924 года Блюмкин был отозван в Москву, и его на посту резидента сменил Серебрянский.

Историк отечественных спецслужб Олег Капчинский так описывает этот период деятельности молодого разведчика-нелегала: «Теперь руководство разведки поставило перед Серебрянским еще более сложную задачу — создание глубоко законспирированной агентурной сети в регионе, в первую очередь в боевом сионистском движении. Яков Серебрянский с этой задачей успешно справился».

Как свидетельствуют документы того периода, Серебрянский создал в Палестине сеть из тридцати нелегалов. Среди его агентов были, в частности, несколько членов нелегальной еврейской военной организации «Хагана».

Кроме того, в 1924–1925 годах Серебрянский сумел привлечь к сотрудничеству с советской разведкой нескольких бывших белогвардейцев, осевших в Палестине: А. Н. Ту-рыжникова, А.