Но и Давтян недолго руководил Иностранным отделом. Уже в августе 1921 года Яков Христофорович вновь переводится на дипломатическую работу и назначается полпредом РСФСР в Литве. Пробыв в Ковно до сентября того же года, он возвращается в Москву и назначается временным поверенным в делах РСФСР в Китае в ранге советника. При этом Я. Х. Давтян, как было оговорено ранее, одновременно утверждается главным резидентом ИНО ВЧК в Китае, где в ту пору работало до десятка разведывательных коллективов.

Через некоторое время после прибытия в Пекин в служебном письме на имя своего преемника на посту начальника Иностранного отдела Михаила Трилиссера Яков Давтян пишет:

«Нашу работу здесь я считаю чрезвычайно важной и полагаю, что тут можно многое сделать».

Яков Христофорович энергично взялся за дело. Через полгода он докладывает в Центр:

«Работа здесь весьма интересная, захватывающая, но очень трудная, чрезвычайно ответственная. Отдаленность от Москвы, плохая связь, взаимное непонимание еще больше осложняют нашу работу… Я никогда (даже в ИНО) так много не работал, как здесь, и никогда это не стоило мне таких нервов».

Объяснялось это тем, что у Якова Христофоровича не сложились нормальные отношения с руководителем резидентуры ИНО в Пекине Аристархом Рыльским, который считал, что Давтян, по существу, дублирует его работу. Следует также иметь в виду, что в те далекие 1920-е годы органы государственной безопасности еще находились в стадии становления: явно хромала дисциплина, многие чекисты голосовали за платформу оппозиции, возглавляемой Троцким, нуждались в укреплении принципы единоначалия и субординации в разведке. Требовалось наведение элементарного порядка в работе, и Я. Давтян принимает энергичные меры. Это, несомненно, дало свои плоды, и 9 декабря 1922 года в служебном письме на имя М. Трилиссера он так характеризует А. Рыльского:

«О Рыльском ничего плохого сказать не могу, но и особенно хвалить также не стану. Он сильно подтянулся с моим приездом, и есть надежда, что будет полезен. Посмотрим…»

Но уже в следующую почту в Центр ушло новое письмо главного резидента:

«Я буду просить вас заменить Рыльского. Он абсолютно не справляется со своими заданиями, так как ленив и вял…»

А еще через месяц, 9 января 1923 года, в адрес начальника разведки летит новое послание:

«Вопреки моему прежнему мнению, Рыльский оказался более симпатичным, чем я ожидал. У него есть некоторая вялость в работе, но в общем и целом он работает недурно и ведет себя очень хорошо. Я им почти доволен и прошу его не заменять, сработался он со мной хорошо».

Однако у Центра было иное мнение в отношении А. Рыльского. Понимая, что главной причиной неровного отношения к нему Я. Давтяна является характер последнего, Центр принял решение отозвать Рыльского в Москву, ибо его непростые взаимоотношения с главным резидентом могли поставить под удар всю работу советской разведки в Китае.

Следует подчеркнуть, что этот отзыв не отразился на положении А. Рыльского в разведке: вскоре он был направлен резидентом ОГПУ в Данию. Затем получил назначение в Париж. В дальнейшем работал руководителем других резидентурах как по линии «легальной», так и нелегальной разведки. Яков Христофорович еще не раз встречался с ним, работая за рубежом, но уже в качестве «чистого» дипломата.

Кремль придавал большое значение укреплению всесторонних связей с Китаем, который являлся самой крупной соседней страной, граничащей с СССР. К тому же, после Октябрьской революции в Маньчжурии укрылись многочисленные белогвардейские вооруженные организации. Здесь же была значительная — до нескольких десятков тысяч человек — русская колония, работавшая, в основном, на принадлежавшей СССР Китайско-Восточной железной дороге.