Активность А. Доржиева не могла не раздражать Москву, особенно его публичные проповеди в дацанах, по которым он много разъезжал в начале 1930 х, и тесные связи с «контрреволюционным» бурятским и калмыцким духовенством. Уже во время упоминавшегося выше посещения НКИД в феврале 1931 г. А. Доржиев имел довольно неприятный разговор с С. С. Борисовым. Согласно показанию Д. Жамсаранова (арестован в Ленинграде в январе 1937 г.), С. С. Борисов заявил А. Доржиеву, что «он переходит рамки, установленные для дипломатов, и занимается восстановлением населения Бурятии против Советской власти и что в связи с этим ему предлагается переехать на постоянное место жительства в Ленинград» . Это сообщение отчасти подтвердил в своих показаниях Тепкин: «(Борисов) говорил, что мы в СССР строим социализм, в связи с чем идет обострение классовой борьбы. Вам я советую во избежание нежелательных последствий не вмешиваться в наши внутренние дела и прекратить всякую агитацию» . Правда, Ш. Тепкин ничего не говорит о «дипломатической ссылке» А. Доржиева. Напротив, согласно его показанию, А. Доржиев после своего первого визита в НКИД в феврале 1931 г. уехал в Бурятию, откуда и вызвал его телеграммой в Ленинград, из чего можно заключить, что он по прежнему пользовался свободой передвижения.

Как бы то ни было, в начале 1930 х над головой тибетского представителя уже стали сгущаться тучи. А в 1934 г. (вскоре после смерти Далай ламы) прогремел первый гром: во время очередного приезда в Москву А. Доржиев был арестован ОГПУ. Однако уже через три недели его освободили, по видимому, после вмешательства НКИД. Никаких конкретных обвинений ему предъявлено не было. Возможно, А. Доржиева просто хотели припугнуть. В архиве МИД (АВП РФ) хранится интересный документ – «Справка об А. Доржиеве» (предположительно составлена в 1934 г.), в которой дается достаточно позитивная оценка как дипломатической деятельности А. Доржиева, так и его личным качествам:

«Агван Доржиев – бурят, около 30 лет проживший в Лхасе, воспитатель недавно умершего Далай ламы, – прошедший все ступени ламской иерархической лестницы (имеет звание „цанит хамбо“ – нечто вроде сана митрополита).

В 90 е гг. Агван Доржиев подсказал Далай ламе и правительству Тибета идею ориентации на Россию на основе формулы: Англия близка и грозит захватом Тибета, Россия территориально далека и потому покуситься на Тибет не сможет, но, в силу своего антагонизма с Англией, будет противодействовать английской экспансии.

В целях реализации этой формулы, Агван Доржиев в конце 90 х гг., к тому времени ставший фактическим диктатором Тибета, дважды ездил в Петербург и даже в Париж, а во время англо бурской войны, в 1901 г., был официально и демонстративно принят в Ливадии Николаем II во главе тибетского посольства и получил определенные обещания поддержки.

Когда Далай Лама (бежавший в 1904 г., в связи с оккупацией Лхасы англичанами, в Ургу) не получил этой поддержки, вынужден был вернуться в Лхасу и пойти на компромисс с англичанами, Агван Доржиев остался в России, продолжая фигурировать в роли полуофициального представителя Тибета, и лишь время от времени наезжая в Лхасу.

<…> Человек очень большого ума и совершенно исключительной энергии и настойчивости, А. Доржиев в свое время до революции, пользовался среди бурят и калмыков огромным влиянием, остатки которого среди наиболее отсталых слоев, надо отметить, сохранились еще и поныне.

Во время революции Агван Доржиев возглавлял обновленческое движение в среде бурятского и калмыцкого ламства, пытаясь этим путем сохранить влияние последнего на массу и вместе с тем остаться на положении тибетского „полпреда“, хотя прежнее политическое влияние в Тибете он уже потерял, несмотря на все свои попытки поддерживать связь с Далай Ламой и верхушкой тибетского ламства» .

По какому поводу была составлена справка, мы не знаем, но нельзя исключить того, что она имеет какое то отношение к аресту А.