Весной 1921 года начался голод, сотни людей умерли, оставшиеся едва держались на ногах, все оружие было сдано, тем не менее китайские власти побаивались интернированных, подозревая их в намерении силой изменить ситуацию в свою пользу. Два события усилили эти подозрения: появление в Чугучаке большой группы сибирских крестьян-повстанцев, которые разоружиться отказались, и падение Урги. Напуганные победами Унгерна, опасаясь развития событий по монгольскому варианту, китайцы втайне открыли границу красным. Узнав об этом, Бакич предложил казакам или сдаться на милость победителей, или уходить вместе с ним «для продолжения борьбы». Большая часть предпочла капитуляцию, но около восьми тысяч самых здоровых, решительных и непримиримых последовали за командующим. Безоружные, многие с женами и детьми, без подвод, без лошадей, почти без продовольствия они пешком двинулись на восток, в Монголию. Перед уходом лагерь подожгли, спустя несколько часов его догорающие развалины были заняты советскими войсками.

Отряд красноармейцев, вскоре преградивший оренбуржцам дорогу, бежал перед безумной атакой многотысячной массы отчаявшихся людей, вооруженных камнями и самодельными копьями. Начался беспримерный переход через пустынные, безводные степи Джунгарии. Третья часть всех ушедших из Чугучака погибла в пути от голода и лишений, но остальных Бакич привел к Шара-Сумэ, последнему китайскому городу у границ Халхи, и захватил его после трехнедельной осады. Винтовки имелись у немногих счастливчиков, сумевших разжиться ими еще в начале пути, после победы над красноармейцами, но гарнизон не выдержал противостояния с людьми, которым нечего было терять.

Ворвавшись в город, оренбуржцы искали только еду; «дорогие шелка, предметы роскоши бросались как ненужный хлам». Хватали все, что выглядело съедобным. Тонкие храмовые свечки принимали за вермишель, мыло — за куски хлеба. Сальные свечи считались изысканным лакомством.

Тем не менее Бакичу достались трофеи из местного арсенала, и он стал готовиться к походу на Россию. Очень скоро его бойцы опять начали голодать, в Шара-Сумэ были съедены все собаки, все кошки, но, по словам Носкова, «окружающая печальная действительность не обескураживала воинственного генерала». Его решимость подогревали приносимые беженцами слухи о крестьянских восстаниях на Тамбовщине и в Сибири.

Часть оренбуржцев он выслал дальше на восток, с гор Алтая они спустились на равнины Джунгарии. Очевидно, через них Унгерн и пытался связаться с Бакичем, отправив ему несколько писем, но ответа не получил. Унгерн с его бескомпромиссным монархизмом для Бакича был неудобной фигурой. Сам он взял на вооружение эсеровские лозунги, за которые в Урге расстреливали без суда. Азиатская дивизия вступила в Забайкалье под знаменем с двуглавым орлом и вензелем «императора Михаила II», а над штабом Оренбургской армии развевалось красное полотнище, лишь в верхнем его углу, возле древка, был нашит трехцветный прямоугольник. Бакич хотел даже отменить погоны как символ приверженности старому режиму, но возмутилось офицерство. Пришлось оправдываться: «Погоны мы носим не для отдания чести, а чтобы отличать своих». В прокламациях, рассчитанных на повстанцев из крестьян, слышатся те же заискивающие ноты: «В наших рядах не редкость встретить полковника с одной, двумя или тремя нашивками, что означает, что полковник служит чуть ли не рядовым бойцом, а бывший пахарь командует им».

Унгерн мог заставить полковника служить не только рядовым, но и пастухом, однако сентенция о «бывшем пахаре» и вообще любые игры в народовластие для него были неприемлемы. Бакич более прагматичен и гибок, менее талантлив и склонен к позерству, но последняя принятая им поза вызывает уважение. Рассказывали, будто уже в Монголии, после неудачных боев с красными, когда оставалась надежда только на чудо, он демонстративно отбросил револьвер и пошел впереди колонны с большим деревянным крестом в руках.