Здесь их пути с Кутеповым разошлись. Более того, они почти что возненавидели друг друга. В начале 1924 года Петр Николаевич писал генералу Шатилову о Кутепове: «Вот уже год, как он сидит здесь, ничего не делая и отказываясь от всякой работы, мною предлагаемой. В то же время он пытается самостоятельно что-то делать, то посылая каких-то своих представителей в Балтийские страны, то пытаясь вести свою разведку в России. Всё это лишь затрудняет мою работу и дает повод к созданию слухов о каких-то расхождениях в верхах Армии».

В эмиграции Павел Николаевич Шатилов очень сблизился с Врангелем. Выпускник Академии Генштаба, Первую мировую Шатилов завершил генерал-квартирмейстером штаба Кавказской армии. Деникин поручил ему командовать 4-м конным корпусом, в мае 1919 года произвел в генерал-лейтенанты. В декабре 1919 года назначил начальником штаба Добровольческой армии. Такую же должность Шатилов занимал у Врангеля, который произвел его в генералы от кавалерии, — возможно, в благодарность за то, что тот помог сместить Деникина с поста главнокомандующего и занять его место.

Врангель обосновался в городке Сремские Карловны, где находился патриарх Сербской православной церкви. Весь штаб разместился в нескольких комнатах. Начальником штаба был генерал Федор Абрамов, его помощником стал ротмистр Юрий Асмолов, генерал-квартирмейстером — генерал Павел Кусонский, полицейской частью руководил бывший директор Департамента полиции генерал-лейтенант Евгений Константинович Климович (в Крыму он заведовал особым отделом штаба главнокомандующего).

Врангель искал способ сохранить организационную структуру русской армии в ситуации, когда европейские страны потребовали распустить русские вооруженные формирования, оружие сдать и вернуться к мирной жизни.

В ноябре 1923 года он писал генерал-майору Алексею Александровичу фон Лампе в Берлин: «Полгода, как трехцветное знамя свернуто, как на него надели чехол защитного цвета и тщательно спрятали в цейхгауз. Боюсь, что ежели его оттуда не извлекут и вновь не развернут, те, кто шел за ним, разбредутся. Дай Бог, чтобы этого не случилось».

Первого сентября 1924 года приказом № 35 Петр Николаевич Врангель основал Русский общевоинский союз (первоначальное название Обще-Офицерский):

«Продолжая заботы по объединению зарубежного офицерства Русской Армии, в прошлом году я предоставил возможность всем офицерским союзам войти в ее состав…

Считая своим долгом в новых формах бытия Армии связать возможно теснее всех тех, кто числит себя в наших рядах, приказываю:

1) Образовать Русский Обще-Воинский Союз…

2) Включить в РОВС все офицерские общества и союзы, вошедшие в состав Русской Армии, все воинские части и войсковые группы, рассредоточенные в разных странах на работах, а также отдельные офицерские группы и отдельных воинов, не могущих по местным условиям войти в какие-либо офицерские общества…

3) Сохранить за офицерскими обществами и союзами, включенными в состав РОВС, их названия, самостоятельность во внутренней жизни и порядок внутреннего управления, установленные ныне действующими уставами…

5) Общее управление делами Русского Обще-Воинского Союза сосредоточить в моем Штабе».

Врангель определил географическую структуру РОВСа:

I отдел — французский («из офицерских обществ и союзов, воинских частей и войсковых групп, расположенных в Англии, Франции, Бельгии, Италии, Чехословакии, Дании и Финляндии»);

II отдел — германский («из расположенных в Германии и Королевстве Венгрии»);

III отдел — прибалтийский «из расположенных на территории Польши, Данцига, Литвы, Латвии и Эстонии»;

IV отдел — югославский («из расположенных в Королевстве СХС и в Греции»);

V отдел — «из находящихся на территории Болгарии и Турции».