Впрочем, немцы довольно ловко и умело обошли эти запреты, создав «теневой рейхсвер» — ряд замаскированных военных учебных заведений, среди которых имелся полный аналог Академии, готовившей офицеров по специальности «Вопросы просвещения». В момент прихода к власти Национал-социалистической рабочей партии Германии обер-лейтенант Рейнхард Гелен как раз учился на таком отделении.

Адольф Гитлер немедленно и открыто взял курс на реванш и милитаризацию Германии. Одним из первых его действий в этом направлении стало восстановление ряда военных учебных заведений, и в том числе Академии Генерального штаба. Гелен оказался среди её первых выпускников — в числе пятидесяти лучших офицеров в 1935 году его откомандировали в Генеральный штаб. В аттестации на Гелена отмечалась его способность к чёткой оценке стратегической и тактической обстановки и умение быстро принимать единственно правильные решения.

Проходя службу в Генеральном штабе, гауптман Гелен сумел обратить на себя внимание известного генерала фон Манштейна, оценившего усердие, знания и работоспособность молодого офицера. В 1936 году Гелен стал офицером оперативного отдела штаба фон Манштейна: это оказалось очередной ступенькой в длинной лестнице наверх.

Летом 1940 года он получил назначение адъютантом начальника штаба сухопутных войск Франца Гальдера. Началась Вторая мировая война, и этот пост считался весьма ответственным. Вскоре Гелен уже возглавлял разведывательный отдел Генерального штаба вермахта, имевший кодовое наименование «Фремле хеере ост» — «Иностранные армии Востока», и носил на мундире погоны оберста — полковника.

Возглавляемое Геленом подразделение насчитывало более полусотни офицеров, в число которых входили специалисты по обработке и анализу разведывательной информации, ведению допросов военнопленных, специалисты по радиосвязи, переводчики с различных языков и, в первую очередь, с русского, украинского, белорусского, польского, чешского и словацкого, статистическое подразделение и информационно-справочная группа. Официально в задачи подразделения полковника Гелена входили сбор сведений о состоянии сил противника на Восточном фронте, подготовка для руководства и главного командования вермахта аналитических справок, докладных, памятных записок и иллюстративных графических материалов к ним.

В 1942 году в имении «Воронино» под Винницей, где располагалась штаб-квартира возглавляемого полковником Геленом разведывательного подразделения Генерального штаба вермахта, состоялась встреча Рейнхарда с адмиралом Вильгельмом Канарисом. Глава абвера предложил молодому, подающему надежды полковнику создать в недрах Генерального штаба неподконтрольный гитлеровским спецслужбам орган чисто военной разведки, так называемый абвер-2 и возглавить его.

Старый шпион хотел, чтобы Гелен сохранил всё наработанное Абвером в борьбе против стран Восточной Европы и, в частности, Советского Союза. Сговор старого рыцаря плаща и кинжала с молодым и способным представителем этой древней профессии состоялся. Полковник Гелен получил от «большого абвера» массу оперативной информации, архивные дела, и к 1944 году, когда адмирала Канариса, подозревавшегося в участии в заговорах против Гитлера и несанкционированных контактах с Западом, отправили в отставку, отдел Гелена уже имел собственную весьма разветвлённую разведсеть и структуру, во многом повторявшую структурное построение и функции «большого абвера». Не говоря уже о той информации, которой могли похвастаться подчинённые Гелена.

В том же году получивший звание генерала Рейнхард Гелен уже прекрасно осознал, каковы перспективы окончания Второй мировой войны.