Официальное образование ордена произошло спустя шесть десятилетий. Это случилось в 1190 году, во время осады крестоносцами Акры — города на побережье Средиземного моря. В армии европейских рыцарей тогда свирепствовали голод и болезни.

Несколько немцев — уроженцы Бремена и Любека — сделали из корабельных парусов палатку, собрали в ней больных и раненых, и присматривали за ними. Активное участие в этой благотворительной акции приняли и немецкие рыцари, одновременно исполняя свои воинские обязанности.

К ним присоединились и братья-госпитальеры, которые оставили занятый мусульманами Иерусалим. Швабский князь Фридрих, ставший предводителем немецких крестоносцев после смерти Фридриха Барбароссы, принял эту акцию под свою опеку.

Фридрих задумал создать на основе добровольного объединения особый рыцарский орден. Швабский князь энергично ваялся за дело. Он созвал большую часть светских и духовных владетелей, которые находились в тот момент в Палестине, в том числе великих магистров иоаннитов и тамплиеров.

Это собрание дворян одобрило идею Фридриха и постановило составить новый орден — его устав и структуру — на основе иоаннитского и тамплиерского. Было решено взять от иоаннитов то, что касалось присмотра за больными, а от тамплиеров — военные обязанности.

Таким образом, Тевтонский орден с самого начала стал духовно-рыцарским в отличие от предшественников, из которых орден святого Иоанна поначалу был исключительно госпитальным, а орден тамплиеров госпитальным вообще никогда не был.

Папа римский очень быстро утвердил устав нового ордена. Он уполномочил иерусалимского патриарха назначить членам нового ордена белую рясу с черным крестом в качестве их особой одежды. Центром нового ордена был назначен Тевтонский госпиталь Девы Марии в Иерусалиме.

Со своей стороны император Священной Римской империи уполномочил иерусалимского короля и Фридриха Швабского к утверждению ордена и опоясыванию первых рыцарей (главная часть обряда приема в рыцари — опоясывание рыцарским поясом). Этим первым рыцарям давалось право принимать в орден новых членов, но только из дворян древних родов.

В торжественный день перед немецкими князьями предстали 40 человек из старых дворянских родов и попросили их принять в новый орден. Иерусалимский король опоясал первого рыцаря. Фридрих Швабский — второго, прочие князья следующих. Затем новые рыцари встали на колени и приняли обеты.

Патриарх передал им Иерусалимский госпиталь и название — «братья-рыцари Тевтонского дома Девы Марии в Иерусалиме». Иерусалимский король от имени императора Священной Римской империи призвал новообращенных быть настоящими рыцарями, вставать на оборону Святой земли и всех христианских земель, поддерживать и оборонять костел, духовных лиц, вдов, сирот и убогих.

После окончания обряда посвящения иерусалимский король, швабский князь и прочие владетели избрали из числа 40 рыцарей первого магистра Тевтонского ордена. Ему были заранее переданы во владения все те земли, которые рыцарям удастся добыть с помощью меча «у неверных».

В 1191 году папа римский Целестин III, а в 1192 году германский император Генрих VI утвердили этот орден, выбравший себе в качестве патронов Деву Марию и святого Юрия. Первый магистр ордена занялся выработкой регламента жизни и структуры объединения. При этом магистре сформировался основной внутренний строй организации, которая подчинялась непосредственно папе римскому.

Это объединение задумывалось и получилось необычайно мощным, главным образом, из-за ограничения доступа в него новых членов. Такая сцементированность в немалой степени способствовала невероятному взлету значения и могущества Тевтонского ордена. Однако та же кастовость стала и одной из причин его упадка.

Устав Тевтонского ордена был суровым и в первые столетия существования очень детализированным.