К моменту этого успеха Гербергер был тренером сборной Германии уже 18 лет. Он возглавил ее в 1936 году, после того, как немецкие футболисты на играх XI Олимпиады, проходивших в Берлине, заняли лишь 6-е место. На этом посту Зепп Гербергер сменил Отто Нетца, помощником которого был с 1932 года. Еще раньше, в конце 20х годов, Гербергер и сам играл в сборной Германии, но провел лишь 3 матча. В качестве футболиста он не блистал, однако, возглавив сборную, с немецкой обстоятельностью, неспеша, начал выстраивать крепкую и надежную команду в соответствии с собственными тренерскими воззрениями.

К первому для Гербергера чемпионату мира 1938 года, проходившему во Франции, эта созидательная работа была далеко не завершена — немецкие футболисты сразу же выбыли из борьбы, уступив сборной Швейцарии, в то время одной из сильнейших в Европе. Тем не менее швейцарцы смогли победить лишь после переигровки, а первый матч закончился вничью — 1:1. Вполне возможно, сборной Германии не хватило лишь опыта международных встреч.

Взлет команды Гербергера пришелся на начало 40-х годов, когда он пригласил в сборную блистательного форварда из «Кайзерслаутерна» Фрица Вальтера, которому предстояло стать основным игроком чуть ли не на два десятилетия. Основную ставку Гербергер делал на слаженность всех звеньев своей команды и учил футболистов играть просто, в жесткой силовой манере, но эффективно. В то же время действия команды отличались разнообразием, потому что тот же Фриц Вальтер был в первую очередь высокотехничным, а не силовым игроком. Но он мог в одно мгновение укротить мяч и сделать сверхточную передачу, обостряющую атаку, и на этом Гербергер во многом строил тактику нападения.

Столь же тонко Гербергер учитывал индивидуальные особенности любого из своих футболистов и умело использовал их в матче против того или иного соперника. Иной раз производимые им перед игрой изменения в составе удивляли всех, но всегда действовали на удивление эффективно. К тому же Гербергер досконально изучал своих соперников, да и вообще старался быть в курсе всех мировых футбольных тенденций, для чего много путешествовал, просматривая игру самых разных команд.

Кстати, он стал первым из тренеров, кто перед выездным матчем своей команды в другую страну отправлялся туда заранее, чтобы с истинно немецкой педантичностью заранее проверить абсолютно все, что могло оказаться важным — от состояния футбольного поля до номеров гостиницы, где предстояло жить футболистам сборной.

Большим успехам сборной Германии, безусловно, помешала Вторая мировая война. Однако в первые ее годы команда нередко играла товарищеские матчи с сильными сборными европейских стран, например, с командой Венгрии, и показывала прекрасный футбол. Но в 1943 году, после того как в ходе войны наметился перелом не в пользу Германии, сборная страны была распущена, а многие ее футболисты ушли на фронт.

Следующий после войны чемпионат мира проходил в 1950 году в Бразилии, однако сборной Германии фактически еще не существовало. Тем не менее Гербергер за свой счет ездил по стране в поисках талантливых футболистов, которые могли бы составить основу новой национальной команды. Когда же его вновь официально назначили тренером сборной, одним из первых, кого он пригласил, был Фриц Вальтер. Великому футболисту тогда было уже за 30, он участвовал в войне, побывал в советском плену. Словом, Вальтер сомневался, может ли он принести команде пользу, однако Гербергер, искусный психолог, сумел его убедить.

Да и вообще Зеппу Гербергеру не было равных в умении создать в команде прекрасный психологический климат и настрой на победу.