В 1924 году Дитрих вступил в ряды НСДАП (партбилет № 89 015), а вскоре и в СС (служебное удостоверение № 1 177). Став начальником личной охраны вождя партии Адольфа Гитлера, «Зепп» скоро сделался любимцем фюрера и постоянно сопровождал Гитлера во всех его поездках по Германии. Он был отличным спортсменом, увлекался конькобежным спортом, боксом, фехтованием, конным спортом и стендовой стрельбой.

В 1930 году Дитрих был избран по партийным спискам депутатом рейхстага (германского парламента) от НСДАП. В марте 1933 года он по приказу Гитлера сформировал отборное подразделение СС для охраны Имперской канцелярии (получившее летом 1933 года наименование Берлинская штабная охрана) — зародыш будущей дивизии СС Лейбштандарт Адольфа Гитлера (ЛАГ).

Ввиду своих выдающихся заслуг перед фюрером, «рыжий шваб» занимал совершенно особое положение в системе Шуцштаффеля, подчиняясь непосредственно Гитлеру (фактически минуя рейхсфюрера СС Генриха Гиммлера).

В 1934 году Йозеф Дитрих, оставаясь командиром Лейбштандарта, стал одновременно руководителем оберабшнитта СС Восток (Ост). Наряду с другими руководителями СС, он принял участие в ликвидации руководства СА в «Ночь Длинных ножей» ночью 30 июня 1934 года и лично руководил расстрелами ближайших соратников штабшефа СА капитана Эрнста Рёма в мюнхенской тюрьме Штадельгейм. Лейбштандарт СС Адольфа Гитлера под командованием «Зеппа» Дитриха участвовал в возвращении Германии Саарской области, оккупации Судетской области, аншлюсе Австрии, оккупации Богемии (Чехии) и Моравии, в Польской, Французской и Балканской кампаниях.

В 1939 году был награжден, за Польскую кампанию, Железным крестом I степени, а 4 июля 1940 года, после победы над Францией, Рыцарским крестом Железного креста. В середине 1941 года находившаяся под командованием «Зеппа» Дитриха бригада ЛАГ была официально переименована в дивизию СС Лейбштандарт СС Адольфа Гитлера.

Во главе своей дивизии «Зепп» Дитрих отличился в сражении за Ростов (в ноябре-декабре 1941 года), за что 31 декабря был награжден Дубовыми листьями к Рыцарскому кресту Железного креста. По воспоминаниям сослуживцев, он полностью воплощал в себе тип «отца-командира», заботившегося о том, чтобы его люди ни в чем не испытывали недостатка, одно появление которого поднимало боевой дух.

Как только «Зепп» приезжал в расположение части, сразу поднимался радостный переполох, на столах появлялись тарелки с сыром, салом, колбасой, деревянные дощечки в форме дубовых листьев с сырым мясным фаршем-«татаром» и батареи бутылок с русской водкой, шнапсом, корном, кюммелем, французским коньяком. Громогласный Дитрих неустанно сыпал своими солеными шуточками, известными всей армии, пил, ел, хлопал женщин по заду, но при этом не забывал вникать во все дела части, и ничто не укрывалось от его голубых зорких глаз.

Он разделял со своими подчиненными все тяготы военной страды на Востоке, где отморозил пальцы на ноге и был награжден медалью «За зимнюю битву на Востоке», не без иронии прозванную германскими солдатами («Орденом мороженого мяса»). В ноябре 1942 года моторизованная дивизия СС Лейбштандарт СС Адольфа Гитлера была переименована в бронегренадерскую (панцер-гренадерскую, мотопехотную).

16 марта 1943 года ее командир Йозеф Дитрих был награжден Мечами к Дубовым листьям Рыцарского креста Железного креста. 27 июля 1943 года «рыжий шваб» был назначен командиром I танкового корпуса СС, а 6 августа 1944 года награжден Бриллиантами к Мечам Дубовых листьев Рыцарского креста Железного креста.