Все крупные немецкие города должны были обрести новый облик благодаря монументальным строениям и гигантским площадям для маршей и парадов. Эти чудовищные фантазии предполагалось осуществить "после окончательной победы" руками миллионов рабов с Востока.

Шпеера ограничивали две проблемы. Ему требовалось пространство для застройки, которое можно было получить только путем сноса целых городских кварталов. И строители нуждались в огромном количестве строительных материалов, прежде всего гранита и кирпича.

В 1938 году Шпеер договорился с Генрихом Гиммлером, что камень будут поставлять концлагеря. СС организовали собственное предприятие "Немецкие каменоломни", капитал Шпеер предоставил из своего бюджета.

Гиммлер широко использовал труд заключенных в промышленности. Первый концлагерь начал действовать в марте 1933 года в Дахау, последний появился в Миттельбау в октябре 1944 года. Существовало двадцать концлагерей и полторы сотни трудовых лагерей. Охрану несли части войск СС "Мертвая голова". Когда эсэсовцы понадобились на фронте, их стали заменять резервистами. Потом привлекли полицейских с оккупированных территорий, прежде всего украинцев, желавших служить режиму. Специально для женских концлагерей с 1937 года готовили женщин-надзирательниц.

Беспроцентные кредиты, которые шли на расширение концлагерей, гасились поставками камня. Поэтому большинство концлагерей создавались вблизи гранитных каменоломен — Флоссенбург, Маутхаузен или рядом с залежами глины для кирпичных заводов — Ораниенбург, Нойенгамме под Гамбургом, Штутгоф под Данцигом. Для двух лагерей — Гросрозена в Силезии и Нацвайлер-Штрутгофа в Эльзасе — Шпеер в 1940 году сам нашел место рядом с залежами гранита.

В каменоломнях заключенные умирали тысячами. "Уничтожение трудом" — таков был функциональный принцип концлагерей. Шпееру это было хорошо известно. Как кредитор он имел право проверять документы СС.

В Берлине Альберт Шпеер поставил целью очистить весь центр. Ему надо было решить, что делать с пятьюдесятью тысячами квартир, в которых жили двести тысяч берлинцев. Чтобы очистить эти квартиры и снести дома, Шпееру нужно было избавиться от евреев, еще остававшихся в Берлине. В сентябре 1938 года именно Шпеер предложил столичному городскому управлению насильственно выселить евреев из двух с половиной тысяч квартир и переселить их в барачный лагерь за пределами городской черты.

"Хрустальная ночь", всегерманский еврейский погром в ноябре 1938 года, была ему на руку. Закон о защите прав жильцов в отношении евреев перестал действовать. Весной следующего года началось массовое изгнание берлинских евреев из квартир. Этим занималось главное управление по переселению при генеральном строительном инспекторе Шпеере. В освободившиеся квартиры переселили берлинцев-арийцев из домов, которые Шпеер желал снести.

13 декабря 1941 года Шпеер писал начальнику партийной канцелярии рейхслейтеру Мартину Борману, что "акция идет на полных оборотах", и возражал против намерения Бормана освободившиеся "еврейские квартиры" предоставить берлинцам, которые лишились жилья в результате бомбардировок. Шпеер настоял на том, что "еврейские квартиры" принадлежат ему.

В 1942 году, компенсируя очевидную нехватку рабочей силы, Гитлер и Гиммлер приняли решение использовать в военной промышленности не только завезенных с оккупированных территорий рабочих, но и заключенных концлагерей. Альберт Шпеер ухватился за это решение. Массовое использование военнопленных и заключенных концлагерей открывало для министра новые возможности.

После поражения в войне Альберт Шпеер пытался выставить себя жертвой интриг Гиммлера, который хотел поставить военную экономику под контроль СС и в 1944 году отнял у него производство ракет и самолетов. На самом деле все было наоборот. Шпеер вступил в союз с империей СС, ему удалось превратить аппарат госбезопасности в инструмент достижения своих целей.