В 1922 году две женщны, часто бывавшие в доме Хаарманна, увидели однажды неподвижно лежащего на его кровати молодого человека. Неподвижность и поза этого человека насторожили. Хаарманн объяснил, что "юноша просто спит" и поспешил выпроводить женщин из дома.

На следующий день женщины, зайдя к Хаарманну, обнаружили на стуле рядом с кроватью пиджак и брюки юноши, хотя Хаарманн утверждал, что гость уехал. Кроме этого, на кухне они увидели горшок с вареным мясом, подозрительного вида. В тот же день женщины рассказали в полицейском управлении о своих подозрениях.

Стоит отметить, что полиция отреагировала весьма оперативно и прибыла на квартиру Хаарманна с обыском. На вопрос о молодом человеке Хаарманн спокойно ответил, что тот попросился на ночлег и днем ушел, оставив в качестве платы за постой свой костюм. Хаарманн же отдал ему свои старые брюки и рубашку. Мясо в горшке он назвал обыкновенной свининой, и эксперт, исследовавший его, подтвердил это. Полиция и в тот раз ушла ни с чем.

После обнаружения черепов Хаарманн вновь попал в поле зрения полиции, но с его арестом спешить не стали. За ним установили негласное наблюдение, для чего вызвали из другого города двух агентов. Но и это скрытое наблюдение не помогло: Хаарманн вел себя на редкость благопристойно. Казалось, что ему удастся благополучно выйти из сложной ситуации. Но тут произошло неожиданное.

Видимо, уверенность Хаарманна в собственной неуловимости настолько укоренилась в нем, что однажды он просто утратил всякую бдительность и осторожность. В один из июньских дней 1924 года он познакомился с неким юношей по фамилии Фромме, который сбежал из Берлина от своих родителей и теперь скитался по Германии. Хаарманн предложил ему пожить некоторое время у него, бездомный юноша с радостью согласился. Однако он не знал, какие услуги ему придется оказывать хозяину дома за этот приют. Тот же в первую их совместную ночь изнасиловал мальчишку.

Эта связь длилась несколько дней, после чего юноша Хаарманну надоел и он прогнал его прочь. Фромме в ответ потребовал денег за те специфические услуги, которые он оказывал. Это требование настолько взбесило Хаарманна, что он схватил наглого мальчишку за шиворот и собственноручно привел... в полицию. Это его и погубило.

В полицейском управлении Фромме чистосердечно рассказал о том, что с ним произошло. Полиция арестовала Хаарманна, и в тот же день произвела тщательный обыск. В результате в шкафах Хаарманна была обнаружена куча всевозможной верхней мужской одежды и белья, причем разных размеров. Хаарманн объяснил, что все это он выменял у разных незнакомых ему людей для последующей перепродажи. Его соседи подтвердили, что он действительно иногда занимался подобного рода делами. И все-таки полиция решила проверить все до конца и поместила в газетах объявления о том, что родственники пропавших без вести людей могут прийти и осмотреть вещи, найденные у Хаарманна. И толпы людей потянулись к зданию полиции.

Сенсация произошла 25 июля. Мать некоего Витцеля, без вести пропавшего в апреле, нашла костюм своего сына. А отец пропавшего опознал в одном из черепов, обнаруженных на берегу Лейне, череп Витцеля. Припертый к стене, Хаарманн на следующий день сознался в том, что он убил этого молодого человека. Сознался он и в других убийствах и даже указал место на берегу все той же речки Лейне, куда он сбрасывал останки расчлененных им жертв. Полиция обнаружила на дне реки кости, принадлежавшие 24 убитым людям.

В ходе следствия Хаарманн охотно контактировал с дознавателями и с необыкновенным энтузиазмом описывал в деталях свои жуткие преступления.