Юристу Джону Эдгару Гуверу исполнилось всего 29 лет, когда его назначили директором этой организации, с тем чтобы он вычистил авгиевы конюшни. Гувер был аскетом и человеком строгих правил. В свои 29 он все еще жил с любящей матушкой в родительском доме в Вашингтоне, неподалеку от Капитолийского холма (Сьюард-сквер, 413). В детстве он заикался, но сумел побороть этот недостаток, заставляя себя говорить отрывисто и очень быстро — так быстро, что за ним не могла поспеть ни одна стенографистка. Гувер был человеком аккуратным, целеустремленным и дисциплинированным — плотью от плоти вашингтонской бюрократии, среди которой он и вырос. Никто не сомневался, что он пойдет по стопам отца, чиновника Береговой и геодезической службы, и станет государственным служащим. Гувер учился на вечернем отделении Университета Джорджа Вашингтона и был активным членом студенческого братства «Каппа Альфа». Днем он работал клерком в библиотеке конгресса. Диплом бакалавра юриспруденции он получил в 1916 году, магистерскую степень — годом позже и сразу после этого вступил в коллегию адвокатов округа Колумбия.

В июле 1917 года его взяли на работу в Министерство юстиции. В то время многие подающие надежды молодые юристы ушли со службы, записавшись добровольцами в армию, и Гувер, всегда с иголочки одетый, пунктуальный и усердный, быстро пошел в гору. За первые полгода службы он получил два повышения. Сначала он перешел в отдел регистрации иностранцев, а затем был назначен начальником Разведывательного управления, нового департамента, который боролся с радикальными движениями в среде рабочих, с анархистами и коммунистами. Его деятельность на этом поприще получила самую высокую оценку, и он дал свое первое интервью «Нью-Йорк таймс». В январе 1920 года его управление организовало облаву на коммунистов в 33 городах, и в результате было арестовано более 3000 человек. А Гувер уже прощупывал возможности получения нового места. В августе 1921 года он этого добился: стал заместителем директора ФБР.

В 1924 году деятельностью бюро занялся сенат. В итоге были уволены и попали под суд и директор ФБР, и министр юстиции. Новый министр, Харлан Фиске Стоун, не знал, что ему делать с этой конторой. Сохранились его записи: «…в ее штате полно людей с самой дурной репутацией… не признает закона… агенты вовлечены в крайне жестокие и недостойные дела» и т. п. Стоун не знал, кому поручить реформирование такой организации, и один из его друзей предложил кандидатуру Гувера: молод, но честен, старателен и трудолюбив. Стоун поспрашивал коллег, получил самые лестные отзывы, и 10 мая 1924 года Гувер встал во главе ФБР, правда пока только в качестве исполняющего обязанности директора.

Первым делом он решил заменить агентов на местах (к 1929 году их насчитывалось 339 человек). Гувер твердо знал, кого он хочет видеть в штате: ему были нужны молодые, энергичные белые в возрасте от 25 до 35 лет, с юридическим образованием, смышленые, умеющие формулировать свои мысли, аккуратные и выросшие в приличных семьях. Словом, ему требовались люди такие же, как он сам. И он их нашел. Уже через несколько недель Гувер избавился от наследия прежнего руководства, положил конец протекционизму при приеме на работу и стал набирать сотрудников по способностям.