К разочарованию Герасимова, поступить в университет не удалось: не выдержал экзаменов. Но семья считала, что необходимо получить образование, поэтому Александр пошёл по военной линии, как традиционно принято у казаков. Однако он поступил не в кавалерийское, а в пехотное юнкерское училище. Успешно окончив его, получил офицерский чин и служил в одном из резервных пехотных батальонов.

Всё шло хорошо, но Герасимову не давало покоя неудовлетворённое честолюбие: хотелось сделать армейскую карьеру. Но как? Поступить в Академию Генерального штаба нереально — при тамошнем строгом отборе с целой системой труднейших экзаменов. И тогда Александр решил попробовать пойти другим путём — подать рапорт о переводе в жандармский корпус!

Попасть в это элитное подразделение было не многим проще, чем в Академию Генштаба: предстояло пройти собеседования, экзамены на право обучаться на специальных курсах, а закончив их, следовало вновь сдавать экзамены придирчивым специалистам. Требовалось обязательное знание иностранных языков, не менее шести лет службы в строю и самое главное — потомственное дворянство! А Герасимов, как уже говорилось, не мог похвастаться гордым званием дворянина, тем более потомственного. И тут возникает неразрешимая загадка. В конце 80-х годов XIX века, когда отбор в жандармский корпус осуществлялся как никогда строго и путь в него плебеям был накрепко заказан, простой казак Герасимов получил разрешение на перевод в жандармы!

Выдержав все испытания, цепкий, усидчивый, очень внимательный офицер Герасимов медленно стал подниматься по служебной лестнице в непростом деле российского политического сыска, где до него сломали шею очень многие. Уже в первые годы в новом жандармском офицере вдруг раскрылись незаурядные полицейские таланты, в том числе в агентурной работе, привлечении к сотрудничеству провокаторов и их успешном использовании в борьбе с террористами, что постоянно досаждали властям покушениями то на коронованных особ, то на великих князей, то на высших государственных сановников.

Особенно осложняться оперативная обстановка стала в начале XX века в обеих столицах — Санкт-Петербурге и Москве, где активно действовали законспирированные боевые организации эсеров и большевиков. Жандармский корпус, вопреки последующим утверждениям взявших власть в России коммунистов, был не столь велик: большевики намеренно преувеличивали силу и мощь врага, придавая этим большую значимость своей победе. Например, в 1917 году в Московском охранном отделении непосредственно работой с агентурой занимались девять жандармских офицеров, руководивших примерно тремя сотнями секретных агентов. Всего в период революционных событий 1917 года большевики арестовали шестьдесят семь жандармских чинов из Московского отделения, и это был практически весь его личный состав.

Жандармских офицеров в Российской империи, вынужденной вести изнуряющую и непримиримую борьбу с террористами, постоянно не хватало. Особенно в бурном 1905 году.

— Нужен твёрдый и решительный человек на посту начальника столичного охранного отделения, — сказал император Николай II министру внутренних дел. — Есть такой на примете?

— Есть, — подумав, ответил министр. — Александр Васильевич Герасимов.

Так судьба вознесла Герасимова не только к генеральским погонам и лампасам в жандармском корпусе, что само по себе ставило его в непосредственную близость к верховной власти в империи, но и дала ему возможность полностью проявить свои сыскные таланты. В феврале 1905 года Герасимов стал руководителем столичного политического сыска, заняв один из самых ответственных постов в русской политической полиции. Наиболее ярко он проявил себя в ноябре — декабре 1905 года, когда страсти накалились до предела, а департамент полиции никак не решался предпринять кардинальные меры против революционного движения.