Впрочем, сохранились и другие, более противоречивые отзывы о деятельности Брусилова в должности начальника школы. «Главным образом именно ему, генералу Брусилову, Школа, а потом и вся кавалерия были обязаны введением, взамен существовавшей “бессистемности”, новой системы выездки лошадей (системы Филлиса), имевшей вначале много недоброжелателей, — вспоминал А. Левицкий. — Старым кавалеристам тех времен и не снилось, что можно было требовать от коня. Энергия Брусилова вызывала зависть, и Брусилов приобрел репутацию беспринципного карьериста и интригана.

Впрочем, для этого он сам подавал немало поводов, стремясь убрать со своей дороги двух начальников Школы генералов А. и М. Воспользовавшись промахом этого генерала, Брусилов довел до сведения Великого Князя об этом промахе. Результат — отчисленного от Школы генерала М. заменил генерал Брусилов».

Происходили перемены и в личной жизни офицера. В 1884 году Алексей Алексеевич женился на племяннице мужа своей тетки, Анне Николаевне фон Гагенмейстер. К сожалению, несколько детей в этом браке родились мертвыми, только в 1887-м на свет появился сын Алексей, который остался в живых. Жена Брусилова часто болела и в 1908 году скончалась. Ее смерть сильно потрясла глубоко любившего ее Алексея Алексеевича. Тяжким ударом стала для него и смерть в 1909-м младшего брата Льва, который закончил военно-морскую службу в чине вице-адмирала.

19 апреля 1906 года генерал-майор Брусилов был назначен командующим 2-й Гвардейской кавалерийской дивизией, а с производством в генерал-лейтенанты 6 декабря того же года стал ее начальником. Подобным скачком по служебной лестнице Брусилов, до этого не командовавший ни полком, ни бригадой, был обязан хорошо относившемуся к нему великому князю Николаю Николаевичу. Дивизия, в состав которой входили лейб-гвардии Драгунский, лейб-гвардии Конно-Гренадерский, лейб-гвардии Уланский и лейб-гвардии Гусарский полки, входила в элиту русской кавалерии. Однако служить в Петербургском военном округе генералу довелось недолго — 5 января 1909 года он получил перевод в Польшу, на должность командира 14-го армейского корпуса, штаб которого был расквартирован в Люблине. В состав этого корпуса входили 18-я пехотная, 13-я и 14-я кавалерийские дивизии, 1-я и 2-я стрелковые бригады, 14-й мортирно-артиллерийский дивизион и 8-й саперный батальон. Этому переводу Брусилов был только рад — слишком тяжело на душе было после недавней смерти жены, да и с сыном теплых, доверительных отношений наладить никак не удавалось: у всецело поглощенного службой отца просто не было на это времени.

И тем не менее именно Польша помогла Алексею Алексеевичу справиться с тяжелым душевным кризисом. В Варшаве ему на глаза попался военный журнал «Братская помощь», а в нем — статья Надежды Владимировны Желиховской о медицинском обеспечении армии. И Брусилов сразу же вспомнил, что был знаком с Надеждой Владимировной еще в Тифлисе, что она ему всегда нравилась. Но после стольких лет жизни порознь он долго не решался напомнить о себе. Только в конце 1910 года, возвращаясь из заграничного путешествия, генерал приехал в Одессу, где жила Желиховская, и вернулся в Люблин, по собственному признанию, «уже женатым человеком».

5 декабря 1912 года А.А. Брусилов получил перевод в Варшаву, на должность помощника командующего войсками Варшавского военного округа генерала от кавалерии Георгия Антоновича Скалона. «Он был добрый и относительно честный человек, скорее царедворец, чем военный, немец до мозга костей, — вспоминал А.А. Брусилов. — Соответственны были и все его симпатии.