Однажды он публично разразился в адрес Лена площадной бранью, на что молчаливый и гордый офицер не произнёс ни слова, но, возвратившись со службы, написал и отправил Аракчееву гневное, полное сдержанного достоинства письмо, а затем пустил себе пулю в висок.

Павел знал Лена, которого рекомендовал ему фельдмаршал граф П. А. Румянцев-Задунайский. К тому же Аракчеев побил тростью нескольких преображенцев, чья выправка во время полкового смотра показалась ему негодной.

Павел уволил Аракчеева в отпуск по болезни, а через полтора месяца отправил в отставку. Однако немилость царя не отразилась на отношениях Аракчеева с наследником престола. 7 мая того же 1798 года, во время поездки из Петербурга в Казань, Александр, сопровождавший своего отца в путешествии, послал из Валдая Аракчееву в Грузино письмо: «Любезный друг Алексей Андреевич! Подъезжая к Вышнему Волочку, душевно бы желал тебя увидеть и сказать тебе изустно, что я такой же тебе верный друг, как и прежде. Признаюсь однако же, что я виноват перед тобою и что давно к тебе не писал; но ей-богу, оттого произошло, что я не имел ни минуты для сего времени, и я надеюсь, что ты довольно меня коротко знаешь, чтоб мог усомниться во мне. Если ты сие сделал, то по чести согрешил и крайне меня обидел, но я надеюсь, что сего не было. Прощай, мой друг! Не забудь меня и пиши ко мне, чем ты меня крайне одолжишь. Также поболее смотри за своим здоровьем, которое, я надеюсь, поправится, по крайней мере, желаю оного от всего сердца и остаюсь навеки твой верный друг».

Через полторы недели после этого, по-видимому не без заступничества Александра, Аракчеева вновь приняли в службу, но в конце 1799 года ещё раз отправили в отставку.

О причине отставки и о характере отношений между Александром и Аракчеевым свидетельствует письмо цесаревича к нему от 15 октября 1799 года, написанное на пятый день после очередной отставки. «Я надеюсь, друг мой, — пишет Александр из Гатчины, — что мне нужды нет при сем несчастном случае возобновлять уверение о моей непрестанной дружбе, ты имел довольно опытов об оной, и я уверен, что ты об ней и не сомневаешься. Поверь, что она никогда не переменится. Я справлялся везде о помянутом твоём ложном донесении, но никто об нём ничего не знает и никакой бумаги такого рода ни от кого совсем в государеву канцелярию не входило; а государь, признавши Ливена (X. А. Ливен — военный министр. — Примеч. авт.), продиктовал ему сам те слова, которые стоят в приказе. Если что-нибудь было, то с побочной стороны. Но я вижу по всему делу, что государь воображал, что покража в арсенале была сделана по иностранным научениям. И так как воры уже сысканы, как уже я думаю, тебе и известно, то он ужасно удивился, что обманулся в своих догадках. Он за мною тотчас прислал и заставил пересказать, как покража сделалась, после чего сказал мне: я был всё уверен, что это по иностранным проискам. Я ему на это отвечал, что иностранным мало пользы будет в пяти старых штандартах. Тем и кончилось. Про тебя же ни слова не говорил, и видно, что ему сильные внушения на тебя сделаны... Прощай, друг мой Алексей Андреевич! Не забывай меня, будь здоров и думай, что у тебя верный во мне друг остаётся».

Официальная формулировка об отставке Аракчеева гласила: «За ложное донесение отставляется от службы». Что же послужило причиной царской опалы на сей раз и что за ложное донесение сделал фаворит своему обожаемому монарху?

А дело было в том, что во время кражи пяти старинных знамён начальником караула в арсенале был родной брат Алексея Андреевича Андрей Андреевич Аракчеев — командир артиллерийского батальона. Однако Аракчеев, докладывая Павлу о краже знамён, на вопрос императора: «Кто нёс караул?» — ответил, что охрана осуществлялась солдатами и офицерами полка генерала Вильде.

По приказу императора Вильде тотчас же был уволен из армии, но добился аудиенции у графа И.