Почему? Может быть общество было к нему не расположено? Напротив. В это же самое время в Москве жил другой отставной фаворит Екатерины II Иван Николаевич Римский-Корсаков, история опалы которого напоминала случай Мамонова. Его фавор окончился 10 лет назад из-за связи с приятельницей императрицы графиней П. А. Брюс. Правда, Прасковья Александровна не была молоденькой фрейлиной, они с императрицей родились в один год, но «Брюсша», как графиню за глаза именовали в свете, считалась красивейшей дамой при дворе и была широко известна своими куртуазными похождениями. О Римском-Корсакове москвичи сплетничали ни чуть не меньше, чем о Мамонове. Дело усугубилось еще и тем, что он увез с собой в старую столицу Е. П. Строганову, жену одного из богатейших меценатов России А. С. Строганова. Влюбленная дама разъехалась с мужем и открыто поселилась в доме Римского-Корсакова в Москве. Жили они по-семейному, имели общих детей, получивших впоследствии дворянство под фамилией Ладомирских, и ни от кого не прятались.

Итак, дорога для Мамонова была уже проложена. Ничего необычного в его приезде в старую столицу не замечалось. Куда сложнее было когда-то Г. Г. Орлову проехать через Москву, где толпа забрасывала его карету грязью, или А. Г. Орлову явиться в старую столицу с клеймом цареубийцы на лбу, но и они нашли в себе мужество не прятаться. Сделай Мамонов шаг навстречу московскому обществу, найди в себе силы жить в нем, и рано или поздно он был бы принят. Но мягкий и мнительный Александр Матвеевич не смог.

Ланжерон писал в мемуарах: «Некоторые из фаворитов умели облагородить свое унизительное положение: Потемкин, сделавшись чуть не императором, Завадовский — пользой, которую приносил в администрации; Мамонов — испытываемым и не скрываемым стыдом». Во время памятного разговора Екатерины с А. В. Храповицким о женитьбе Мамонова императрица сказала: «Он от всех отдалился, избегал даже меня. Его вечно удерживало в его покоях стеснение в груди. А на днях вздумал жаловаться, будто совесть мучает его; но не мог себя преодолеть… Сперва, ты помнишь, имел до всего охоту, и все легко давалось, а теперь мешается в речах, все ему скучно, и все грудь болит».

В зените своего влияния Александр Матвеевич испытывал что-то вроде страха перед большим стечением народа: ему казалось, что все на него смотрят и все осуждают. Гарновский в донесениях на юг рассказывал, что во время венчания, по просьбе Мамонова, в придворную церковь, не допускался никто посторонний, кроме лиц, непосредственно присутствовавших на свадьбе. Потом последовал скромный свадебный ужин с очень небольшим числом приглашенных. Через день молодые отбыли в Дубровицу «с тем, — отмечает Гарновский, — чтоб пробраться туда прямо, не заезжая в Москву».

Добровольно запершись в Дубровицах, Мамонов изводил себя и окружающих. Неудивительно поэтому, что по Москве пополз слух о его сумасшествии. Забегая вперед скажем, что, зная о душевной болезни сына Александра Матвеевича, мы не видим в этих слухах ничего невероятного. После смерти жены он все же сумел взять себя в руки. Упрекать больше было некого, а на его попечении остались двое маленьких детей. Первым решительным шагом к выходу из затянувшегося кризиса стала для Мамонова перестройка дворца. В соответствии с канонами классицизма старое усадебное здание было увенчано фронтонами. Работы, начатые с размахом, остановились после внезапной смерти самого владельца в 1803 г. «Больная грудь» не была отговоркой — чахотка, прогрессировавшая вместе с нервным заболеванием, свела Александра Матвеевича в могилу.