Причиной тому был следующий эпизод.

После покорения Крыма хан Сабин-Гирей должен был получать от Потёмкина крупные суммы, оговорённые государственным договором, но светлейший задерживал эти выплаты и несколько лет ничего не платил хану. Тогда Гирей обратился за помощью к Ермолову, тот обо всём рассказал Екатерине, а императрица вскоре же высказала своё неудовольствие Потёмкину. Светлейшему не составило труда вычислить изменника, и он поставил вопрос ребром: «Или я, или он». Екатерина, поколебавшись, склонилась, как и прежде, на сторону идола, и в июне 1786 года попросила передать Ермолову, что она разрешает ему уехать на три года за границу.

Александр Петрович немедленно покинул Петергоф, где произошло всё это, и с рекомендательными письмами секретаря императрицы Александра Андреевича Безбородко уехал в Германию и Италию. Везде, где он появлялся, Ермолов вёл себя необычайно скромно, чем поражал и российских резидентов в итальянских и германских государствах, и граждан этих государств. Столь же скромно вёл он себя и возвратившись в Россию. Ермолов переехал из Петербурга в Москву, где его ожидал тёплый и радушный приём, ибо у бывшего фаворита и здесь не оказалось врагов или завистников.

За время фавора, продолжавшегося год и четыре месяца, Ермолов получил два поместья, стоившие 400 тысяч рублей, а также 450 тысяч наличными в виде единовременных выплат, пенсии и жалованья. Утратив благосклонность Екатерины, Ермолов уехал в Австрию, где купил богатое и прибыльное поместье Фросдорф, неподалёку от столицы империи, и превратил его затем в одну из самых привлекательных загородных усадеб, расположенных около Вены. Возвратившись ненадолго из-за границы, Александр Петрович женился на княжне Елизавете Михайловне Голицыной и стал впоследствии отцом трёх сыновей — Петра, Михаила и Фёдора, ничем, впрочем, не отличившихся. Да и сам он тоже более не желал привлекать к себе ничьего внимания, так как решил навсегда оставить Россию и поселиться во Фросдорфе. Там он и умер в 1836 году восьмидесяти двух лет от роду.

Преемником Ермолова на стезе фаворитизма стал двадцативосьмилетний капитан гвардии Александр Матвеевич Дмитриев-Мамонов — дальний родственник Потёмкина. Благодаря последнему обстоятельству Дмитриев-Мамонов и был назначен в 1786 году адъютантом светлейшего, имея скромный чин поручика гвардии. Не желая повторения ситуации, произошедшей с Ермоловым, и стремясь иметь возле императрицы человека, на которого, как ему казалось, он мог вполне положиться, Потёмкин и познакомил Мамонова с Екатериной. В августе 1786 года Мамонов был представлен Екатерине и вскоре назначен флигель-адъютантом. Современники отмечали, что Дмитриев-Мамонов был единственным из фаворитов, которого нельзя было причислить к разряду красавцев. Он был высок ростом, крепок физически, имел скуластое лицо, чуть раскосые, «калмыковатые» глаза, которые светились умом и лукавством. В отличие от многих прочих был он хорошо образован, и беседы с ним доставляли императрице немалое удовольствие. Через месяц стал он уже прапорщиком кавалергардов и генерал-майором по армии. Первые почести не вскружили голову новому фавориту — он проявлял сдержанность, такт и сразу же завоевал репутацию умного и осторожного человека. Отмечали и его прекрасное образование — Дмитриев-Мамонов хорошо говорил на немецком и английском языках, а французский знал в совершенстве. Кроме того, Александр Матвеевич заявил себя и как недурной стихотворец и драматург, что особенно импонировало Екатерине. Благодаря всем этим качествам, а также и тому, что Мамонов непрестанно учился, много читал и пытался серьёзно вникать в государственные дела, особенно в дела внешнеполитические, он стал вскоре незаменимым советчиком императрицы, и когда в начале 1787 года Екатерина собралась в путешествие на юг — в Новороссию и Крым, — Мамонов в течение всего этого вояжа ни на минуту не оставлял её.