Селекция новой породы заняла в жизни Алексея Григорьевича то место, которое некогда отводилось службе. Это не было развлечением скучающего отставного вельможи, но настоящим делом, которое могло принести не меньшую пользу, чем военный рейд в Архипелаг. С 1785 г. граф завел в Москве публичные скачки на призы. Бега завораживали зрителей, изысканная красота лошадей, выведением которых занимался Орлов, не могла не восхищать, щедрость призов, раздаваемых графом, даже если победу одерживали не его лошади, заставляла говорить о нем, как о человеке справедливом и бескорыстно увлеченном своим делом. Словом, Алексею удалось купить сердца москвичей. Но это было еще не все.

Для возвращения в большую политику Алексей нуждался в поддержке реальной силы, он должен был войти в ряды московской оппозиции правительству и из общего любимца превратиться в признанного руководителя общественного мнения Первопрестольной.

Между тем именно в это время по возрождающейся репутации Орловых был нанесен мощный удар. И не врагом или политическим соперником, а самим Григорием Григорьевичем, который в феврале 1777 г. женился на собственной двоюродной сестре Е. Н. Зиновьевой. Браки в такой степени родства считались кровосмесительными и отвергались церковью. Венчание Г. Г. Орлова вызвало скандал в Петербурге и бурю возмущения московского общества. На заседании Государственного Совета было решено расторгнуть брак и обоих постричь в монастырь. Екатерина II отказалась подписать решение Совета, пожаловала Зиновьеву статс-дамой и послала к ней ленту св. Екатерины. Петербургское общество вынуждено было замолчать. Чего нельзя сказать о московском. Когда покинувшие столицу молодые по пути в деревню проезжали Москву, толпы возмущенных горожан бросали вслед их карете камни и грязь.

А что же братья? Они не приняли брака Григория Григорьевича. Впервые знаменитая дружба Орловых, вошедшая в поговорку, дала трещину. На свадебном торжестве в деревне 5 июля 1777 г. никто из четверых не присутствовал. (Показательно, что в истории со свадьбой Григория Алексей остался на стороне традиционно мыслящих кругов московского дворянства. Он уже приобрел в этом обществе заметное место и не намерен был подвергать себя новой волне осуждения, поддерживая брата). Поступок Григория бросил тень и на остальную семью. Споры и сплетни не утихали в старой столице, поэтому в 1780 г. Алексей предпочел совершить недолгий вояж по немецким землям.

Эта поездка стала для Орлова еще одной попыткой вернуться к политической деятельности. В 1780 г. происходит сближение между Петербургом и Веной и намечается заключение союзного договора. Инициатором такого альянса был Потемкин. Противниками союза с Австрией выступили не только приверженцы прусской партии Панина, но и такие крупные государственные деятели, такие как П. А. Румянцев и А. Г. Орлов, которые низко оценивали военные возможности «цесарцев». Впервые Алексей оказался заодно со своими злейшими врагами — Паниными. Его «частная» заграничная поездка, встречи и консультации с прусскими дипломатами были направленны против сближения России и Австрии.

Миссия Орлова не принесла успеха. Несмотря на серьезное противоборство, союз между Екатериной II и Иосифом II состоялся. Однако поездка имела другое, более важное для жизни Алексея значение. Граф стал задумываться о необходимости завести собственную семью. Ему было уже 45 лет, несметные богатства, могли обеспечить безбедное существование целой когорте маленьких «орлят». Но сама мысль о браке долгие годы была ему противна после знаменитой истории с похищением Таракановой, которую Алексей завлек на корабль именно под предлогом венчания.