Дом Алексея Орлова, по словам С. Ушакова, «был храмом любви Отечества, открытою галереею невинных веселостей, пристанью достоинства и дарований, убежищем от злополучия и нищеты. Благотворения графа никогда не переставали изливаться на всех прибегающих к нему. Он полагал первейшим своим удовольствием даже предупреждать просьбы ищущих его покровительства; но при всем столь редком достоинстве души, заслуживающем всякие похвалы, он старался делать благодеяния как можно скрытнее, имея… неизменным правилом своим обыкновение не казаться, а быть добрым. Впрочем, слава добрых его дел не могла быть неизвестна, соотечественники его с удовольствием передают о ней потомству своему».

Орлов-Чесменский, будучи русским человеком, любил все отечественные обряды, нравы и веселости. Бойцы, борцы, силачи, песельники, плясуны, скакуны, ездоки на лошадях – все, что только означало мужество, силу, твердость, достоинство и искусство русское, стекалось в дом его.

В 1782 году Алексей Орлов уведомлял императрицу о намерении вступить в брак с двадцатилетней Авдотьей Николаевной Лопухиной и получил собственноручное письмо Екатерины II 28 августа 1782 года: «Граф Алексей Григорьевич. Письмо ваше от 19 апреля я приняла из рук братца вашего, князя Орлова. Он вам сообщит и мой ответ на ваше предложение, и не осталось мне, окромя того, что желать вам всякого счастья и благополучия в принятом вами намерении. Остаюсь, впрочем, к вам с отличным доброжелательством Екатерина».

Свадьба была торжественно отпразднована в селе Остров 6 мая 1782 года. 2 мая 1785 года у Алексея Орлова родилась дочь Анна. Посвящая свое время супруге и дочери, граф не забывал и своих прежних развлечений. Каждый год зимою, еженедельно по воскресеньям, устраивал он «лошадиный бег», куда съезжались не только жители Москвы, но и дворяне других губерний. В летнее время Москва была обязана ему учрежденною перед домом его скачкою на лошадях и прогулкой в Английском саду. «Одним словом, – пишет С. Ушаков, большой поклонник чесменского героя, – граф Алексей Григорьевич был не только почтеннейшим и наилюбезнейшим русским боярином, но и душою, соединяющею российских дворян, сердцем общественных веселостей, нравов и обычаев, надеждою несчастного, кошельком бедного, посохом хромого, глазом ослепшего, покоищем израненного воина и врачом больного гражданина».

Погрузившись в хозяйственные дела, он увлекся своим конным заводом, который скоро приобрел заслуженную известность. На собственном конном заводе граф вывел знаменитую до сих пор породу орловских рысаков. Она была получена в результате смешения арабской и английской скаковых лошадей с кровью голландской, датской и мекленбургской пород. Главными достоинствами этой породы лошадей являются быстрота, энергия и сила, а также правильность и плавность движения.

«Заслуга графа Орлова-Чесменского, – сообщает «Сборник биографий кавалергардов», – не в том, что он был охотником и любителем лошадей – такие есть всегда и везде, – а в том, что он создал тип русской рысистой и верховой лошади. Не говоря о том, что русское коннозаводство обязано ему улучшением всей массы лошадей в России».

Семейная жизнь Орлова продолжалась недолго. 20 августа 1786 года Авдотья Николаевна умерла.

Дочь Анна, рано оставшаяся сиротой, нашла в Орлове нежно любившего ее отца. Попечения и заботы о дочери сделались целью его жизни.