Сказать, что у Орлова совсем не было семьи, было бы не правдой. В Москву он привез своего «воспитанника» Александра, которого многие среди публики считали ребенком несчастной княжны Таракановой. Алексей Григорьевич не знал, что его пленница умерла от чахотки в Петропавловской крепости через два месяца после прибытия в Россию. Смутные московские слухи донесли до него известие, что примерно в то же время, когда он вез самозванку в Петербург, из северной столицы в Москву тайно прибыла женщина, постригшаяся в Ивановском монастыре под именем инокини Досифеи. Она приняла строгий обет молчания, ее почти никто не видел, содержалась необычная монахиня самым лучшим образом, ей привозили много книг, но общаться Досифея могла лишь со своим духовником и настоятельницей. Неудивительно, что Алексей увидел в этой затворнице обманутую им жертву и, по одной из московских легенд, старался никогда не проезжать мимо стен Ивановского монастыря.

Семейные предания рода Разумовских говорят, что Досифея была дочерью императрицы Елизаветы и Алексея Григорьевича Разумовского, до того тихо проживавшей в одном из поместий на Украине и не помышлявшей о короне. Ее спешно привезли в Петербург, и после долгой беседы с глазу на глаз с Екатериной II она приняла решение постричься в монахини, чтоб ее имя не стало причиной новых возмущений в России. Достоверно из всей этой таинственной истории известен только один факт: когда в 1810 г. Досифея скончалась, на ее похороны собралось все многочисленное семейство Разумовских.

Время постепенно тушило самые неприятные слухи вокруг имени Алексея. Наконец, в 1782 г. он решился. Граф посватался к Евдокии Николаевне Лопухиной, одной из самых красивых и богатых невест Москвы, которой шел 21 год и… получил согласие. Тот факт, что представители старинного дворянского семейства, находившиеся в родстве с императорской фамилией, согласились выдать одну из девиц Лопухиных за незнатного, хотя и очень богатого Алексея, показывает, как высоко ставили графа в московском обществе в начале 80-х гг. 6 мая 1782 г. он венчался в своем подмосковном селе Острове с Лопухиной. На свадьбу была приглашена вся знать старой столицы. Евдокия Николаевна, по свидетельствам современников, отличалась добродушным и приветливым нравом и была очень набожна.

Алексей, в отличие от своего брата Григория, вовсе не слыл волокитой и сердцеедом, хотя всегда нравился женщинам. Судя по его портретам, он не был красив лицом, но стать, удаль и необыкновенное обаяние делали Алексея Григорьевича неотразимым. Только через три года у Орловых родилась дочь Анна. «Я не считаю его особенно способным воспитывать девочек, — писала по этому поводу Екатерина II доктору Циммерману, — поэтому желала ему сына». Императрица ошибалась. Трудно себе представить, что в этом хладнокровном, порой жестоком человеке найдется столько нежности и ласки для маленького беззащитного существа, вскоре оставшегося без матери. В августе следующего 1786 г. после тяжелых вторых родов умерла Евдокия Николаевна. Память маленькой Нинушки, как Алексей называл дочь, не сохранила образа матери, но в доме ее имя было овеяно таким почитанием, что, повзрослев, Анна Алексеевна всегда подчеркивала свое особое расположение к материнской родне.

Летом 1787 г. началась вторая русско-турецкая война, и перед овдовевшим Алексеем вновь замаячил призрак возвращения к государственным делам. В Москве его ничто не удерживало, кроме грустных воспоминаний. Императрица звала графа в столицу, т. к. намеревалась назначить командующим формируемой на Балтике новой эскадры, которая, по мысли Екатерины, должна была повторить рейд в Архипелаг. И тут интересы самого Орлова пришли в столкновение с интересами московских оппозиционных кругов, поддержки которых он так долго добивался.