Сад Нескучного Алексей Григорьевич гостеприимно открыл для общественных гуляний, которые так любили москвичи. Расположенный на холмах и взгорьях, разбитый на множество дорожек, искусственных прудов, окруженных купальнями и беседками, этот сад сразу приглянулся московской знати. Летом каждое воскресенье в Нескучном для увеселения публики граф устраивал праздники с фейерверками и угощениями.

Одной из самых популярных московских забав, посмотреть на которую охотно собирались не только мужчины но и дамы, были кулачные бои. Они устраивались обычно в зимнее время под старым Каменным или Троицким мостом. Еще мать Петра I царица Наталья Кирилловна любила ездить сюда в санях и любоваться удалью сражающихся. От небольшой запруды речка Неглинная в этом месте образовывала пруд, тянувшийся во всю длину современного верхнего Кремлевского сада. На льду искусственного водоема происходила любимая народная потеха.

Орлов не только сам участвовал в боях, причем очень часто выходил из поединков с победой, но и организовал первую в России школу для кулачных бойцов, куда отбирал мужиков из соседних деревень и своих крепостных. Создание профессиональной школы и введение в борьбу жестких правил, не позволявших калечить противников, сразу принесло Алексею огромную популярность. Публика специально собиралась болеть за графа — кулачного бойца. Первый Георгиевский кавалер, ближайший друг и сподвижник Екатерины II не гнушался выходить на утоптанный и посыпанный опилками снег, чтоб принять участие в любимой народной потехе. Алексей стал кумиром. Его примеру последовали и другие представители благородного сословия, давно мечтавшие, но не решавшиеся переступить через грань приличий.

Школой кулачных бойцов Алексей Григорьевич занимался всерьез. Он отвел для нее помещение в своей городской усадьбе, где проводились тренировки. Английский путешественник Уильям Кокс, посетивший Москву в конце 70-х гг. XVIII в., описал одну из таких тренировок в доме графа Орлова. Кокс был очарован Алексеем и тем, как граф умел управлять огромной толпой собравшихся бойцов. «В одно время между собою могли бороться только двое, — писал англичанин, — на руках у них были одеты толстые кожаные перчатки… Положения у них были совсем иные, чем у борцов в Англии… Когда же иной боец своего противника валил на землю, то его объявляли победителем, и тот час же прекращалась борьба этой пары… Иные из бойцов отличались необычайной силой, но их обычай в бою мешал несчастному случаю, также мы не заметили перелома руки или ноги, которыми обычно кончаются бои в Англии». Кокс с увлечением сравнивал русские приемы единоборства с английскими. Интересно, что при глубокой несхожести культур жители России и Британских островов отдавали предпочтение одним и тем же видам развлечений — бокс и лошади.

Приехав в Москву, Алексей организовал бега на поле под Донским монастырем. Он первым ввел моду кататься по городу в легких беговых санках с русской упряжью. Место, избранное им для катаний, было очень удобно, и многие московские аристократы обращались к нему за разрешением принять участие в бегах. Граф ни кому не отказывал, но ставил условие употреблять русскую упряжь. С этого времени знать старой столицы отказывается от тяжелых вызолоченных немецких саней, очень неудобных для движения на улицах города.

Скачки были давним пристрастием Орлова. Со свойственным графу деловым подходом он сумел превратить это азартное зрелище в особую отрасль своего московского хозяйства. Во время военных действий в Средиземном море он задумался о создании собственного конного завода. Из Египта ему привезли 30 жеребцов и 9 кобыл, еще больше лошадей удалось приобрести в Англии. Граф не постоял за ценой, но стремился забрать лучшее. Потянулись долгие годы селекционных работ, поскольку Алексей поставил целью вывести совершенно новую породу рысистой лошади, годную для природных условий России.