Граф Комаровский со слов своего зятя оставил описание домашнего быта Безбородко: «Кроме знатных гостей, обыкновенное общество состояло из особ, живущих у графа, и нескольких человек коротких знакомых. Ничего не было приятнее слышать разговор графа Безбородко. Он одарен был памятью необыкновенною и любил за столом много рассказывать, в особенности о фельдмаршале (Румянцеве. — Н. П.), при котором он находился несколько лет. Беглость, с которой он, читая, схватывал смысл всякой речи, почти невероятна. Мне случалось видеть, что привезут ему от императрицы преогромный пакет бумаг; он после обеда обыкновенно садился на диван и всегда просил, чтобы для него не беспокоились и продолжали бы разговаривать, между тем он только что переворачивал листы и иногда вмешивался в беседу гостей своих, не переставая в то же время читать бумаги. Если то, что он читал, не заключало в себе государственного секрета, он нам сообщал содержание оного. Я слышал от графа Моркова, что он не мог никогда надивиться непостижимой способности графа Безбородко читать самые важнейшие бумаги с такою беглостью и так верно и так скоро постигать смысл оных».

У Александра Андреевича было две страсти: игра в карты и увлечение слабым полом. В карты ему, по свидетельству современников, не везло, в любви — не всегда, тем более что Безбородко, по свидетельству маркиза де Палермо, «далеко не красив собой». Обе страсти были известны императрице, и она к ним относилась снисходительно. Храповицкий записал об отсутствии графа при дворе 13 и 14 января 1791 года: «Спрашивали и на ответ, что болен, улыбнувшись сказала: знаю от чего болен». Улыбка императрицы означала, что ей известны слабости канцлера.

Предметом его ухаживаний были актрисы, русские и иноземные. Екатерина, узнав, что граф подарил итальянской певице Давиа 40 тысяч рублей, велела выслать ту из столицы.

Безбородко был влюблен в певицу Е. С. Угарову и так назойливо ухаживал за ней, что та, улучив момент, пожаловалась Екатерине. «Лизинька ни на какие обещания графа не поддается», — записал Гарновский. Угарова была влюблена в актера Сандунова. При содействии Екатерины влюбленные были обвенчаны и, чтобы избавиться от поклонников, уехали в Москву.

Столь же неудачны были амурные похождения с другой актрисой, о чем рассказала Е. Р. Дашкова в письме к неизвестному корреспонденту 1 января 1787 года. Безбородко «влюбился в танцовщицу по имени Маврушка, по слухам очень хорошенькую; он нанял ей дом Убри, по соседству с собою, поместил на ее имя в Воспитательный дом десять тысяч рублей и драгоценностей на такую же сумму и вдруг Чесменский (сын. — Н. П.) графа Алексея (Орлова. — Н. П.) отбил ее у него; она предпочла его всем материальным выгодам, предлагаемым графом, и тот остался без двадцати тысяч и без девицы. Говорят, он был этим огорчен и пытается завязать отношения с Давией, рискуя быть побитым, так как она угощает пощечинами своих поклонников; благодаря ей многочисленные враги графа будут отомщены».

Источники сообщают на этот счет и другие фантастические сведения. А. М. Грибовский в своих «Записках» писал о том, что Безбородко давал ежемесячно итальянской певице по 8 тысяч золотом, а при ее отъезде на родину одарил ее деньгами, золотом и бриллиантами на 500 тысяч рублей. Такими суммами отнюдь не бедный Безбородко, конечно же, не располагал.

Н. И. Греч сообщает, что Безбородко не чурался визитов и в непристойные заведения: «Каждую субботу после обеда надевал он синий сюртук, круглую шляпу и клал сто рублей в карман. Вооруженный таким образом, посещал он самые неблагопристойные дома». О том, что визиты Безбородко в публичные дома не являются выдумкой Греча, явствует из свидетельства Терещенко, писавшего ранее Греча: Александр Андреевич имел обыкновение ходить по городу в старом долгополом зеленом сюртуке, в грязных сапогах, с небрежно повязанным платком на шее, в помятой шляпе и тростью в руке.