После войны граф поселился в Москве и стал профессиональным картежником. Толстой был не просто шулер, он проявлял за картами и необыкновенный дар психолога, стратега, и азарт, и математический расчет. Обычно он играл некоторое время с незнакомым человеком, изучая его характер и черты лица, запоминая его стратегию. Это позволяло графу даже честными методами входить в манеру игрока и выигрывать. Но это была только еще половина дела, потому что он был известен тем, что передергивал. За картами Федор просиживал до рассвета. Не о нем ли писал А.С.Пушкин?

 Страсть к банку! Ни дары свободы,

 Ни Феб, ни слава, ни пиры

 Не отвлекли б в минувши годы

 Его от карточной игры.

 Задумчивый, всю ночь до света

 Бывал готов он в эти лета

 Допрашивать судьбы завет:

 Налево ляжет ли валет?

 Уж раздавался звон обеден,

 В кругу разыгранных колод

 Дремал усталый банкомет,

 А он нахмурен, бодр и бледен,

 Надежды полн, закрыв глаза,

 Метал он третьего туза.

 Как-то, заигравшись, Толстой остался наедине с С.В.Гагариным в Английском клубе, и объявил, что Гагарин проиграл ему 20 тысяч рублей. Гагарин отказался платить. Тогда Толстой запер двери и, положив на стол пистолет, сказал:

 – Между прочим, эта штука заряжена, так что заплатить вам все равно придется. Даю на размышление 10 минут!

 Гагарин вынул из кармана часы и бумажник, положил их на стол и ответил:

 – Вот все мое имущество. Часы могут стоить 500 рублей, в бумажнике – 25. Только это тебе и достанется. А если ты меня убьешь, ты должен будешь заплатить не одну тысячу, чтобы скрыть преступление. Будешь ты в меня стрелять после этого? Даю на размышление 10 минут.

 – Молодец! – воскликнул Федор восхищенно.– Ты – Человек!

 С тех пор они стали друзьями, а вскоре Гагарин даже попросил Федора быть его секундантом. Дуэль была назначена на 11 часов утра. Но когда Гагарин заехал к Толстому в назначенное время, тот еще спал. Разбудив Американца, он раздраженно спросил:

 – Разве ты забыл? Ведь сегодня...

 – Да этого уже не нужно, – перебил его Федор, зевая, – я твоего приятеля убил...

 Оказалось, что накануне Толстой специально приехал к противнику Гагарина, поссорился с ним, вызвал его на дуэль на 6 часов утра, застрелил его, вернулся домой и спокойно лег спать.

 Огромные деньги, добытые за карточным столом, Американец спускал на веселых застольях. Он жил исключительно широко и был большим гурманом. Закупки для стола почитал сугубо мужским делом. Гордился, например, что придумал устрицы перед употреблением выдерживать полчаса в соленой воде. Покупал только ту рыбу, которая сильнее других билась в садке, – значит, в ней больше жизненной силы. Мясо выбирал по цвету. “Хорошо приготовленная пища способствует воспарению мыслей,” – говаривал он. Словом, знал много гастрономических хитростей, чем и кичился. Приглашал к себе музыкантов, и сам любил дирижировать оркестром. А однажды, в экстазе от музыки, схватил огромный бронзовый канделябр, чтобы отбивать им такт. Пиры обычно заканчивались безумными ночами у цыган, которые были тогда частью разгульной русской дворянской жизни. Он влюбил в себя красавицу-цыганку, которая, в отличие от пушкинской Земфиры, была верна ему всю жизнь. Толстой вообще был кумиром женщин. Друг Федора Ивановича в разговоре с одной молодой дамой объяснял это так: “Таких людей уже нет. Если бы он вас полюбил, и вам бы хотелось вставить в браслет звезду с неба, он бы ее достал. Для него не было невозможного, и все ему покорялось.