Сменивший на престоле Екатерину Петр II, сын казненного царевича Алексея, отомстил за смерть отца, сослав Петра Толстого, недавно разменявшего девятый десяток, в Соловецкий монастырь, где тот и умер в 1729 году. Казалось, что звезда рода Толстых закатилась навсегда, но Бог миловал — в 1760 году императрица Елизавета Петровна возвратила графское достоинство, отобранное у Петра Андреевича Толстого, его внуку Андрею Ивановичу, прадеду Льва Николаевича.

«Про Андрея Ивановича, женившегося очень молодым на княжне Щетининой, я слыхал от тетушки такой рассказ, — вспоминал Лев Толстой. — Жена его по какому-то случаю без мужа должна была ехать на какой-то бал. Отъехав от дома, вероятно, в возке, из которого вынуто было сиденье, для того, чтобы крышка возка не повредила высокой прическе, молодая графиня, вероятно лет семнадцати, вспомнила дорогой, что она, уезжая, не простилась с мужем, и вернулась домой.

Когда она вошла в дом, она застала его в слезах. Он плакал о том, что жена перед отъездом не зашла к нему проститься».

О родителях своего отца Лев Николаевич вспоминал так:

«Бабушка, Пелагея Николаевна, была дочь скопившего себе большое состояние слепого князя Николая Ивановича Горчакова. Сколько я могу составить себе понятие о ее характере, она была недалекая, малообразованная, — она, как все тогда, знала по-французски лучше, чем по-русски (и этим ограничивалось ее образование), и очень избалованная сначала отцом, потом мужем, а потом, при мне уже, сыном — женщина...

Дед мой, Илья Андреевич, ее муж, был тоже, как я его понимал, человек ограниченный, очень мягкий, веселый и не только щедрый, но бестолково-мотоватый, а главное — доверчивый. В имении его, Белевского уезда, Полянах, — не Ясной Поляне, но Полянах, — шло долго не перестающее пиршество, театры, балы, обеды, катания, которые, в особенности при склонности деда играть по большой в ломбер и вист, не умея играть, и при готовности давать всем, кто просил, взаймы и без отдачи, а главное, затеваемыми аферами, откупами, кончились тем, что большое имение его жены все было так запутано в долгах, что жить было нечем, и дед должен был выхлопотать и взять, что ему было легко при его связях, место губернатора в Казани.

Дед, как мне рассказывали, не брал взяток, кроме как с откупщика, что было тогда общепринятым обычаем, и сердился, когда их предлагали ему. Но бабушка, как мне рассказывали, тайно от мужа брала приношения».

Граф Илья Толстой, промотав как свое весьма солидное состояние, так и состояние жены, сохранил легкость в отношении к деньгам и на губернаторском посту. Губернаторство Ильи Андреевича кончилось скверно — специальная сенатская комиссия занялась проверкой его счетов. По официальной версии граф заболел от расстройства, вызванного проверкой, и вскоре скончался. По неофициальной — он покончил с собой, чтобы избежать позора.

Его сын Николай пытал счастья на военном поприще, но не очень удачно — 14 марта 1819 года он был уволен по болезни в отставку с присвоением чина подполковника. В грозном 1812 году Николай начал службу гусарским корнетом, в скором времени стал адъютантом генерала Горчакова, своего близкого родственника по матери, но затем попал в плен к французам и был освобожден лишь в 1815 году после вступления войск союзников в Париж. Сделать значимую карьеру не удалось. Не видя никаких перспектив в продолжении службы, Николай Толстой вышел в отставку и поселился с родителями (отец его тогда еще был жив) в Казани.

В семье Толстых с детства воспитывалась бедная сиротка из дальних родственниц по линии Горчаковых — Татьяна Александровна Ергольская, которая росла вместе с Николаем и его сестрами Александрой и Пелагеей.