В семье Толстых с детства воспитывалась бедная сиротка из дальних родственниц по линии Горчаковых — Татьяна Александровна Ергольская, которая росла вместе с Николаем и его сестрами Александрой и Пелагеей.

Вот как вспоминал о Татьяне Ергольской сам Лев Толстой: «Третье, после отца и матери, самое важное в смысле влияния на мою жизнь, была тетенька, как мы называли ее, Татьяна Александровна Ергольская. Она была очень дальняя по Горчаковым родственница бабушки. Она и сестра ее Лиза, вышедшая потом за графа Петра Ивановича Толстого, остались маленькими девочками, бедными сиротками от умерших родителей. Было еще несколько братьев, которых родные кое-как пристроили. Девочек же порешили взять на воспитание знаменитая в своем кругу в Чернском уезде и в свое время властная и важная Тат. Сем. Скуратова и моя бабушка; свернули билетики и положили под образа; помолившись, вынули, и Лизанька досталась Тат. Сем., а черненькая бабушке. Таничка, как ее звали у нас, была одних лет с отцом, родилась в 1795 году и воспитывалась совершенно наравне с моими тетками и была всеми нежно любима, как и нельзя было не любить ее за ее твердый, решительный, энергичный и, вместе с тем, самоотверженный характер. Очень рисует ее характер событие с линейкой, про которую она рассказывала нам, показывая большой, чуть не в ладонь, след обжога на руке между локтем и кистью. Они детьми читали историю Муция Сцеволы и заспорили о том, что никто из них не решился бы сделать то же. “Я сделаю”, — сказала она. “Не сделаешь”, — сказал Языков, мой крестный отец, и, тоже характерно для него, разжег на свечке линейку так, что она обуглилась и вся дымилась. “Вот приложи это к руке”, — сказал он. Она вытянула голую руку, — тогда девочки ходили всегда декольте, — и Языков приложил обугленную линейку. Она нахмурилась, но не отдернула руки, застонала она только тогда, когда линейка с кожей отодралась от руки. Когда же большие увидали ее рану и стали спрашивать, как это сделалось, она сказала, что сама сделала это, хотела испытать то, что испытал Муций Сцевола.

Такая она была во всем решительная и самоотверженная.

Должно быть, она была очень привлекательная со своей жесткой черной, курчавой, огромной косой, агатово-черными глазами и оживленным, энергическим выражением. В. И. Юшков, муж тетки Пелагеи Ильиничны, большой волокита, часто уже стариком, с тем чувством, с которым говорят влюбленные про прежний предмет любви, вспоминал про нее: «Toinette, oh, elle etait charmant!» e.

Когда я стал помнить ее, ей было уже за сорок, и я никогда не думал о том, красива или некрасива она. Я просто любил ее, любил ее глаза, улыбку, смуглую, широкую, маленькую руку с энергической поперечной жилкой.

Должно быть, она любила отца, и отец любил ее, но она не пошла за него в молодости для того, чтобы он мог жениться на богатой моей матери...»

Это в гору воз поднимается трудно, требуя, чтобы его постоянно волокли или подталкивали, под гору он катится сам по себе, все набирая и набирая скорость. Благосостояние рода Толстых истаяло, словно апрельский снег, поместья были проданы, и отставной подполковник Николай Толстой был вынужден поселиться с матерью и кузиной в Москве (квартира их была весьма скромной) и, ради хлеба насущного, вновь поступить на военную службу. 15 декабря 1821 года его определили в Московское военно-сиротское отделение на должность смотрительского помощника. Иначе говоря, он стал заместителем директора сиротского приюта. Пусть приют был не совсем обычным, а предназначался для детей военных, все равно это обстоятельство ничего не меняло — унынием и бедностью оборачивалась жизнь. Хорошо еще, что Николаю не пришлось заботиться о сестрах. Александра к тому времени вышла замуж за графа Остен-Сакена, а Пелагея — за довольно богатого казанского помещика Юшкова.

Судьба сжалилась над Николаем и послала ему шанс.