В декабре 1903 года Толстой узнал, что тяжело заболела «тетушка-бабушка» Александрин Толстая. Его дружеские чувства к ней несколько охладели после того, как она безуспешно пыталась вернуть его в лоно православной Церкви. Но если ему доставляло удовольствие «сражаться» с ней, когда эта женщина была здорова, воинственно настроена, мужественно отстаивала свои взгляды, то на пороге смерти он мог только всем сердцем сострадать ей и двадцать второго декабря написал теплое, душевное письмо, благодаря за то счастье, которое дала ему эта полувековая дружба. Ее взволновало, говорилось в ответе, послание, полной той абсолютной искренности, что всегда была между ними со времен их молодости. Через несколько месяцев, двадцать первого марта 1904 года, Александрин тихо угасла в своих комнатах в Зимнем дворце в Петербурге. Ей было почти девяносто лет. Ушел преданный друг, готовый сделать все для племянника, чьих воззрений не разделяла. Но смерть эта не так сильно поразила Толстого, как предполагали его близкие. Он чувствовал, что и его конец близок, а потому не в силах был плакать над другими. В августе новая смерть – брат Сергей скончался в страшных мучениях от рака языка. Он отдалился от младшего брата, когда тот стал проповедовать свое неохристианство, упрекал его в том, что тот говорит о воздержании и бедности, живя во грехе и богатстве. Но семейные воспоминания оказались сильнее идеологических разногласий, и, постарев, братья вновь сблизились.

Ненавидя толстовцев, Сергей Николаевич тем не менее часто приходил в Ясную, а Лев Николаевич приезжал к нему в Пирогово, так не похожее на его собственное имение, где никто и ничего не предписывал растениям: дорожки здесь были посыпаны песком, кусты подстрижены, деревья стояли по струнке, как на параде. В отличие от брата, который одевался по-мужицки и тачал сапоги, Сергей Николаевич был настоящим барином – властным, соблюдавшим дистанцию, элегантным, недоверчивым. Крестьяне приветствовали его издалека и побаивались. Жена – бывшая цыганка Маша – не осмеливалась в его присутствии поднять голос. Три его немолодые незамужние дочери и представить не могли того, кто мог бы однажды попросить их руки у этого молчаливого, холодного отца. К тому же все они читали дядину «Крейцерову сонату» и смотрели на брак как на предприятие весьма отталкивающее. Одна из них говорила по-французски: «У нас гнездо старых дев, и дети наши будут жить так же», не замечая никакого противоречия в этом своем утверждении. Отец обожал их, но стеснялся выставлять напоказ свои чувства. Запершись в кабинете, целыми днями подсчитывал доходы. Порой через закрытую дверь оттуда доносились страшные вздохи: «Ах! Ах! Ах!» – но близкие привыкли к этому, говоря, что Сергей над чем-то размышляет. Выходя из кабинета, хозяин быстро закрывал его двери, чтобы туда не залетели мухи: он испытывал к ним отвращение, так же, как к разной мошкаре, художникам, профессорам, торговцам, незваным гостям, светским людям и людям с претензиями. Самобытный и саркастичный, по словам его племянника Ильи, дядя был похож на старого князя Болконского из «Войны и мира».

Когда он умирал, Толстой на несколько дней переехал в Пирогово. Жена и дочери хотели, чтобы Сергей Николаевич исповедался и причастился, но не решались сказать ему об этом, тот давно отказался от любых религиозных таинств. По их просьбе отлученный от Церкви младший брат взял это на себя. Чтобы утешить близких, больной согласился.

В день похорон Толстой, несмотря на свой возраст, помог нести гроб до церкви. Возвратившись в Ясную, рассказал Софье Андреевне, как позаботился о теле брата, непостижимого и дорогого. И записал в «Воспоминаниях», предназначенных для биографии: «В старости, в последнее время, он больше любил меня, дорожил моей привязанностью, гордился мной, желал быть со мной согласен, но не мог; и оставался таким, как был: совсем особенным, самим собою, красивым, породистым, гордым и, главное, до такой степени правдивым и искренним человеком, какого я никогда не встречал».