Граф Ростопчин устроил обед, на котором присутствовали английский генерал Вилсон и его адъютант лорд Джордж Карпентер Тирконелл, генералы Беннигсен и Ермолов, другие генералы, а также граф Михаил Юрьевич Вильегорский.

«Ростопчин при звуках боя с передовых постов, и видя приближающегося неприятеля, вошел во дворец, пригласив всех сопровождать его. Каждому из нас дали горящий факел. Ростопчин поднялся в свою парадную спальню, остановился на мгновение и затем сказал английскому генералу: “Вот моя брачная постель; у меня недостает духа поджечь ее; окажите мне сию услугу”. Когда он сам запалил остальной покой, хотя и не прежде того, желание его было исполнено. По мере движения вошедших каждый апартамент зажигался, и через четверть часа все превратилось в одно пылающее месиво. После сего Ростопчин пошел к конюшням, которые сразу же загорелись, и, остановившись, созерцал всепожирающее пламя.

Когда обрушилась последняя фигура Кавалло, он сказал: “Теперь я спокоен”. Вокруг уже посвистывали пули, и Ростопчин вместе со всеми отступил, оставив неприятелю следующее поучительное предупреждение, прикрепленное к столбу:

“Семь лет я украшал свою резиденцию, где счастливо жил в лоне семейства моего.

Все обитатели сего имения числом тысяча семьсот двадцать душ удалились с приближением вашим, и я по собственной своей воле сжег сей дом, дабы не был осквернен вашим присутствием.

Французы, в Москве вам осталось два моих дома со всей обстановкой ценою в полмиллиона рублей. А здесь для вас один только пепел”».

Но император Александр I более не видел особой надобности в службе Ростопчина и поспешил забыть заслуги графа вопреки только что данному обещанию. Позднее Федор Васильевич писал о французах: «Так как они не хотели признать, что зима в России в порядке вещей, то могли почитать ее небесным наказанием». Подобно им Александр I также предпочитал делать вид, что Наполеон оставил Москву в результате какого-то чуда.

Потрясение, которое испытывал наш герой из-за оставления Москвы без сопротивления, оказалось столь сильным, что он тяжело заболел. Некоторое время после выхода из города граф находился при главной квартире. Здесь он столкнулся с враждебным отношением со стороны военных, начиная от некоторых генералов и до простых солдат, которые обвиняли графа в сожжении Москвы, называя этот поступок варварством. Главнокомандующий войсками фельдмаршал Михаил Илларионович Кутузов подвергал графа Ростопчина отвратительным унижениям. Светлейший князь игнорировал просьбы московского генерал-губернатора об аудиенции. Оскорбленный граф Ростопчин передал фельдмаршалу через адъютантов, что видит свое присутствие излишним и покидает армию.

В конце сентября граф Ростопчин оставил главную квартиру. Он намеревался ехать в Ярославль, где находилась его семья, а затем в Санкт-Петербург в расчете на высочайшую аудиенцию. Однако граф вынужден был изменить планы из-за обострившейся болезни. Федор Васильевич даже не смог доехать до Ярославля и повидаться с семьей. Болезнь надолго задержала его во Владимире.

Граф не исключал смертельного исхода и писал государю в начале октября: «Государь!.. Тело мое подавлено скорбью; я до того слаб, что у меня бывают обмороки… Если умру здесь, оставляю мое семейство под ваше покровительство».

Государь не откликался на письма графа Ростопчина. «Император Александр хранил глубокое молчание касательно пожара Москвы; он никогда не осуждал и не одобрял моего отца; во всех его манифестах сие самое памятное событие всей войны было предано забвению. Тем не менее трудно допустить, чтобы уничтожение города могло произойти без его согласия.