Ревность Александра к Зубову не прошла бесследно. Постепенно они и Елизавета отдалились друг от друга. Александр завел себе любовницу – Марию Нарышкину, которая родила ему внебрачную дочь Софью, трагически умершую совсем молодой. Всего Александру приписывали 11 внебрачных детей. У Елизаветы тоже родились две дочери – Мария и Елизавета, но обе не дожили и до третьего года рождения. Возможно, младшую из дочерей Елизавета родила не от Александра, а от своего любовника Алексея Охотникова. Связь эта строжайше скрывалась и стала известна уже после смерти Елизаветы, когда Николай нашел и уничтожил письма Елизаветы к Охотникову, показав их предварительно своей жене императрице Александре Федоровне. Она записывает в своем дневнике:

«Если бы я сама не читала это, возможно, у меня оставались бы какие-то сомнения. Но вчера ночью я прочитала эти письма, написанные Охотниковым, офицером-кавалергардом, своей возлюбленной, императрице Елизавете, в которых он называет ее “моя маленькая женушка, мой друг, мой Бог, моя Элиза, я обожаю тебя” и т. д. Из них видно, что каждую ночь, когда не светила луна, он взбирался в окно на Каменном острове или же в Таврическом дворце, и они проводили вместе 2–3 часа. С письмами находился его портрет, и все это хранилось в тайнике, в том самом шкафу, где лежали портрет и памятные вещи ее маленькой Элизы, – вероятно, как знак того, что он был отцом этого ребенка. Мне кровь бросилась в голову от стыда, что подобное могло происходить в нашей семье, и, оглядываясь при этом на себя, я молила Бога, чтобы он уберег меня от такого, так как один легкомысленный шаг, одна поблажка, одна вольность – и все пойдет дальше и дальше, непостижимым для нас образом».

“Дорогая Элиза, позволь мне дать тебе один совет, а вернее, не откажи в небольшой просьбе: не меняй время твоей прогулки, это сможет показаться странным и встревожит Императора. Вспомни, что он тебе говорил намедни”.

В другом месте написано: “Не беспокойся, часовой меня не видел, однако я поломал цветы под твоим окном”, затем идут чудовищные любовные заверения: “Если я тебя чем-то обидел, прости – когда страсть увлекает тебя целиком, мечтаешь, что женщина уступила бы нашим желаниям, отдала все, что более ценно, чем сама жизнь”. Чувствуется, что он испытывал настоящую страсть; он любил женщину, а не императрицу; он обращается к ней на “ты”, называет ее своей женой, потому что уже привык к этому и не может смотреть на нее иначе. Он говорит о назначенном свидании, мечтает, чтобы ночь была безлунной, так как только в темноте он может отважиться забираться по стене. Однажды он заболел и был вне себя, что не придет к ней. По-видимому, передавала письма и была посредницей некая М. Когда императрица еще носила свою Элизу, он умер в страшных мучениях; она узнала об этом, и в то время по ней действительно было видно, как тяжело она страдает и скорбит, о чем рассказывала мне императрица-мать».

Великий князь Николай Михайлович, племянник Александра и автор первой двухтомной биографии Елизаветы, рассказывает свою более романтическую версию: Охотников был убит на улице, когда поздно вечером возвращался из театра. В Петербурге винили младшего брата Александра, Константина, который решил таким способом восстановить честь семьи. (Александр в это время проигрывал сражение под Аустерлицем.) Но современные историки не согласны с великим князем. Они считают, что, вероятнее всего, виновницей гибели любовника Елизаветы Алексеевны была чахотка.

Сам великий князь Николай Михайлович пишет: «По нашему разумению, это кратковременное увлечение императрицы нисколько не умаляет ее симпатичного облика. Напротив того, увлечение это, столь страстное, более чем понятно. Ведь государыня была женщина, и притом молодая, неопытная, выданная замуж 14 лет от роду: жизни она не знала и знать не могла.