В 1803 году батальон перевели на остров Эльбу, и только там, в Портоферрайо, госпожа Гюго соединилась наконец со своей семьей. Муж настойчиво звал ее: «Все удивляются, что ты не приезжаешь и что дети оставлены на меня. Уже начались всякие толки…» Софи хорошо знала, зачем она едет, – увезти в Париж троих своих сыновей, которых она обожала, и встретиться там с Лагори. Она рассчитывала добиться согласия майора, полагая, что при его пылкости, хорошо ей известной, он, должно быть, уже завел любовную интригу и захочет получить свободу. И действительно, как только госпожа Гюго приехала, добрые души оповестили ее, что майор сошелся на острове с девицей Катрин Тома́, отец которой служил экономом в госпитале, но был уволен за растрату. Хоть Софи и сама была виновата перед мужем, она проявила негодование, отвергла любовные домогательства Гюго и уехала обратно в ноябре 1803 года. В Портоферрайо она прожила меньше четырех месяцев.

В дальнейшем она заявляла, что муж совсем не уговаривал ее остаться, что он желал получить свободу, чтобы сожительствовать с любовницей. Несомненно, майор Гюго был слаб перед плотскими соблазнами. И все же он предпочел бы любовницам свою жену, если б она сделала терпимой совместную жизнь. Но конфликт между женой и мужем исходил из разницы темперамента.

Майор Гюго – жене, 8 марта 1804 года

Прощай, Софи. Помни, что меня точит червь, желание обладать тобой; помни, что в моем возрасте страсти отличаются особой горячностью и что, хоть я и ропщу на тебя, я чувствую потребность прижать тебя к своему сердцу…

Если б жена вернулась раньше, утверждал майор, он никогда бы ей не изменил: «Да, я хочу принадлежать тебе одной, но, чтобы принадлежать тебе одной, нужно, чтобы я никогда не испытывал холодности с твоей стороны и ты никогда бы не отталкивала меня. А иначе лучше уж жить раздельно…»

Это еще не был полный разрыв. Леопольд Гюго любил своих сыновей, он признавал свои ошибки, но ответственность за них возлагал на жену:

Можно ведь в моем возрасте и с моим, к несчастью, пылким темпераментом иной раз и забыться, но в этом всегда виновата была ты сама… Я еще слишком молод, чтобы жить в одиночестве, слишком крепок здоровьем, чтобы меня не влекло к женщинам; я люблю, скажу больше, я буду по-прежнему обожать свою жену, если моя жена пожелает признать, что мне необходима ее любовь и ее ласки. Но я могу быть благоразумным только близ своей жены; итак, дорогая Софи, я думаю, что гораздо лучше было бы для меня произвести с тобою на свет еще одного ребенка, чем бросить тебя ради другой женщины, и знать, что дети мои растут вдали от любящего взора отца. Я чувствую в себе достаточно душевных сил, чтобы составить счастье той, которая пожелает судить обо мне без предубеждения; в смысле телесном (скажу по секрету только тебе одной) я никогда еще не чувствовал себя так хорошо, как сейчас; в смысле образования я много приобрел за время твоего отсутствия…

Обезоруживающая откровенность, которая могла бы тронуть, но Софи любила другого. На обратном пути в Париж, очень долгом и трудном, она радовалась, что покажет Лагори троих своих сыновей: крепыша Абеля, белокурого кудрявого Эжена и нежного, чувствительного малыша Виктора. Когда экипаж остановился на улице Нотр-Дам-де-Виктуар, у конторы почтовых карет, она была удивлена, что не видит Лагори, которого она известила о своем возвращении. Она побежала в резиденцию генерала. На двери были наклеены два объявления. В них сообщалось, что разбойники-роялисты покушались убить первого консула; народ Парижа призывали доносить на их сообщников и содействовать их аресту. Далее приводился список заподозренных лиц. Среди них Софи прочла: Виктор Клод Александр Фанно Лагори.

Она была потрясена, но не удивлена. Что Моро участвовал в заговоре против Бонапарта, что он называл Конкордат «поповщиной» и отказался от ордена Почетного легиона, что он окружил себя иностранцами, эмигрантами и идеологами роялизма, что его теща и жена явно ему содействовали – все это Софи знала еще до своего отъезда.