Но не в том была истинная причина. Между полковником и его женой не произошло примирения. Девица Тома и Виктор Лагори слишком хорошо были видны на горизонте. Любовница требовала, чтобы супруга уехала; супруга отказывалась играть роль любовницы. Дети угадывали, что в семье идет какая-то таинственная борьба, но весьма смутно понимали из-за чего. Они гордились отцом и сознавали, что он чем-то обидел обожаемую ими мать. Все трое с грустью простились с мраморными дворцами. В Италии они вновь встретились с обоими детьми Пьера Фуше, приятеля их отца. Секретарь трибунала выхлопотал себе временное назначение инспектором по поставкам провианта в Италию. В Париже к этому времени число судебных процессов сократилось, уменьшились и доходы судейских канцелярий, и Пьер Фуше мечтал о военных поставках, на которых люди наживали тогда состояния. Маленькому Виктору Фуше было в ту пору пять лет, его сестре Адели – четыре года. Это была рассеянная и мечтательная малютка, «с челом, позлащенным лучами солнца, со смуглыми плечиками». Три мальчика Гюго приняли ее в свою компанию, вместе играли в шары, которые заменяли апельсины. Но госпожа Фуше, равнодушная к ярким краскам Неаполя, сожалела об улице Шерш-Миди и тенистом саде при Тулузском подворье. Семейство Фуше уехало из Италии почти в то же время, как и госпожа Гюго со своими сыновьями. Мальчикам все равно не пришлось бы долго оставаться в Неаполе, так как Леопольд Гюго вскоре после их отъезда был вызван в Мадрид Жозефом Бонапартом, возведенным в сан «короля Испании и обеих Индий». Император перемещал монархов, как перемещают полковников. Леопольд Гюго отказался от всяких попыток вернуть себе свою жену, но не отрекся от забот о своих детях. «Совесть у тебя спокойна. И мне тоже не в чем упрекнуть себя, но, чтобы оправдать одного из нас, нужно было бы возложить всю вину на другого. Предоставим времени затушевать воспоминания о сложившихся роковых обстоятельствах. Воспитывай детей в должном уважении к нам обоим, дай им надлежащее образование, старайся, чтобы они способны были когда-нибудь приносить пользу. Отдадим им всю свою привязанность, ибо мы-то уже убедились, как нам вместе трудно ужиться…» В этом письме есть и чувство достоинства, и некоторая доброта. Рубака с длинной саблей был человеком душевным.

Париж, февраль 1809 года. Госпожа Гюго, которая могла теперь рассчитывать на три, а вскоре и на четыре тысячи франков содержания, высылаемого ей мужем, наняла в доме № 12 на улице Фельянтинок просторную квартиру в первом этаже здания старинного монастыря, основанного Анной Австрийской. Гостиная, почти что дворцовый покой, «полная света и пения птиц», имела величественный вид. Над стенами ограды возвышался Валь-де-Грас с изящным своим куполом, «похожим на тиару, завершавшуюся карбункулом». При доме был огромный сад – «парк, лес, поляны… аллея, обсаженная старыми каштанами, где можно было повесить качели, высохший водосборный колодец, весьма пригодный для игры в войну. Множество цветов… девственный лес в воображении ребенка». Здесь мальчики на каждом шагу делали открытия. «Знаешь, что я нашел?» – «Ты ничего не видел? Вон там, вон там!» Радость усиливалась, когда в воскресенье приходил из лицея Абель и братья показывали ему этот рай. «Я вспоминаю себя ребенком, смеющимся румяным школьником, когда я играл, бегал, смеялся со своими братьями в длинной аллее тенистого сада, где протекли первые годы моей жизни, в старой усадьбе монахинь, над которой возвышался свинцовой своей главой мрачный купол собора Валь-де-Грас…»

Этот «священник-старичок», отец Ларивьер (точнее, де ла Ривьер), был монах-расстрига, женившийся в годы Революции на своей служанке, так как предпочитал лучше «расстаться с обетом безбрачия, чем со своей головой».