А положение Лагори в это время (1807 г.) ухудшилось. Его денежные средства истощились. Ощущение затравленности придавало его лицу напряженное выражение, челюсти его, «как у больного столбняком», все время судорожно сжимались. Всегда находясь в лихорадочном возбуждении, в тревоге, он жалел о тех днях, когда солдаты Свободы весело входили в баварские и тирольские города, и проклинал «тирана», которым был теперь уже не Людовик XVI, а император Наполеон. Когда Софи Гюго увидела, что ее другу нельзя больше появляться в Париже, где его подстерегает Фуше, что у нее скоро не будет денег для пропитания детей, она написала мужу, что готова послушаться его увещеваний и вернуться к нему. Однако он уже не хотел этого. «Я вовсе и не думаю требовать, чтобы ты приехала… Ты сама виновата, что у меня пропало желание жить совместно с тобой, тем более что я не имею прочного положения…» Нужда пишет свои законы. Софи не посчиталась с таким заявлением и в октябре 1807 года, не предупредив мужа, отправилась к нему в Италию.

Маленькому Виктору было тогда только пять лет, но он был очень впечатлительный и наблюдательный мальчик. Ему на всю жизнь запомнилось, как он ехал через всю Францию в дилижансе; запомнился перевал Мон-Сени и то, как хрустели льдинки под полозьями саней, как подстрелили орла, как останавливались на привал, чтобы поесть, а главное, запомнились ему висевшие на деревьях обрубки человеческих тел, еще красные от крови; вместе с братьями он смотрел на них в окошко кареты, на которое они налепили от скуки крестики из соломинок. Ужас, который внушали ему смертная казнь, пытки и виселицы, антитеза – виселица и крест, – все эти мысли, преследовавшие его до самой смерти, первые свои корни пустили в его душе еще в детстве, пищу им дали сильные впечатления ребенка.

Госпожу Гюго, любившую бретонские сады больше, чем пышные цветы Юга, занимали только поиски пристанища, но дети были очарованы Неаполем, «сверкающим на солнце в белом своем одеянии с голубой бахромой…». А с какой гордостью они увидели в конце своего путешествия отца, встретившего их в полковничьем парадном мундире, да почувствовали, что они сыновья губернатора и принадлежат к стану победителей:

По правде сказать, полковника Гюго, проживавшего в губернаторской резиденции совместно с девицей Тома, ошеломил нежданный приезд жены, но он был славный человек, он любил своих сыновей. Семью он устроил в Неаполе и на несколько дней открыл ей двери своего дома в Авеллино, предварительно выпроводив оттуда Катрин Тома.

Каждый ребенок живет в волшебной сказке, но сказка первых лет жизни Виктора Гюго кажется особенно волшебной. Три мальчика, три брата, живут в Италии в старинном дворце, мраморные стены которого испещрены трещинами, неподалеку глубокий овраг, и в нем густая тень от орешника. В школу ходить не надо – полная свобода, атмосфера летних каникул (прелесть ее Гюго любил всю жизнь), всемогущий отец; дети почти и не видели его, но время от времени он появляется и для забавы своих сыновей готов скакать верхом на своей длинной сабле в ножнах, а во дворе его всегда почтительно ждут всадники в блестящих касках; отец, которого любит брат императора, король Неаполитанский; отец, который приказал занести в списки своего полка маленького Виктора, и с этого дня малыш считал себя солдатом. Дети с восторгом запускали руки в густую бахрому золотых отцовских эполет. В письмах полковник с любовью говорил о своих сыновьях: «Виктор, самый младший, выказывает большие способности к ученью. Он такой же положительный, как старший брат, и очень вдумчивый. Говорит он мало и всегда уместно. Меня не раз просто поражали его рассуждения. Личико у него очень кроткое.