Тем временем в Марселе маленький Виктор, прежде времени отнятый от груди, был доверен Клодине, жене отцовского денщика. Майор Гюго, возведенный в чин отца-кормильца, опекал трех своих сыновей, воспитывал их, как мог, и все заверял Софи в своей супружеской любви: «Я велел им поцеловать твое письмо и дал им от имени обожаемой мамы конфет… Хоть я и молод, а в этом городе царят соблазны, не бойся ничего… Ты увидишь меня достойным твоих целомудренных поцелуев…» Доверчивый супруг, терзаясь долгим отсутствием жены, старался успокоить себя. «Ни одна женщина не любит мужа сильнее, чем ты, я был бы очень несчастен, если бы тут ошибался…» Самый склад фразы доказывает, что у него имелись сомнения на этот счет. Первого января 1803 года он пишет своей Софи о детях: «Сегодня Абель пришел ко мне с поздравлением, а толстяк Эжен, стоя за ним, повторял его слова. Оба были такие забавные!.. Если ты предвидишь, что старания твои бесполезны, сократи время моего вдовства, возвращайся, чтоб утешить меня. Раз уж нельзя отвратить беду, я буду менее несчастным, если буду царить над тобой…»

В июне 1803 года Виктор, которому было тогда шестнадцать месяцев, потребовал, по словам майора, свою «мам-ма». А на самом-то деле он совсем ее не знал. Госпожа Гюго была тогда в замке Сен-Жюст, близ Вернона, в обществе Лагори, попавшего в немилость. «Клуб Моро» продолжал открыто поносить Бонапарта, и тот покарал смельчаков. Несмотря на ходатайства Софи перед Жозефом Бонапартом, майора Гюго послали на Корсику. С тремя маленькими детьми он отплыл на корабле в Бастию, старинный город с высокими угрюмыми домами. «Возвратись, моя дорогая Софи, в объятия твоего верного Гюго… – писал он жене. – Будь спокойна за мою верность. Помимо того, что здесь опасно ухаживать за женщинами, ибо, кроме возможности подхватить какую-нибудь болезнь, следует еще остерегаться ударов стилета, в душе моей не угасает воспоминание о тебе, не меркнет твой дорогой образ, и я не могу причинить тебе огорчение, зная, что кара, грозящая мне, станет для меня смертельной мукой…» Кара, однако, предшествовала проступку; госпожа Гюго едва отвечала на письма, а покинутый отец должен был заботиться о малыше, у которого прорезывались зубы. «Он напоминал легендарного воина, – говорил Сент-Бёв, – великана, который собрал в свой шлем трех пухленьких малюток с ангельскими личиками и без труда несет их в походе от привала к привалу, проявляя о них материнскую заботу».

Абель ходил в школу; Эжен, толстяк с румяными щечками и белокурыми кудряшками, был любимцем всех дам; Виктор оставался хилым и грустным ребенком. У него была огромная голова, слишком большая для его худенького тельца, и от этого он казался уродливым карликом. «Часто бывало, что он забивался в какой-нибудь уголок и молча проливал слезы, никто не знал почему…» Отец доверил его женщине, которая должна была водить его гулять; с первых же дней мальчик невзлюбил ее. Он сердился, что она не умеет говорить по-французски, он называл ее «cattiva» – злая. Можно представить себе, что творилось в сердце этого ребенка, оставленного матерью, этого чахлого малютки, совсем не похожего на двух старших братьев-крепышей. Так закладывалась основа мрачного характера, которая будет проглядывать сквозь необыкновенную жизненную силу Виктора Гюго.

В 1803 году батальон перевели на остров Эльбу, и только там, в Портоферрайо, госпожа Гюго соединилась наконец со своей семьей.