Даже будучи в плену «бархатных оков» и намерения долго тут не оставаться, Наполеон был постоянно занят — он пересматривал законы и улучшал их, изучал условия общественной жизни. Затем он приказал привезти и посадить деревья шелковицы и благоустраивал дороги. В каштановых рощах Сан-Мартино он велел построить для себя летнюю резиденцию из белого камня и приобрел забавный небольшой деревянный домик в четыре маленькие комнатки на самой высокой точке острова. Он был расположен под распростертыми гранитными крыльями утеса под названием Орел Марциано, и этому месту он дал имя Эрмитаж .

В то время он больше всего хотел, чтобы на остров пожаловала его жена и маленький сын — король Рима. Его желание поддерживало все население острова Эльба. Ходили слухи, что Мария Луиза собирается его навестить, и когда судно из Неаполя пришвартовалось в порту и ранним вечером с него сошли примерно с десяток людей, зеваки в порту решили, что белокурая молодая женщина и идущий рядом с ней маленький лет трех мальчик и были долгожданными родственниками Наполеона.

Вновь прибывших уже ждали карета и несколько оседланных коней. Они не стали останавливаться у дома Наполеона возле порта, а повернули на извилистую дорогу, ведущую в глубь острова. Наполеон следил за ними, и вскоре они встретились. Карета остановилась у места, где было сравнительно прохладно и стояли две палатки. Потрясающе красивая молодая блондинка с яркими синими глазами должна была жить в одной из них. Мальчик должен был жить в другой вместе со слугами и нянюшками.

Час был поздний, но Наполеон и прекрасная дама уселись в кресла перед палатками и несколько часов проговорили приглушенными голосами. Население острова так никогда и не узнало, что молодая красавица не была его женой-императрицей, а была его польской любовницей Марией Валевской, а малыш был их трехлетним сыном Александром. Мария Валевская приехала, чтобы доказать Наполеону свою преданность и любовь, она решила находиться вместе с ним в изгнании.

Именно об этом Мария говорила с Наполеоном до поздней ночи, а утром обсуждения возобновились. Ему было приятно слышать ее рассуждения о верности и любви, но его терзали сомнения. Он все еще надеялся, что Мария Луиза наконец разделит с ним изгнание и приедет на Эльбу. Кроме того, он решил не давать австрийской жене повода держать подальше от Наполеона его сына, короля Рима.

Наконец Наполеон и Мария Валевская решили, что ей не стоит тут оставаться. На следующий день процессия в карете и верхом отправилась в порт, где ждал их корабль. Процессия следовала днем, и население острова собралось на улицах вдоль дороги, чтобы полюбоваться красавицей. Все решили, что она более красива, чем ее описывали по слухам, «жена» Наполеона выглядела такой благородной и достойной женщиной.

Наполеон наблюдал за отплытием с вершины утеса и удалился в «Эрмитаж» в дурном настроении.

Когда Наполеон удрал с Эльбы, Мария Валевская еще раз доказала ему свою верность и любовь. После его триумфального возвращения в Париж, она приехала туда и поселилась в доме, который ей подарил Наполеон несколько лет назад. Она отправилась к нему, Наполеон был в то время очень занят — он готовил программу Ста дней. Бледный и напряженный Наполеон сидел за столом, перед ним высились кипы бумаг, а на полу валялось множество карт кампании. Маршал Даву присоединился к нему и взял на себя обязанности военного министра, но император, как всегда, хотел войти сам во все детали.

Его желает видеть дама? Никаких дам!

Но ему сообщили, что это графиня Валевская. Император передал: он рад, что она здесь, но в данный момент он не может ее принять.

Валевская вернулась еще раз, и снова Наполеон не смог с ней поговорить — в комнате было полно народу, а на полу снова валялись карты.