В 1804 году Луи Бонапарт был введен Наполеоном в состав Государственного совета, в 1805 году — стал мэром Парижа.

В январе 1805 года Наполеон в последний раз предложил усыновить ребенка брата и под именем Наполеона II сделать его королем Италии. Луи оставался непреклонен. Тогда 5 июня 1806 года Наполеон возвел брата на трон короля Голландии. Тот оставался непреклонным.

По этому поводу Пьер де Лакретель писал:

В течение трех лет Наполеон и Луи вели между собой борьбу, в которой Гортензия ни на секунду не прекращала поддерживать свояка в его борьбе против мужа. Кроме того, когда люди видели эту странную любовь, которую Наполеон питал к племяннику, походившему на него так, как бывает похож на отца сын, когда все видели, как он раздает короны братьям, чтобы их обезоружить, когда становятся известными все уловки, к которым он прибегал в надежде обеспечить трон этому ребенку, то это уже никак не похоже на действия главы рода, думающего о судьбе династии, а скорее, на поступки отца, желающего любой ценой вернуть себе сына. Но ему пришлось потерпеть поражение, поскольку Луи, готовый пойти на любой скандал, решил отомстить за комедию, которую разыграли по его мнению Жозефина, Наполеон и Гортензия, задев его честь.

Наполеон очень любил этого ребенка. По воспоминаниям мадмуазель де Авийон, он играл с ним, ползал перед ним на четвереньках, мазал ему личико конфитюром. Их внешнее сходство было поразительным. Генерал Тьебо писал, что этот ребенок «был настоящим Наполеоном, в то время, как все остальные сыновья Гортензии были просто Бонапартами».

Отношения Гортензии и Луи совсем не клеились. Луи изводил Гортензию допросами и подозрениями в измене. По словам Десмонда Сьюарда, он «ежевечерне являлся к ее постели и требовал от нее признания в содеянных грехах».

В довершение всех несчастий ее ребенок Наполеон-Шарль прожил всего четыре с половиной года: он умер от дифтерии в ночь с 4 на 5 мая 1807 года. Его тело было перевезено из Голландии в Париж в Собор Парижской Богоматери (после Реставрации его перевезли в замок Сен-Лё, купленный в сентябре 1804 года).

Горе Гортензии не поддавалось описанию. Для Наполеона это тоже стало большим потрясением. Он писал о своих чувствах к несчастному ребенку всем: двадцать раз Жозефине, пять или шесть раз Гортензии, братьям Жозефу и Жерому, Фуше, Монжу и многим другим. Но, как писал Фредерик Массон, «если бы он без конца предавался горю, он не был бы самим собой. Он изменил бы тому философскому взгляду на жизнь, к которому приучило его непрерывное жестокое зрелище войны, где смерть — постоянная спутница, где только живые входят в наличный состав и принимаются в расчет».

А новые живые к тому времени уже появились. 13 декабря 1806 года у Наполеона родился внебрачный сын от Элеоноры Денюэль, еще одной выпускницы пансиона мадам Кампан. Здесь «чистота эксперимента» была соблюдена полностью, за этим лично следила подруга Элеоноры и сестра Наполеона Каролина Мюрат, ненавидевшая, как и все члены клана Бонапарта Жозефину и желавшая навредить ей. Первая «случайная» встреча Наполеона с прекрасной Элеонорой состоялась в январе 1806 года сразу после Аустерлицкого триумфа. После этого Каролина поселила Элеонору во флигеле своего дома, запретив ей выходить в свет, и Наполеон несколько раз тайно посещал ее там. Зачатие в конце концов состоялось, и его источником совершенно точно был Наполеон, который теперь был совершенно убежден в том, что он не бесплоден, и начал подумывать о разводе с Жозефиной. Кстати сказать, родившийся мальчик получил имя Леон, составлявшее ровно половину имени Наполеон, и он поразительно был похож на императора.