Элизе-Бурбон был дочиста разорен повстанцами, и его реставрация требовала куда больше средств, чем могла себе позволить его хозяйка. Тогда она решила сдать первый этаж здания семейной паре по фамилии Орвен. Они были зажиточными предпринимателями и решили использовать помещения дворца по-своему. Если раньше Елисейский дворец сиял почти королевским лоском, то теперь он превратился в место проведения публичных балов (стоит отметить, что во время Революции в его залах располагалась сперва типография, а затем – аукцион). И что это были за публичные балы! Сплошь полуодетые девицы легкого поведения да солдаты! Они пили, плясали, предавались плотским утехам, и, если бы не жуткие сквозняки, Елисейский дворец вполне можно было бы назвать домом терпимости.

Для того чтобы вернуть старинному особняку д’Эврё былые вид и достоинство, нужна была мощная авторитетная личность с отменным вкусом. И этой личностью стал Наполеон I. Так, 6 августа 1805 года особняк перешел во владение Иоахима Мюрата, маршала Франции и зятя императора (мужа его сестры Каролины). На этот раз дворец назвали… «Элизе-Наполеон». За его реставрацию взялись лучшие декораторы того времени – Персье и Фонтэн. Вскоре дворец вновь обрел свое прежнее великолепие. Жена Мюрата частенько принимала здесь своих любовников, когда мужа не было дома. И делала это, нисколько не таясь.

Как-то раз, например, став любовницей генерала Жюно, губернатора Парижа, она отправилась вместе с ним в театр. После спектакля они, сгорая от нетерпения, поехали прямиком в Елисейский дворец, и Каролина даже не распорядилась убрать губернаторскую карету из-под окон спальни… Там она простояла всю ночь у всех на виду, так что на следующий день ни у кого не осталось никаких сомнений по поводу того, где остался Жюно на ночь и чем он занимался! По странному стечению обстоятельств жена Жюно Лаура оказалась запертой в карете. Однако она нашла способ отомстить своему супругу, уединившись с австрийским послом Меттернихом, который, к слову, был бывшим любовником Каролины.

Когда в 1808 году эксцентричная чета Мюратов взошла на престол Неаполя, дворец перешел непосредственно к Наполеону, который передал его своей жене Жозефине после того как развелся с ней. Однако бывшая императрица во дворце практически не жила и была его хозяйкой всего какую-то пару лет.

В 1815 году, после битвы при Ватерлоо, в Елисейском дворце ненадолго обосновался царь Александр I, а его армия разбила лагерь прямо на участке.

Временно в Елисейском дворце жили и молодые супруги герцог де Берри и Мария-Каролина Неаполитанская. На территории дворца герцогиня устроила свой маленький двор, такой же радостный и веселый, как и она сама. Но счастье это длилось недолго: ее супруг трагически погиб от ножа Лувеля, и юная безутешная вдова не смогла больше находиться во дворце.

Следующим владельцем стал принц Луи-Наполеон, тогда еще первый президент Второй республики. Однако, став императором, он тоже оставил Елисейский дворец и обосновался в Тюильри.

С уходом Наполеона III Республика вновь вступила в свои права, теперь уже навсегда. Окруженные золотым убранством дворца, со временем слегка запылившимся, один за другим сменялись президенты. Некоторые там же и умерли: Сади Карно, заколотый Казерио, суровый и неподкупный Поль Думер, застреленный Горгуловым. Среди них также был и знаменитый Президент-Солнце Феликс Фор, угасший на руках своей любовницы, прекрасной мадам Стенель.

Другие привносили в эти стены свою доброту, ум, талант… или же вовсе ничего не привносили…

Супруга Венсана Ориоля, первого президента Четвертой республики, положила начало новой эры – внутренним строем Елисейского дворца стала заправлять женская рука. Мадам Ориоль славилась своим чувством вкуса и элегантностью, а потому имела некоторый авторитет. Прежде всего она распорядилась убрать с территории дворца отвратительную стеклянную перегородку, которая портила фасад здания и занимала большую часть парадного двора.