Герцог Виктор, ее муж, придерживался либеральных воззрений, защищал маршала Нея на судебном процессе и энергично выступал против торговли неграми. Вскоре, разочаровавшись в Бурбонах, он переметнулся к Орлеанам, что впоследствии позволило ему занять несколько министерских постов и даже стать председателем Совета министров. В те времена в замке перебывало множество других нормандских аристократов-ученых: то были Токвиль и Гизо, и многие другие; а также Руайе Коллар из Шампани. Воспоминания о всех этих посетителях бережно хранятся в замке Валь-Рише, что в Оже. Незадолго до своего поступления во французскую академию в 1856 году герцог Виктор удалился в свои родовые владения, чтобы посвятить себя воспоминаниям. Его сын, герцог Альберт, стал членом этой славной, академии всего через шесть лет после отца, благодаря написанному им труду «Церковь и Римская империя в IV веке». Этот ученый эрудит сделал политическую карьеру, став послом в Лондоне, а затем в 1872 году — главой монархической оппозиции в парламенте, попытавшейся возвести на престол графа Шамборского.

Несмотря на неприятные интонации речи, он был великолепным оратором. «Он крепкий орешек, так что сражаться с ним — одно удовольствие», — говаривал Гомбетта. Женившись на Полине де Галар-Беарн, он имел от нее четырех сыновей, один из которых, принц Амадей, взял в жены Марию Сей.

После смерти своей жены он почти не покидал замка, в котором вел уединенный образ жизни, придерживаясь самого изысканного стиля. Каждый вечер он ужинал во фраке в полном одиночестве в приемной зале, и ему прислуживал его старый метрдотель. То была единственная роскошь, которую он себе позволял, поскольку большую часть своего состояния отдавал на благотворительность, почти ничего не оставляя себе. Спал он в библиотеке замка, которая, впрочем, была одной из самых богатых библиотек замка. Покидал он замок очень редко, когда же направлялся в Париж, то брал билет в третьем классе.

Умер он 21 января 1901 года — в годовщину смерти Людовика XVI. Замок и титул герцога унаследовал его старший сын Альфонс, к которому перешли также 1700 гектаров земли и многочисленные фермы. Его дочь, Полина, ставшая графиней де Памж, известной писательницей, удостоенной премии «Фемина», описала свои впечатления при посещении родового гнезда после длительного перерыва.

«Слуги, как угорелые, носились по всему громадному зданию, приводя его в порядок после многомесячного запустения — ведь старый герцог доживал свои дни в Париже на рю Сольферино. Просторная приемная была погружена во мрак, портреты знатных предков слабо освещались массивными керосиновыми лампами, мерно покачивавшимися у самого потолка. Улыбающаяся Альбертина де Сталь в изящном тюрбане вызвала во мне самую большую симпатию».

Да, к тому времени роскошные приемы, которые некогда устраивались в этом замке, остались в далеком прошлом, превратившись в предмет мифологии и семейной гордости: действительно, именно здесь маршал де Брольи (последний из трех) принимал в 1777 году императора Австрии Иосифа II, брата Марии-Антуанетты, в 1782 году некоего графа Северного, под этим псевдонимом путешествовал по Европе сын Екатерины Великой Павел.

Библиотека в сорок тысяч книг вызвала особый интерес юной Полины. «Книжные полки от пола до высочайшего потолка! Они покрывают все четыре стены комнаты. Днем, когда она хорошо освещена солнцем, лучи света причудливо играют на позолоте книжных корешков, инкрустации старинной мебели и паркете. Эта игра света производит уникальное впечатление. Три высоких окна открывают вид на дорогу. По миниатюрной винтовой лестнице можно подняться на галерею, расположенную у самого потолка, оттуда открывается идеальный обзор всех книжных полок.