Хозяева дворца обладали величием, ничуть не меньшим, чем здание. В семнадцатом веке Людовик, принц де Конде, являлся одним из наиболее выдающихся военачальников Европы. Вести о его победах приходили в Париж или Версаль из Испании, Голландии и Германии. Внук принца женился на дочери Людовика XIV и в 1723 году некоторое время был премьер-министром молодого Людовика XV; его знали под именем Дюк де Бурбон.

 Власть и влияние династии Бурбонов-Конде не знали границ. Ей даже удалось пережить Революцию и повторно утвердиться в империи Наполеона. В 1740 году в большом доме у Люксембургского парка обитал «мсье ле Дюк», так его называли при дворе. Жил он там вместе со своей женой принцессой Каролиной и четырехлетним сыном, принцем Луи-Жозефом де Бурбоном. Среди их приближенных во дворце Конде была молодая женщина, родственница принцессы. Звали ее Мари-Элеонор. Она носила почетный титул фрейлины. Мари-Элеонор могла похвастаться не только связями с домом Бурбонов-Конде, она также относилась к дальним потомком великого кардинала Ришелье. Ее муж, Жан-Батист, граф де Сад, служил в армии, а затем стал дипломатом. Штабной офицер, он, по слухам, принимал участие в каких-то тайных переговорах с англичанами, имевшими место в 1733 году, и с русскими. По крайней мере, официально Жан-Батист считался французским посланником при дворе кельнского курфюрста.

 Дипломатическая карьера графа де Сада сыграла немаловажную роль в повышении престижа его семьи в общественной жизни Франции времен Людовика XV. Спокойный и обходительный во всем, он и Мари-Элеонор относились к тому типу людей, от которых зависела крепость французской монархии и на кого молодой король мог опереться. Все же, несмотря на впечатление полной надежности, Жан-Батист, граф де Сад, в более стремительный век коммерческих выгод познал все превратности судьбы государственного служащего. Он все больше увязал в долгах и в качестве средства, способного вырвать семью из финансовых трудностей, видел выгодную женитьбу своего сына.

 Сам Жан-Батист и Мари-Элеонор сочетались браком в часовне дворца Конде 13 ноября 1733 года. На церемонии присутствовали принц и принцесса. Их первый ребенок, дочь, родилась в 1737 году и умерла в младенчестве. В 1739 году Мари-Элеонор снова забеременела. Когда муж ее по дипломатическим делам отбыл к кельнскому двору, она решила, что родить ребенка будет лучше во дворце Конде. Действительно, малыш Садов мог со временем оказаться подходящим партнером по играм юному принцу Луи-Жозефу. 2 июня 1740 года графиня де Сад родила сына, единственного ребенка, пережившего младенческий возраст. На другой день в церкви Сен-Сюльпис его крестили, дав имя Донатьен-Альфонс-Франсуа.

 Далеко на юг страны простиралось влияние семьи мальчика, к которой с почтением относилось не только государство, но и Церковь. Брат его отца, Ричард Жан-Луи де Сад, родившийся сразу после него, находился на действительной службе в Италии и являлся магистром Ордена Святого Иоанна Иерусалимского. Младший из двух братьев графа, Жак-Франсуа-Поль-Альдон, аббат де Сад, считался светским человеком, упражнявшимся в литературе. Жил он в Провансе. На раннем этапе жизни племянника аббат оказал на него наибольшее влияние. Четверо из сестер отца посвятили свою жизни религии. Габриелла-Лора стала аббатисой Сен-Лоран Авиньоне, в то время как Анна-Мари-Лукреция была членом ордена в том же городе. Габриелла-Элеонора отдала себя богу, став аббатисой Сен-Бенуа в Кавайоне, где Маргарита-Фелисите состояла членом ордена Сен-Бернар.