Женился он по меркам семьи Гинцбургов довольно поздно – в 26 лет, взяв в супруги свою двоюродную сестру Матильду Уриевну Гинцбург, которая была младше его на семь лет. Бракосочетание и свадьба с традиционной хупой состоялись в Париже. В этом браке родилось пятеро детей: Анна, Иосиф-Евзель, Марк, Софья и Евгений. Все они (кроме Марка, который скончался в детском возрасте) переживут потом революцию и эмигрируют: Анна и Иосиф-Евзель – во Францию, Софья – в Палестину, а Евгений – в Аргентину.

Научно-просветительская деятельность барона была весьма продуктивна. Среди опубликованных им многочисленных трудов – первоиздание книги «Сефер ѓа-’анак: Таршиш» («Книга ожерелья: Хризолит») (1886) знаменитого еврейского средневекового поэта, философа и лингвиста Моше Ибн Эзры, а также комментированный арабский перевод этого произведения (1887). В 1896 г. увидел также свет сборник «Диван» Ибн Гузмана, поэта-мусульманина XI века из Кордовы.

Но, пожалуй, наиболее впечатляющим было предпринятое Д. Гинцбургом совместно с художественным критиком В.В. Стасовым издание “L’ornement hebreu...” («Древнееврейский орнамент») (1905). Этому роскошно изданному альбому с образцами орнаментов, извлеченных из сирийских, йеменских, африканских еврейских рукописей, предшествовала двадцатилетняя подготовительная работа с манускриптами Императорской Публичной библиотеки. Деятельное участие в этом проекте Стасова замечательно и весьма поучительно для нынешних «патриотов». Вот что говорит по этому поводу исследователь А. Канцедикас: «Для Стасова поиск национальной самобытности еврейского искусства был тесно связан с основной задачей его культуртрегерской деятельности – изучением и внедрением в современную ему художественную практику самобытных основ искусства русского. Это может показаться парадоксальным, так как активизация русского национального чувства сегодня часто соседствует с проявлениями антисемитизма».

Библиография работ Давида Горациевича весьма внушительна. Он печатался в наиболее авторитетных научных журналах и сборниках его времени. То он публикует очерк по истории каббалы в журнале «Вопросы философии и психологии», то помещает в «Журнале Министерства народного просвещения» обширную статью о первой еврейской школе в Сибири. Его охотно печатают такие еврейские издания, как “Revue des Etudes Juives”, “Hameliz”, “Hajom”, “Hakedem”, «Восход» и др., а также редакторы юбилейных научных сборников в честь именитых ученых – профессоров В.Р. Розена, Д.А. Хвольсона, А.Я. Гаркави, Л. Цунца, М. Штейншнейдера и др. Барону принадлежит такой фундаментальный и поистине титанический труд, как каталог и описание рукописей Кабинета восточных языков при Министерстве иностранных дел.

При этом следует иметь в виду, что далеко не все, написанное Гинцбургом, увидело свет при его жизни. Приведенная выше книга о поэзии Лермонтова вышла лишь в 1915 г. А составленная им «Хаггада шель Песах» (сборник молитв, благословений, комментариев к Библии и песен, связанных с темой исхода из Египта) была опубликована лишь в 1962 г.

Об уникальной библиотеке, собранной тремя поколениями баронов, уже шла речь. Коллекция была передана Давиду еще при жизни отца и в 1880-е гг. была свезена в Петербург, в дом барона на Первой линии, № 4, частично из Каменец-Подольского (где ей было положено начало), частично из Парижа (где с 1850 годов находилось самое ценное ее собрание).