Приятельствовал барон и с первым директором Петербургской консерватории А.Г. Рубинштейном, и с известным виолончелистом К.Ю. Давидовым, и с скрипачом, профессором Л.С. Ауэром. Он оказывал материальную поддержку юным скрипачам Яше Хейфецу и Мише Эльману – они были стипендиатами Гинцбурга.

Но особенно продуктивно благотворительная и образовательная деятельность Горация Осиповича реализовалась в рамках «Общества для распространения просвещения между евреями России», председателем которого он стал после смерти отца. Так, в 1880 г. им был основан фонд для помощи еврейским студенткам. Впечатляющей была и издательская продукция просветителей. Увидели свет «Русско-еврейский архив» (под редакцией С. Бершадского, Т. 1-2; Спб., 1882), «История евреев» Г. Греца (Cпб., 1883) и др. Для изучения истории евреев России была создана особая Еврейская историко-этнографическая комиссия (преобразованная впоследствии в Еврейское историко-этнографическое общество). Именно она напечатала классический труд «Регесты и надписи» (Т. 1-3. Спб., 1899-1913), ставший настольной книгой каждого любителя еврейской старины. Была организована этнографическая экспедиция, собравшая уникальную коллекцию предметов национальной материальной культуры, – эта коллекция потом легла в основу музея («благополучно» закрытого при советской власти).

Велики заслуги Общества и в деле начального образования евреев. Были изданы «Сборник в пользу начальных еврейских школ» (1896), «Справочная книга по вопросам образования евреев» (1901). Выдавались субсидии как евреям-учащимся общих учебных заведений, так и непосредственно еврейским начальным школам. Общество содействовало и открытию новых школ, ставя условием преподавание в них религиозных предметов и языка иврит. Работа Общества значительно расширилась с открытием новых отделений в Москве (1894), в Риге (1898), в Киеве (1903). К концу жизни барона Общество насчитывало 30 отделений с семью тысячами членов; в его распоряжении находились 9 библиотек. В 1907 г. под патронажем Общества в Гродно были открыты двухгодичные педагогические курсы для подготовки кадров еврейских учителей.

Гораций Осипович незамедлительно отзывался на каждую еврейскую беду. Так, он молниеносно отреагировал на сообщение, пришедшее в 1878 г. из Кутаиси: группу евреев облыжно обвиняли здесь в ритуальном убийстве христианского мальчика. Барон не только нанял для ведения дела лучшего адвоката, но и вдохновил профессора восточного факультета Петербургского университета, выдающегося ориенталиста-семитолога Д.А. Хвольсона написать ученое сочинение по истории кровавого навета и опровержению его. Книга профессора «Употребляют ли евреи христианскую кровь?», изданная на средства Гинцбурга, – первое в России исследование по сему вопросу – была переведена на несколько европейских языков и имела широкий резонанс. В результате кутаисские евреи были оправданы, причем отвергнута была сама идея о ритуальном убийстве, допускаемом еврейской религией.

Приход к власти Александра III, круто изменившего политику в отношении евреев, отнял всякую надежду на какие-либо позитивные перемены.