Здание под номером 12, сохранившееся до наших дней, относится к концу XVIII века. Его отличал великолепный сад, выкорчеванный ради установки ныне снятого памятника М. И. Калинину работы скульптора Б. И. Дюжева. Открытый в апреле 1978 года грузный бронзовый монумент в настоящее время заменен торговым павильоном. Восстанавливать сад никто не стал.

Оставшееся в глубине палисадника с фонтаном здание под номером 14 — произведение одного из интереснейших московских зодчих — Романа Ивановича Клейна. Выученик Петербургской академии художеств, в дальнейшем несколько лет стажировавшийся в Париже, Клейн известен также своей преподавательской работой в Рижском политехническом институте и Московском высшем техническом училище (ныне — МГТУ им. И. Э. Баумана). В Москве по его проектам построены Государственный музей изобразительных искусств им. Пушкина, здание универсального магазина «Мюр и Мерилиз» — ныне ЦУМ, «Чайный дом» С. Перлова на Мясницкой, Средние Торговые ряды на Красной площади и в 1912 году Бородинский мост-памятник Отечественной войне 1812 года.

Особняк был построен по заказу А. А. Морозова, промышленника и предпринимателя. С начала XX века его хозяйкой стала Варвара Алексеевна Морозова, входившая в руководство Товарищества Тверской мануфактуры. Много писалось о ее литературном и общественном салоне, не меньшее значение имела и широчайшая благотворительная деятельность Варвары Алексеевны. Она входит в Благотворительное общество при психиатрической клинике имени Морозова, Общество для пособия нуждающимся студентам при Московском университете, в Попечительский совет при Народном университете имени Шанявского, Городское попечительство о бедных, Общество вспомоществования нуждающимся студентам Императорского технического училища, Городской библиотеки — бесплатной читальни имени И. С. Тургенева. Она попечительница Городского ремесленного училища, носящего ее имя, и Рогожского городского начального женского училища. Это Варваре Алексеевне принадлежат слова: «Деньги схватить, коли случай подвернется, и дурак сумеет. А вот смысл им придать, человеческий смысл — такое искусство, как дар Божий, немногим дано».

Гостями В. А. Морозовой бывали А. П. Чехов, В. Я. Брюсов, К. С. Станиславский, В. И. Немирович-Данченко, В. Г. Короленко, Г. И. Успенский. В 1905 году Морозова предоставила свой особняк лекторской группе МК РСДРП. Среди выступавших с докладами были историк М. Н. Покровский, И. И. Скворцов-Степанов, историк, публицист и экономист, работавший учителем в Городском училище на Арбате.

В советские годы особняк Морозовых последовательно занимали Институт социальной гигиены, Международный аграрный институт во главе с известным болгарским коммунистом Василием Коларовым, Комиссия партийного контроля при ЦК КПСС. С 1959 года в нем располагался Союз обществ дружбы и культурных связей с зарубежными странами.

Соседний особняк, известный в Москве под названием «Мавританского замка», был построен по заказу А. А. Морозова на подаренной ему матерью земле. Архитектурный облик дома, привлекающий туристов сегодня, вызвал искреннее негодование В. А. Морозовой. По словам современников, она бросила в гневе сыну: «То, что ты дурак, все знали в семье, а теперь узнала вся Москва». Не менее возмущенно откликнулся на появление этого здания и Л. Н. Толстой в XII главе второй части романа «Воскресение»: «глупый, ненужный дворец какому-то глупому и ненужному человеку».

Возможно, именно поэтому Морозов-младший доверил свой замысел — «фантазию на мавританский стиль» с использованием мотивов португальского замка Синтра — неизвестному архитектору.