Арбат неуклонно терял свой былой дворянский облик. В 1873 году приобретший владение купец Дмитрий Федорович Орлов строит по улице справа двухэтажный каменный дом, примыкающий к особняку. Об архитектурном облике городской усадьбы никто не заботится. В свою очередь сыновья и наследники купца – Михаил и Дмитрий Дмитриевичи Орловы застраивают трехэтажным доходным домом левую сторону владения и надстраивают третий этаж над правой частью. В дальнейшем усадьба остается в руках их сестры М. Д. Орловой вплоть до событий Октября.

За это время здесь меняется множество арендаторов. В 1897 году в главном доме помещалось «скульптурное заведение» Ивана Александровича Орлова, в течение 1900-х годов – книжный магазин Дмитрия Померанцева, магазин «Живые цветы» Бауера, магазин «Музыкальные инструменты и ноты» П. Пинка, табачный магазин, магазин «Зонты и трости». Наряду с ними существовали и жилые квартиры. Среди жильцов можно назвать профессора консерватории по классу фортепьяно Анну Павловну Островскую и в 1927 году писателя Ивана Ивановича Катаева, одного из руководителей литературного объединения «Перевал», подвергшегося в дальнейшем жесточайшим репрессиям.

Родительский дом… Суворов никогда не пускался в воспоминания. Иногда разве упрекал отца, что жалел денег на образование детей, не тратился на учителей и учебные заведения. Будучи самоучкой, Василий Иванович придерживался убеждения, что насильно мил не будешь и из-под палки знаний не приобретешь. Только свободная воля способна творить чудеса – не важно, много тебе лет или мало. В то время, когда престижно было говорить о блестящем образовании, упоминать превосходных учителей, Суворов всем был обязан лишь самому себе. Единственной направляющей подсказкой со стороны отца оставалась библиотека. По тем временам очень полная, многоязычная, преимущественно гуманитарная.

Суворов рано увлекается военным делом. Но всю жизнь у него под рукой не только античные историки – Тит Ливий, Цезарь, Корнелий Непот, Валерий Максим, Тацит, Саллюстий, он также жадно читает писателей и поэтов. Суворов благоговеет перед Плутархом, бесконечно перечитывая его «Сравнительные жизнеописания», в подражание «Метаморфозам» Овидия сам пробует разные стихотворные формы и жанры.

По семейным преданиям, первой он заставляет слушать свои «опусы» матушку – больше никто не заслужит такой чести. Впрочем, об отце и говорить не приходится – Василий Иванович слишком поглощен службой и безусловно верен принципу самостоятельности ребенка. Мальчик сам должен определять, можно ли обеспокоить своими заботами родителя. Терпение же и снисходительность матушки не знали предела.

Всю жизнь окружающих будут мучить суворовские привычки, которые выработались еще в родительском доме и которым беспрекословно следовала матушка, хотя ни крепостью, ни здоровьем Александр Васильевич от самого рождения не отличался. На врачей здесь не полагались, только на собственную силу воли.

По остающейся неизвестной причине императрица Анна Иоанновна вспоминает о Василии Суворове с возобновлением вторичного следствия против Долгоруких – бывшего любимца покойного императора Петра II Ивана Алексеевича Долгорукого, его сестры Екатерины, обрученной с мальчиком-царем, и всех их родственников, которые к тому времени уже много лет отбывали ссылку. Следствие было поручено начальнику Тайной канцелярии, известному своей жестокостью Андрею Ушакову. И при нем – Василию Суворову. Заняло следствие целый год и закончилось казнью нескольких подследственных. После чего Василий Суворов неожиданно определен был в Берг-коллегию, своего рода Министерство горной промышленности, в ранге полковника, а затем назначен ее прокурором. Тогда-то и последовало решение о переезде на новое место – на Покровскую улицу к Яузе.

В новом доме, находившемся в непосредственной близости от царского дворца, появляются на свет сестры Суворова.