16 июня 1826 года после полугодового заключения в сопровождении фельдъегеря, как арестапт, Орлов был вывезен из Петропавловской крепости под надзор в свое имение Милятино Калужской губернии без права въезда в столицы.

Не приходится сомневаться, что годы эти были для Орлова трудными: не давала покоя судьба друзей — кто казнен на кронверке Петропавловской крепости, кто заточен в сибирские остроги. Оставшиеся в стороне от следствия старые знакомые опасались поддерживать связь с опальным генералом.

В милятинском заточении Михаил Федорович ста­рался не предаваться безделью. Много времени он от­давал работе над книгой «О государственном кредите». Несмотря на деятельную натуру, Орлов, по-видимому, не стал хорошим хозяином: имение было расстроено, фабрика цветного стекла приносила убытки. Он испы­тывал постоянные денежные затруднения.

Жизненная сила Михаила Федоровича требовала вы­хода, В 1831 году он подал прошение о том, чтобы пой­ти рядовым солдатом в армию, но получил отказ. Вместе с тем Николай I передал ему разрешение поселить­ся в Москве. Такому благоприятному повороту судьбы Михаил Федорович опять-таки был всецело обязан хло­потам брата Алексея, остававшегося любимцем импе­ратора.

Итак, Орлов в июне 1831 года возвращается в род­ную Москву, где и проживет до конца своих дней. Вско­ре по прибытии Орлова в Москву свиты его величества генерал-майор граф Строганов 1-й доносил царю: «По­явление в Москве отставного генерала М. Орлова про­извело странное влияние на жителей сей столицы, и будущее постоянное пребывание в оной подает повод к толкованиям, заслуживающим при нынешних обстоя­тельствах оставаться не без внимания». Последовавшая на это высочайшая резолюция: «За Орловым смотреть должно и строго» — предопределила тайный надзор, продолжавшийся до самой смерти Михаила Федоровича.

В течение многих десятилетий считалось, что пер­вым московским адресом М. Ф. Орлова был дом Шуби­ной на Малой Дмитровке. Однако недавние исследова­ния москвоведа С. К. Романюка позволили ему на осно­вании архивных документов установить, что сначала Орлов поселился в доме Кашкиной на Земляном валу, потом переехал на Малую Дмитровку в дом Бобринской, а в доме Шубиной он жил с 10 октября 1833 года до 7 сентября 1834 года. Затем Орловы перебираются в дом Цициановой на Садовой-Кудринской (№ 13, не сохра­нился), в 1836 г.— в дом Щербатова в Большом Нико­лопесковском переулке (ул. Вахтангова, 13—17) и, на­конец, в 1839 году покупают собственный дом на Пре­чистенке (Кропоткинская ул., 10).

Во владении Шубиной в 30-е годы жилых построек, как видно на плане этого времени, было еще немного, и, не считая главного дома, были они малы и неказисты. Поэтому, несмотря на отсутствие прямых доказательств, нет и тени сомнения, что семейство Орловых заняло особняк, выходивший фасадом на Малую Дмитровку, тогда еще украшенный портиком с шестью колоннами. Улица была тихой, но принадлежавшей к числу доста­точно аристократических. Впрочем, тогдашняя Москва, где, как писал современник, «сено, скошенное, стоящее в копнах, можно, впрочем, встречать и на местах, бли­жайших к центру города», еще не утратила черт старого русского, в известной степени провинциального города.

Время берет свое. Немногое в сегодняшнем обита­лище служебных кабинетов напоминает обстановку дво­рянского особняка. Но сохранились ведущая на второй этаж парадная лестница с резной балюстрадой, упираю­щаяся в огромное зеркало, увенчанное барельефом, изображающим женскую головку, ряд колонн, лепные украшения на потолке большого зала и одпой из неболь­ших комнат, повторяющие изображение на фасаде: ли­ры, венки цветов, женские головки.