Долгоруковых заперли в острог, и от всего пережитого в пути и увиденного в Березове старый князь через неделю умер, и лишь только успели его схоронить, как следом за ним умерла его жена.

Наталья Борисовна, бывшая уже на сносях, тихо плакала, Иван пребывал в постоянной печали, а Екатерина неистовствовала, срывая досаду и зло на мягкосердечной и безответной Наталье Борисовне.

Со временем положение ссыльных чуть улучшилось – их стали выпускать из острога, а воинский начальник, майор Петров, и местный воевода Бобровский иной раз приглашали в гости. Когда же у Натальи родился сын Михаил, то Петров даже стал его крестным отцом. Все было бы более или менее благополучно, если бы Иван Алексеевич не подружился с отставным моряком-пьяницей

Овцыным, который стал волочиться за бывшей царской невестой, а князь Иван пустился в загул и во хмелю стал говорить своему новому другу бог весть что. Он рассказывал об оргиях Елизаветы, о ее связи с Шубиным, утверждал, что и он сам тоже был любовником цесаревны. Слухи об этих пьяных сплетнях поползли по Березову, и вскоре отозвались доносом в Петербурге. На первых порах велено было всех Долгоруковых вновь запереть в острог и в город более не выпускать. Но вслед за первым доносом пошел второй, после чего Ивана Алексеевича отделили от семьи и посадили в землянку, под замок.

В мае 1738 года в Березове появился капитан Ушаков – родственник начальника Тайной канцелярии, но под чужой фамилией, и, разумеется, не в мундире. Он перезнакомился со всеми и особенно сошелся с «разрушенной невестой», которая и наговорила ему такого, что брата ее схватили и отправили в Тобольск. «Отняли у меня жизнь мою, беспримерного моего милостивого отца и мужа, с кем я хотела свой век окончить и в тюрьме была ему товарищ; эта черная изба, в которой я с ним жила, казалась мне веселее царских палат… Что я делала? Кричала, билась, волосы на себе драла; кто ни попадет, встречу всем валюсь в ноги, прошу со слезами: „Помилуйте, когда вы христиане, дайте только взглянуть на него и проститься“. Но не было милосердного человека, никто не утеснил меня и словом, а только взяли меня и посадили в темницу. А там через два месяца родился у меня и второй сын – Митенька», – так писала Наталья Борисовна.

В Тобольске Ушаков и прокурор полевых войск Василий Иванович Суворов, отец будущего великого полководца, пытками довели князя Ивана до того, что он сошел с ума. Из Тобольска его увезли в Шлиссельбург, где уже сидели в казематах пять его двоюродных братьев и дядьев Долгоруковых. Ивана приговорили к колесованию, а трех родных братьев его покойного отца – Василия, Сергея и Ивана – к отсечению головы. На казнь их всех увезли в Новгород. Когда Ивану ломали руки и ноги, он читал молитву, чуть вздрагивая при каждом новом переломе. А двух братьев Ивана – Александра и Николая – ободрали кнутом, отрезали обоим языки и заточили в вологодском остроге. Еще одного брата – Александра – сослали на Камчатку. Екатерину же отправили в Томский женский монастырь, где она жила в одной келье с монашками-нищенками, питавшимися подаянием.

А Наталья Борисовна подала Анне Иоанновне прошение. Она просила, если муж ее жив, то позволить ей быть с ним, даже если он в тюрьме, а если мертв, то отпустить ее в монастырь. Императрица разрешила, и Наталья Борисовна, неся на руках младшего – Митеньку, больного и слабого, – пошла с восьмилетним Мишенькой из Березова в Москву.