В 1766 году Екатерина II направила в Холмогоры генерала Александра Бибикова, который от имени императрицы предложил Антону-Ульриху покинуть Россию. Но тот отказался. Датский дипломат писал, что принц, «привыкший к своему заточению, больной и упавший духом, отказался от предложенной ему свободы». Это неточно - принц не хотел свободы для себя одного, он хотел уехать из России вместе с детьми. Но его условия не устраивали Екатерину - она боялась выпустить на свободу детей Анны Леопольдовны - претендентов на русский престол. Принцу лишь пообещали, что их всех отпустят вместе, когда сложится благоприятная для этого обстановка.

Так и не дождался Антон-Ульрих исполнения обещания Екатерины. К шестидесяти годам он одряхлел, ослеп и, просидев в заточении 34 года, скончался 4 мая 1776 года, пережив более чем на двадцать лет свою жену. Ночью гроб с телом тайно вынесли на двор и зарыли без священника, без обряда, словно самоубийцу, бродягу или утопленника. Мы даже не знаем, провожали ли его в последний путь дети.

Они прожили в Холмогорах еще четыре года. К 1780 году они были уже давно взрослыми: старшей, глухой Екатерине Антоновне, шел 39-й год, Елизавете было 37, Петру - 35, а младшему, Алексею, - 34 года. Все они были болезненными, слабыми, с явными физическими недостатками. О старшем сыне Анны Леопольдовны, Петре, офицер охраны писал, что он «сложения больного и чахоточного, немного кривобок и кривоног. Меньший сын Алексей - сложения плотного и здорового, имеет припадки». Старшая дочь Екатерина - «сложения больного и почти чахоточного, притом несколько глуха, говорит немо и невнятно и одержима различными болезненными припадками, нрава очень тихого».

Несмотря на жизнь в неволе и отсутствие образования (в 1750 году в Холмогоры бы прислан указ Елизаветы, запрещавший учить детей принцессы Анны грамоте), все они выросли умными, добрыми и симпатичными людьми, выучились самостоятельно и грамоте. Побывавший у них наместник А.П.Мельгунов писал императрице Екатерине II о принцессе Екатерине Антоновне, что, несмотря на ее глухоту, «из обхождения ее видно, что она робка, стеснительна, вежлива и стыдлива, нрава тихого и веселого. Увидев, что другие в разговоре смеются, хотя и не знает тому причины, смеется вместе с ними… Как братья, так и сестры живут между собой в дружбе и притом беззлобны и гуманны. Летом работают в саду, ходят за курами и утками, кормят их, а зимой бегают наперегонки по пруду, катаются на лошадях, читают церковные книги и играют в шахматы и карты. Девицы, сверх того, занимаются иногда шитьем белья».

Быт их был скромен и непритязателен, как и их просьбы. Главой семьи была Елизавета, полноватая и живая девица, обстоятельная и разговорчивая. Она рассказала Мелыунову, что «отец и мы, когда были еще очень молоды, просили дать свободу, когда же отец наш ослеп, а мы вышли из молодых лет, то просили разрешения кататься по улице, но ни на что ответа не получили». Говорила она и о несбывшемся желании «жить в большом свете», научиться светскому обращению. «Но в нынешнем положении, - продолжала Елизавета Антоновна, - не останется нам ничего больше желать, как только того, чтобы жить здесь в уединении. Мы всем довольны, мы здесь родились, привыкли к здешнему месту и состарились».

У Елизаветы было три просьбы, от которых у Алексея Мельгунова, человека тонкого, доброго и сердечного, вероятно, все перевернулось в душе: «Просим исходатайствовать у Ее величества милость, чтобы нам было позволено выезжать из дома на луга для прогулки, мы слышали, что там есть цветы, каких в нашем саду нет», чтобы пускали к ним дружить жен офицеров - так скучно без общества. И последняя просьба: «Нам присылают из Петербурга корсеты, чепчики и токи, но мы их не употребляем из-за того, что ни мы, ни служанки наши не знаем, как их надевать и носить. Сделайте милость, пришлите такого человека, который умел бы наряжать нас».