Выходцы из южно-русских земель, оказались Прозоровские в прославленной подвигами отшельников Северной Фиванаиде еще во времена княжения государя Василия Ивановича на Москве. Посватался за красавицу княжну Прозоровскую, по имени звавшуюся как и сестра Федора Ивановича Варюшей, владелец здешней волости Ухтома, второй из могучего и обширного родственными связями семейства Белозерских князей. Жених был хорош собой, знатен и богат — приглянулся он Варюше, едва только взглянула на него из светелки, как на двор отцовского дома въехал. Отдали Варюшу в Белозерье, а тремя годами после случилось несчастье — родами умерла она, одарив супруга своего единственным сыном-наследником. С тех пор Прозоровские на Белозерье глаз не казали, и с князьями тамошними не знались. Только с полвека тому назад снова перекрестились их пути-дорожки. Сдружился князь Федор Иванович в Петербурге с Александром Михайловичем Белозерским, служившим при императрице Екатерине Второй послом русским в Дрездене, у него и купил давно уже пустующую усадьбу Андожа на самом окаеме белозерских земель, благо ожениться как раз надумал: сватался за полюбившуюся ему княжну Леночку Волконскую, первую красавицу по обеим российским столицам в ту пору и подумывал об устройстве собственного дома.

Супротив покупки Андожи восстали все в семье Федора Ивановича: отец, матушка, сестры. От них услышал он о том, что давнишняя предшественница его, княжна Варенька Прозоровская не так просто родами скончалась на Белозерье, а была изведена в усадьбе Каргол привидением утопленницы. Да и название само «Андожа», если верить толкователям, со старофинского переводится как «край земли». Как же можно поселиться там, средь болот да зарослей непроходимых, да еще с молодой красавицей-женой. Как бы то нибыло, Федор Иванович родственников не послушал — Андожу купил, женился на Леночке. С ней и приехал на Белозерье. Жили они без бед, в согласии и достатке, одно только огорчало супругов: родилось в супружестве их две дочери, а вот сыновей-наследников не было.

Отсутствие сына охладило любовь Федор Ивановича к жене. Прежде он в Леночке души не чаял, и когда узнал о грядущем рождении первого ребенка, то только и говорил всем о том, как назовет своего первенца, как будет растить и воспитывать — князь не сомневался, что родится мальчик. Когда же родилась дочь, Лизонька, он был столь оглушен событием, что заперся на неделю в своем кабинете, не пожелал видеть новорожденную, не пошел к жене, еще накануне столь обожаемой и отменил заранее объявленное угощение для дворовых. На крестинах тоже присутствовал лишь по долгу и никакого пира не устроил.

Однако скорая вторая беременность жены снова вселила в Федора Ивановича надежды. Только и им не суждено оказалось сбыться. Снова родилась девочка, названная Аннушкой. К тему же доктора сообщили Прозоровскому, что поскольку Елена Михайловна женщина очень болезненная и хрупкая, роды она перенесла с трудом и на рождение следующих детей уже надеяться не стоит. Такое сообщение окончательно сразило князя. Он долго не мог примириться с мыслью, что должен навсегда расстаться с мечтою о сыне. Отношения с женой окончательно испортились. Дом разделился на две половины, и князь из своих комнат редко хаживал на сторону княгини. Часто вспоминал он тогда, наедине с собой, глядя в окно на бескрайние серые верхушки деревьев, кутующиеся в сыром тумане, предупреждения своих родственников: не принесет тебе счастья Андожа, нет счастья на краю земли. Только никому не признавался князь в своем разочаровании. После же военные походы и баталии, жизнь на биваках и в учебных лагерях, и вовсе оторвали Федора Ивановича от усадьбы и от семьи.

Как-то в один из недолгих отпусков своих, в самый канун разгрома турок на Дунае — занемоглось тогда княжне Елене Михайловне не на шутку и попросила она супруга слезным письмом схлопотать у Александра Васильевича разрешения, чтоб свидеться, может, и в последний раз, — просидел Федор Иванович всю ночь у постели жены.