Молодые отправились в прекрасное поместье Гайтов и были встречены весьма неприветливо родными и друзьями Гордонов. Капитан Байрон перенес с собой в эту пуританскую деревню свои безалаберные привычки. Все ночи напролет в поместье танцевали и кутили. Шотландцы относились с презрением к этому иностранцу, который пускал по ветру шотландское наследство. Они осуждали безумную наследницу, которая считала себя красавицей, рядилась в шелка и перья, прикрывала слишком короткую шею драгоценностями и дала себя одурачить, выйдя замуж за человека, которому нужны были только её деньги. Анонимные стихоплеты, не стесняясь, говорили об этом:

И другой:

Они были правы. Молодой англичанин быстро уничтожал богатства Гордонов. В первую очередь исчезли три тысячи фунтов наличных денег, затем капитан заставил жену продать акции Абердинского банка, а затем и право рыбной ловли. Лес во владении вырубили, и восемь тысяч фунтов было получено под ипотеку. В гайтском поместье водились цапли, которые уже целое столетие вили гнезда около пруда. В роду существовало поверье:

В 1786 году гайтские цапли улетели в расположенное против Гайтов владение лорда Хэдцо. «Пусть прилетают, не гоните их, — сказал лорд Хэддо, — за ними последуют земли». На следующий год он купил поместье Гайтов за семнадцать тысяч восемьсот пятьдесят фунтов, которые были переданы на хранение шотландским поверенным, так как на них посягали кредиторы.

Байроны уже год как покинули гайтское поместье, где жить им стало не по средствам. Они некоторое время скитались по Англии, но когда судебные приставы стали слишком назойливы, переплыли Ла-Манш. Шотландская родня миссис Байрон жалела «несчастное погибшее создание». Во Франции её супруг, запросто бывавший у маршала де Бирона, который относился к нему по-родственному, вошел в круг аристократов, стал жить на широкую ногу, играл в азартные игры, держал кокоток и увязал в долгах. Кэтрин Гордон мужественно по-шотландски старалась жить экономно и воспитывала маленькую Августу. В Шантильи, где супруги прожили довольно долго, Августа серьезно захворала, и мачеха ухаживала за ней. «Я еще сейчас с ужасом вспоминаю, — писала она двадцать лет спустя, — эти ночи без сна и мучительные дни, которые я проводила в слезах у твоей кроватки, в то время как ты металась без сознания почти на пороге смерти. Твое выздоровление было, конечно, чудом, но и я, слава Богу, исполнила свой долг». Действительно, ей не в чем было себя упрекать. Она обожала своего «Биррона», так произносила его имя на шотландский лад, крепко напирая на букву «р», любила его красоту, его храбрость, но её страшило будущее. В 1787 году она забеременела. Когда подошло время родов, она пожелала вернуться в Англию. Бабушка Августы с материнской стороны, леди Хольдернесс, предложила взять девочку, которая с тех пор и воспитывалась у родных матери.

В Лондоне миссис Байрон, этот странный отпрыск Стюартов, сняла себе помещение в довольно приличном квартале. Будучи в том состоянии, когда женщине особенно важно заботливое отношение, она чувствовала себя покинутой. Капитан жил в Дувре или в Париже, показывался к ней только тогда, когда ему нужны были деньги, и затем в несколько дней растрачивал суммы, которые ему удавалось выманить у нее, пользуясь её слабостью. Единственный человек, кто принимал в ней участие, был поверенный Джон Хэнсон, которому её рекомендовали абердинские друзья. Его жена нашла для миссис Байрон кормилицу и акушера. Ребенок родился 22 января 1788 года, его назвали Джордж Гордон Байрон, так как завещание требовало, чтобы наследник Гордонов Гайтских носил их имя. Это было все, что досталось ему в наследство.

Вернувшись в Англию, миссис Гордон узнала, что она разорена. Продажа гайтского имения не помогла, у капитана был такой аппетит, что имения ему хватило не больше чем на месяц. Едва только погашали один вексель, сейчас же появлялись новые.