Он развлекался, как испорченный ребенок. Открывал по ночам речные шлюзы, чтобы нанести ущерб хлопчатобумажным фабрикам; опустошал пруды своих соседей; на берегу своего озера построил два маленьких форта и спустил на воду игрушечный флот. Целыми днями он забавлялся, устраивая бои между кораблями и фортами, паля из крошечных пушек. Лорд Байрон укрывался в одном из фортов, а его камердинер Джо Меррей, растянувшись в лодке, командовал флотом. Иногда его светлость укладывался на каменном полу в кухне и устраивал на своем собственном теле скачки сверчков, подстегивая их соломинками, когда они не проявляли достаточной живости. Слуги утверждали, что сверчки знали хозяина и повиновались ему.

Жизнь младшего брата Байрона была не менее богата трагическими приключениями. Этот Байрон (дед поэта) был храбрый, но злосчастный моряк; товарищи прозвали его Джек Непогода, потому что стоило ему поднять паруса, как начиналась буря. Он отправился в плавание в 1740 году мичманом на борту «Уэджера», который должен был принять участие в экспедиции против испанских колоний, но разбился о подводные камни у берегов Чили. Это была ужасная катастрофа: огромные волны перекатывались через разбитый корабль, один из матросов сошел с ума, экипаж взбунтовался, и капитан вынужден был стрелять в своих людей. Впоследствии молодой Байрон написал рассказ о кораблекрушении, который был напечатан под заглавием «Гибель «Уэджера». В нем описывались ужасные бедствия, перенесенные им и его товарищами на берегах Патагонии. Этот рассказ имел успех и стал в своем роде классическим образцом описания моря.

В 1764 году капитан фрегата Байрон получил приказ отправиться на корабле «Дофин» в кругосветное плавание для открытия новых земель. Он проплыл Магеллановым проливом, обогнул Патагонию и закончил свое кругосветное плавание с такой быстротой, что не открыл ни одной новой земли, кроме островов Разочарования. «В действительности же на его пути было столько неоткрытых земель, — говорит его биограф, — что нужно было ухитриться миновать их». По возвращении этот скромный исследователь получил пост губернатора Ньюфаундленда, затем был произведен в адмиралы и в 1778 году во время американских войн командовал флотом. У него было задание задержать наступление французского флота, которым командовал граф д’Эстанг. Едва адмирал Байрон вышел в море, поднялась буря, один из его кораблей затонул, другие сильно пострадали. Выйдя вторично, он нагнал флот Эстанга, но, верный фамильным традициям, слишком рано повел атаку и потерпел поражение. С тех пор ему больше не поручали командования, и в 1786 году он скончался в чине вице-адмирала.

У адмирала Байрона было два сына. Старший, Джон (отец нашего героя), был военным; второй, Джордж Ан-сон, — моряком. Джон окончил военную французскую академию. Он поступил в гвардию и еще почти ребенком участвовал в американских войнах. За бешеный характер, безумные поступки и невероятное количество долгов его прозвали Безумный Джек. Двадцати лет, вернувшись в Лондон, он покорил сердце маркизы Кармэрсин, молодой и очень красивой женщины. Лорд Кармэрсин, её муж и будущий герцбг Лидский, камергер его величества, был человек весьма образованный, со спокойным характером. Его супруге был, по-видимому, больше по душе сумасшедший нрав молодого Байрона, потому что, получив после смерти отца наследство в четыре тысячи фунтов годового дохода и титул баронессы Конэйерс, она убежала со своим любовником, бросив камергера с тремя детьми. Лорд Кармэрсин потребовал развод и получил его.

Молодые любовники жили некоторое время в замке Эстон-Холл, принадлежавшем леди Конэйерс, затем отправились во Францию, спасаясь от дурной молвы и от кредиторов. Во Франции леди Конэйерс произвела на свет дочь, её светлость Августу Байрон, и в 1784 году умерла; в лондонских светских кругах говорили, что она не выдержала дурного обращения супруга, но Байроны утверждали, что причиной её смерти была её собственная неосторожность — она выехала на охоту, едва оправившись от родов.