Байрон, поселившийся на смену монахам в Ньюстеде, был главой одной из самых старинных фамилий графства. Байроны, или Буруны, пришли из Нормандии с Вильгельмом Завоевателем, они отличились во время крестовых походов, затем при осаде Кале, владели обширными поместьями не только в окрестностях Ноттингема, но и в Рочдэле, Клейтоне, Ланкашире. Их девизом было «Верь Байрону» — Crede Byron, так они писали свое имя на французский лад, будучи в родстве с маркизами де Бирон. Маленький сэр Джон Большая Борода преобразил готическое аббатство в замок с бойницами, и его потомки привязались к этому жилищу. Столетием позже один из них, преданный друг Карла I Стюарта, командовал кавалерийским полком во время гражданской войны и проявил наряду с большой храбростью не меньшую неосторожность: преждевременно открыл стрельбу в Эджхилле, а затем в Марстен-Муре; за эту двойную ошибку его сделали пэром королевства и лордом Байроном Рочдэльским, в то время как принц Руперт отметил у себя в дневнике: «Преждевременная стрельба лорда Байрона причинила немало вреда».

Но постоянство нового лорда было ценнее его стратегических способностей. Он никогда не отступался от короля. Ньюстед был осажден приверженцами парламента, старые стены заливались серой и расплавленным свинцом; зеркала вод, внимавшие когда-то пению гимнов и псалмов, разносили по лесу предсмертные крики, щелканье мушкетов, призывы военных труб. После победы Кромвеля лорд Байрон эскортировал во Францию Карла II Стюарта, и его верность оставалась неизменной, ибо его жена, леди Байрон (как утверждает мистер Пэрис), была семнадцатой любовницей короля-изгнанника.

Между тем лес вокруг аббатства постепенно уступал место пашням, фермам и селениям. Под дубами укрывались обширные стада ланей. Поместье Байронов не было уже таким уединенным, в этих местах выросли дома других богатых семей. Ближайшая и самая красивая усадьба была Эннели, где жили Чаворты; с Ньюстедом их владение соединялось дубовой аллеей, носившей название «Брачной аллеи», так как третий лорд Байрон женился на дочери графа Чаворта — Элизабет. Этот третий лорд Байрон, живший в конце XVII столетия, был уже почти разорен. Сбылись предсказания, передававшиеся со времени продажи аббатства, — призрак монаха в черном клобуке бродил по ночам под сводами коридоров, и счастья не было роду Байронов. Судьба сыновей четвертого лорда укрепила веру в мрачную легенду — старший сын, пятый лорд Байрон, за убийство был судим пэрами королевства, младший, моряк, был самым злополучным адмиралом во флоте.

История убийства лордом Байроном своего кузена, друга и соседа, хозяина Эннсли, трагически нелепа. Дворяне, владельцы поместий в графстве Ноттингем, жившие в Лондоне, имели обычай собираться раз в месяц в гостинице Звезды и Подвязки. 26 января 1675 года состоялось обычное собрание, все были очень веселы, разговор зашел о том, как лучше всего сохранил» дичь. Мистер Чаворт утверждал, что лучшая мера — это сурово преследовать браконьеров, лорд Байрон считал, что лучший способ сохранил» дичь — это поменьше ею заниматься. Мистер Чаворт не без ехидства заметил на это, что у сэра Чарльза Сиднея (их общего соседа), а также и у него на каких-нибудь пяти акрах побольше дичи, чем у лорда Байрона во всем его владении, и что если бы он не принимал мер предосторожности, у него и вовсе не осталось бы ни одного зайца.