После первого же посещения Байрон привязался к Ньюстеду с не меньшим пылом, чем к Мэри Дюфф. Он осматривал со старым Мерреем сводчатые коридоры, подземный монастырский ход, аллеи, ручьи и источники. Он посадил желудь в землю и сказал, что здесь должен вырасти его дуб. Он не хотел расставаться с этим сказочным наследством, но миссис Байрон заявила, что нельзя жить в разрушенном доме. Отремонтировать аббатство было нелегко. Управление имуществом Байрона, несовершеннолетнего пэра Англии, подлежало ведению канцлера казначейства; матери не разрешалось широко им пользоваться, а кроме того, оно заключалось главным образом в землях. До полной проверки имущественных счетов матери юного лорда приходилось существовать на свои сто пятьдесят фунтов. Она взяла в поверенные Хэнсона, который вел дела и помогал ей, когда она была беременна, и через несколько дней уехала в Ноттингем.

В Ноттингеме они поселились в высокой части города, недалеко от дворца, на темной и узкой улице. Снятый ими крошечный домик был не лучше того, который они покинули в Абердине. Какое разочарование для ребенка: сказочный дворец превращался в шалаш. В этом незнакомом городе он чувствовал себя несчастнее, чем в Шотландии. Миссис Байрон пришлось несколько раз ездить в Лондон, чтобы выхлопотать у короля пенсию до совершеннолетия сына. Она оставляла мальчика в Ноттингеме на попечение Мэй Грэй, которая не заслуживала такого доверия. Хэнсон, приехав из Лондона познакомиться со своим юным клиентом, очень привязался к ребенку и, узнав от соседей о положении вещей, пришел в негодование. «Разрешите мне уверить вас, сударыня, — писал он миссис Байрон, — что я не позволил бы себе вмешиваться в ваши домашние дела, если бы не считал необходимым уведомить вас о поведении вашей служанки, миссис Грэй… Мой юный высокочтимый друг, несмотря на всю свою сдержанность, не вытерпел и рассказал мне о жестоком обращении, которому она его подвергает. Он рассказал мне, что она беспрестанно его бьет, так что у него иногда болит все тело, приводит в дом людей самого низкого разбора, уходит поздно вечером, и ему приходится ложиться спать одному, вечно пьянствует в кабаках с кучерами… Я чувствую глубокое расположение к лорду Байрону и смею надеяться, что буду не только его поверенным, но и другом. Я представил его лорду Грэнтлею и его брату генералу Нортону; они оба были совершенно очарованы им, и мне крайне прискорбно, что возвышенные чувства моего маленького друга оскорбляются недопустимой бестактностью служанки. Он отличается умом и сообразительностью, твердостью суждений, какую редко можно встретить у такого юного существа. Он может быть другом зрелого человека, и нужно очень осторожно выбирать людей, которые с ним будут жить».

Хэнсон был прав. Маленький лорд Байрон обнаруживал силу ума, чрезвычайно редкую для ребенка его возраста. Тяжелая жизнь часто способствует раннему развитию интеллекта. Счастливый ребенок живет беспечно и принимает от своих родителей готовые истины; ребенок, который растет среди криков, судит своих родителей и создает свое представление о мире, нередко очень жестокое. Мэй Грэй говорила ему, что дурные люди осуждены гореть на вечном огне. Если бы она верила в это на самом деле, разве она могла бы вести такую жизнь? Значит, все это неправда. Сказка для взрослых. А может быть, Мэй Грэй обречена в вечности, как Каин? И тогда ни кучера, ни трактиры ничего не изменят. Но тогда, значит, Бог несправедлив? Чему верить? Почему он, невинный, должен страдать? Миссис Байрон с тех пор, как сын её сделался лордом, не могла примириться с мыслью, что он останется хромым. В Ноттингеме ей рекомендовали какого-то шарлатана по фамилии Лэвендер; она доверила ему лечить своего сына. Этот Лэвендер был сущей скотиной. Все его лечение состояло в том, что он изо всей силы вытягивал ногу ребенка, а затем массировал, вращая в каком-то деревянном аппарате. Байрон в это время занимался латинским языком с американцем мистером Роджерсом, и тот, читая с ним Цицерона или Вергилия, очень жалел его и огорчался, видя, как мучительно искажалось лицо ребенка от этих орудий пыток.