Однажды (это был 1794 год) миссис Байрон пила чай у соседей. Кто-то из присутствующих спросил ее, знает ли она, что сын лорда Байрона умер. Она вскочила вне себя от изумления. Казалось невероятным, что такой молодой человек вдруг умер, но еще более невероятным было, что её сын оказывался наследником титула, поместья Ньюстед и всего родового имущества, и никто даже не подумал поставить её об этом в известность. Тем не менее это оказалось истиной. Сын лорда Байрона умер на Корсике при осаде Кальви, и между титулом пэра и её сыном стоял только полусумасшедший старик, который забавлялся в Ньюстеде игрой в морские сражения на озере со своим лакеем или, укладываясь в кухне на полу, устраивал скачки сверчков. Мать наследника написала миссис Ли строгое письмо, высказывая свое возмущение по поводу того, как с ней обошлась её семья. Какое унижение — узнавать такую новость от чужих. Само собой разумеется, что лорд Байрон теперь должен помочь матери будущего главы семьи дать ему воспитание, приличествующее его положению. Но лорд Байрон не иначе как с жестоким злорадством думал об этом «жалком хромом абердинском мальчишке», дожидавшемся его смерти. Он не отвечал на письма и продолжал бессмысленно и методично разрушать поместье и имущество Байронов.

Миссис Байрон, как она ни неистовствовала, не пришлось отдать сына в аристократический колледж. Он поступил в среднюю школу в Абердине. Но это была школа почтенных традиций, основанная в 1256 году, одна из самых старинных в трех королевствах. Ветхий домик был покрыт соломенной крышей. Главным предметом занятий считалась латынь, которой посвящалось пять часов в день. Почти все ученики были из бедных семей, их карманные деньги не превышали пенни в неделю. Джордж Байрон быстро приобрел репутацию превосходного игрока на бильярде. Товарищи любили его, хотя вначале он несколько удивлял их своим мягким, но вспыльчивым характером. Швейцар колледжа нередко гонялся за этим рыжеватым мальчишкой в красной курточке, который, прихрамывая, приходил подразнить его. В городе Байрона называли не иначе, как «хромой чертенок миссис Байрон». «Очень интересный ребенок, — отзывался о нем один из учителей, — но воспитывать его трудно». Несмотря на свою хромоту, Байрон отличался большой смелостью и обычно сам нападал на противника, не дожидаясь, когда его побьют. Дрался он стоя на кончиках пальцев и мог держаться так довольно долго. Как-то раз его обидел какой-то мальчик, и Байрон, не имея возможности побить его тут же, пообещал отплатить ему после. Через неделю он остановил его на улице и поколотил. Когда он вернулся домой, Мэй Грэй спросила, почему он так запыхался, мальчик ответил, что ему сейчас пришлось сдержать одно обещание и что он должен был это сделать, потому что он Байрон, а девиз Байронов гласит: Crede Byron. Помимо школы, он брал частные уроки чистописания и французского языка, однако без особого успеха. Но читал он гораздо больше своих сверстников. «Меня никогда не видели за чтением, все считали, что я только болтаюсь, играю и шалю. На самом же деле я читал за едой, в постели, в часы, когда никто не читает, и я прочел все, что можно было прочесть с пятилетнего возраста». Библия пробудила в нем интерес к Востоку, и он особенно любил сказки из «Тысячи и одной ночи», «Мемуары» барона Тотга о его пребывании в качестве посла в Турции, письма леди Мэри Уортлей Монтэг и «Зелуко» доктора Мура. «Зелуко» в то время был модным романом, и его герой не раз оставлял без сна маленького Байрона.