И в другой раз:

Беспечные мальчуганы, получавшие эти стихи, удивлялись, смеялись, потом забывали. Счастливому существованию Харроу, а также и Байрона угрожало более серьезное событие. Друри собирался на Пасху покинуть Харроу. Последнее время он не был вполне удовлетворен своим любимым учеником. Байрон учился лучше, но какой-то демон беспокойства владел им. Друри поражало в Байроне отсутствие здравого суждения. Этот исключительно развитой мальчик вел себя иногда как одержимый. Друри, чувствуя себя ответственным за моральную чистоту школы, опасался влияния Байрона на своих питомцев. В декабре 1804 года он с большим сожалением вынужден был предложить Байрону покинуть Харроу. Но в это вмешались Хэнсон и лорд Карлейль, и доктора уговорили. Байрон не сохранил чувства обиды против своего учителя. Он любил его. Первый человек, сумевший своей высокой моральной силой внушить мальчику уважение, остался незыблемым авторитетом, несмотря на уязвленную гордость. Последний урок проходил грустно. Молодые люди, окружавшие доктора, чувствовали, что их счастливому существованию наступил конец.

На место Друри было несколько кандидатов, в том числе его брат, Марк Друри; самым опасным его конкурентом был преподобный Джордж Бутлер, молодой человек, крупный математик. Школьники не знали, конечно, действительной ценности ни того, ни другого, но для них достаточно было имени, чтобы сделаться ярыми сторонниками кандидатуры Друри. Они организовали партию Друри, во главе которой стоял Том Уильдмэн, друг Байрона. Один из учеников сказал Уильдмэну: «Я уверен, что Байрон не пойдет с нами, потому что он не захочет быть под началом, предложите ему быть главарем, и он будет наш». Уильдмэн принял совет, и Байрон стал во главе бунтовщиков.

Ректор Харроу назначался советом попечителей. Друри и Бутлер получили равное количество голосов. В таких случаях, согласно хартии колледжа, окончательное решение принимал архиепископ Кентерберийский. Волнения в Харроу усилились. Однажды утром школьники с великим негодованием узнали, что архиепископ утвердил доктора Бутлера. Вручение прав новому ректору ознаменовало начало мятежа. Байрон и Уильдмэн были вдохновителями восстания. Они носили заряженные пистолеты в кармане. Обсуждался вопрос, не убить ли доктора Бутлера. Самые решительные предлагали насыпать пушечного пороха по дороге в старшее отделение и взорвать доктора. Но один из мальчиков, Джемс Ричардсон, упросил товарищей не делать этого, чтобы не разрушать стен, на которых вырезаны имена их предков.

Байрон в приступе неописуемой гордоновской ярости, не помня себя, выломал решетку перед окнами ректорского дома. Бутлер проявил большой здравый смысл. Он пытался воздействовать мягкостью и добродушием на своих юных врагов, но безуспешно. Байрон написал на него сатиру, где называл его «Помпозус», и объявил лозунг «Свобода или Восстание!». Доктор Друри, услышав об этом конфликте, решил приехать в Харроу, чтобы прекратить раздор. Школьники встретили его у подножия холма, выпрягли лошадей из его кареты и с триумфом подвезли его к дому. Больше он уже не решался приезжать.

Последний триместр прошел для Байрона в этой борьбе. Он занимался мало. Его считали способным, но ленивым. Все же он довольно хорошо изучил латинский язык и немного греческий. В 1805 году дважды выступал публично с английской декламацией и особенно отличился в «Короле Лире». Он просил Августу приехать послушать его: «Я вас прошу, сударыня, явиться в самой элегантной карете его светлости, так как по этикету Харроу к нам в высокоторжественные дни открыт доступ только роскошным экипажам».