На третий день путешествия несколько пассажиров развлекались стрельбой из пистолета по бутылкам. Байрон тоже попробовал, его выстрел оказался самым удачным. Он почувствовал себя счастливым. Хобхауз, которому досталось от него за какую-то невинную шутку, рассказал своим новым друзьям с ласковой, но покровительственной снисходительностью, что с Байроном надо обращаться, как с ребенком.

На Мальте Байрон начал брать уроки арабского языка у монаха и уроки платонической любви у миссис Спенсер Смит. Она пережила ряд романтических приключений, была арестована солдатами Наполеона, затем освобождена неким благородным итальянцем, проявившим к ней рыцарское уважение, «в ней есть что-то от Сильфиды». Её прелестные близорукие глаза смотрели на мужчин с неуверенностью и тревогой, повергая их в смущение. Байрон был очарован, но его свежеиспеченная философия любви не позволяла поддаваться слабости. Из чувства наивной обиды против любви ему хотелось быть неуязвимым.

«Мраморное сердце» — таким он любил воображать себя теперь, вполне владеющим — стоит ему только захотеть — искусством соблазна, которое есть не что иное, как презрение к женщине и уверенность в самом себе. «Нежная флорентийка» получила от него большой желтый бриллиант, который он носил в кольце. Её близорукие глаза некоторое время занимали воображение Байрона. Но он без труда оторвался от этой новой Калипсо.

Албания была в то время почти неизвестной страной. Дикие горы напоминали Байрону Шотландию, куда он ребенком ездил на каникулы. Мужчины носили короткие юбки, совсем как шотландские горцы, и плащи из козьей шкуры. Паша в Янине, славившийся своей храбростью и жестокостью, будучи уведомлен английским резидентом о прибытии знатного молодого англичанина, послал путешественникам приглашение. Байрона восхищала пышность Востока — албанцы в расшитых камзолах, татары в высоких шапках, чернокожие рабы, лошади, барабаны, муэдзины, выкликающие с минаретов мечетей: «Нет Бога, кроме Бога». Грозный Адипата оказался маленьким семидесятилетним старичком с белой бородой, с учтивыми и полными достоинства манерами. Но всем было известно, что он, не моргнув, поджарит врага на вертеле или утопит в озере дюжину женщин, которые чем-нибудь не угодят его невестке. Он спросил Байрона, почему тот в таком юном возрасте покинул родину, и добавил, что сразу узнал в нем человека благородного происхождения по его маленьким ушам, вьющимся волосам и белизне рук. Эта фраза так понравилась Байрону, что в течение нескольких месяцев он повторял её в каждом письме. Али-паша, истинный Зелуко, надолго остался одним из героев Байрона. Любовь к власти, презрение к моральным и общественным условностям, тайна, которой он любил себя окружать, весь облик Али вызывали в Байроне живые симпатии. Бандит, корсар, атаман разбойничьей шайки — люди этой отверженной среды привлекали Байрона, находя отклик в его чувстве протеста против лицемерия и в его преклонении перед храбростью. Симпатия была обоюдной. Паша прислал англичанам проводников и вооруженный эскорт для обратного пути.

Путешествовать по дикой стране под охраной вооруженных дикарей — предприятие опасное, но заманчивое. Байрон с детства считал себя созданным для военной жизни, ничего не боялся. Он любил албанцев, они казались ему простыми, верными людьми. Среди них в Янине он начал писать своего Чайльд Буруна, после первой песни превратившегося в Чайльд Гарольда. Он писал его спенсеровой строфой в девять строк, что, по его мнению, соответствовало живости повествования. Хобхауз, в свою очередь, делал заметки для рассказов.

Из Албании они намеревались отправиться в Грецию морем, но невежество моряков и буря помешали им. «Из-за невежества капитана и команды я чуть не погиб на турецком военном судне, хотя буря была небольшая. Флетчер вопил и призывал свою жену. Греки призывали всех святых, а мусульмане — аллаха. Капитан в слезах бросился к трюму, крича нам, чтобы мы молились Богу».