Из Лиссабона в Севилью они отправились лошадьми. Вдоль дороги то и дело попадались кресты. Каждый из них вызывал в памяти убийство. Им повстречался отряд, который вел в Севилью нескольких шпионов, чтобы там их повесить. В жизни этой страны, где смерть и любовь встречались на каждом шагу, было что-то звериное, непосредственное, что привлекало Байрона. Он написал матери, что остановился в доме прекрасных испанок, «которые, вообще говоря, очень милы, с такими большими черными глазами и прекрасно сложены. Старшая почтила вашего недостойного сына особым вниманием, поцеловав его на прощание с большой нежностью, а перед тем отрезала у него локон на память и подарила ему прядь своих волос, длиною около трех футов, которые я вам посылаю и прошу хранить до моего возвращения. Последние её слова были: «Прощай, хорошенький мальчик, ты мне очень нравишься!» Она предложила жить в её комнате, но моя добродетель заставила отказаться. Она засмеялась и сказала, что, наверно, у меня есть возлюбленная в Англии, и потом добавила, что она скоро выходит замуж за офицера испанской армии». Затем через Кадикс, «милый Кадикс, где столько прекрасных испанок», двое друзей направились на Гибралтар. Там пришлось расстаться со старым Мерреем и юным Раштоном, которых слишком утомило это путешествие. Байрон отправил их в Ньюстед к миссис Байрон: «Прошу вас позаботиться о Роберте, которому будет очень недоставать его хозяина — бедный мальчик, у него не было ни малейшего желания уезжать от меня».

На корабле с Гибралтара на Мальту Хобхауз быстро завоевал симпатии пассажиров; он был очень общителен, дружил со всеми и по вечерам после обеда рассказывал анекдоты (Байрон, слушая издали, замечал про себя, что это почти всегда анекдоты Скропа Дэвиса). Байрон, державшийся отчужденно, нравился меньше. Так как он почти ничего не ел, то выходил из-за стола раньше других. Держался в стороне, подолгу смотрел на море и, казалось, впитывал в себя мрачную поэзию скал. Как только смеркалось и на корабле зажигались огни, он садился на палубе, на груде сложенных парусов, и часами смотрел на игру лунного света в волнах. В этом бледном сиянии он напоминал матроса Кольриджа, убившего альбатроса. Путники, принимая его стремление к одиночеству за презрение, осуждали его. Они замечали его взгляды исподлобья, беспокойные и недоверчивые. Он держался неестественно, раздражался на Флетчера, чувствовал себя неловко и нервничал.

Если бы они могли угадать беспокойство, скрывавшееся за этим поведением, болезненную робость калеки, они бы пожалели его. Байрон искал прибежища среди безмолвного мира звезд и волн, потому что боялся людей. Глядя, как нос корабля покачиваясь разрезает воду, он думал, что каждая новая волна уносит его все дальше от несчастий. Он задумывался иногда над своей неудачной юностью, но уже с грустным спокойствием, словно думая о каком-то постороннем лице. Почему бы ему не написать поэму об этом путешествии? С детства накапливались в нем сильные чувства и, соединяясь в этой бурной душе, уподоблялись кипящей лаве. Он рисовал героя, которого назовет старинным фамильным именем, Чайльд Бурун, это будет Байрон — Байрон отчаявшийся, разочарованный, которого не знает Хобхауз и которого он все равно не понял бы… Корабль покачивался в лунном свете.

На третий день путешествия несколько пассажиров развлекались стрельбой из пистолета по бутылкам. Байрон тоже попробовал, его выстрел оказался самым удачным.