Мартин согласился, и 6 марта 1742 года они вместе с еще одним чоно отправились в путь, держась побережья и идя на веслах на север. Вскоре после этого, пока многие из группы искали на берегу еду, шестеро потерпевших кораблекрушение скрылись вместе с баркой, и о них больше ничего не было слышно. «Что, кроме трусости, могло спровоцировать злодеев на такой гнусный поступок, я сказать не могу», – вспоминал Чип в своем отчете. Однако гардемарин Кэмпбелл слышал, как дезертиры шептались о желании освободиться от своего одержимого капитана.

Чоно продолжал вести группу через Гольфо-де-Пеньяс к острову Чилоэ. Без барки они продолжили путь на каноэ чоно, периодически останавливаясь, чтобы собрать на берегу еду. Во время путешествия один потерпевший кораблекрушение умер, осталось всего «пятеро бедолаг»: Чип, Байрон, Кэмпбелл, Гамильтон и Эллиот.

Байрон всегда думал, что Эллиот переживет их всех, но этот некогда неукротимый человек с каждым днем становился все слабее и наконец лег на бесплодном прибрежном пляже. Его тело усохло, а голос угас. Он нащупал единственную свою ценную вещь – карманные часы – и отдал их Кэмпбеллу. Затем, как отметил Кэмпбелл, Эллиот «ушел из этой жалкой жизни». Байрон, сетуя на то, что они «вырыли для него ямку в песке», казалось, тяготился неисповедимостью их судеб. Почему погибло так много его товарищей и почему должен жить он?

Пока четверо потерпевших кораблекрушение продолжали путь через залив, они следовали советам своих проводников-чоно о том, когда грести, а когда – отдыхать, как найти моллюсков. Тем не менее рассказы потерпевших выдавали присущий им расизм. Байрон обычно называл патагонцев «дикарями», а Кэмпбелл жаловался: «Мы не находим ни малейшего изъяна в их поведении, они считают себя нашими хозяевами, а мы считаем себя обязанными подчиняться им во всем». Однако чувство превосходства с каждым днем подвергалось все более радикальному пересмотру. Когда Байрон сорвал несколько ягод, собираясь их съесть, один из чоно выхватил их у него из рук, показывая, что они ядовиты. «Таким образом, эти люди, скорее всего, спасли мне жизнь», – писал Байрон.

Пройдя около сотни километров, потерпевшие кораблекрушение увидели на северо-западе мыс залива, который им ранее не удалось обойти. К их удивлению, проводники их туда не повели. Вместо этого они вытащили каноэ на сушу и приступили к разборке лодок, каждая из которых состояла из пяти частей. Все, кроме Чипа, взвалили на себя части каноэ и понесли. Капитан же, лишившись каких-либо поддерживающих его мечтаний, казалось, деградировал не только физически, но и умственно. Припрятывая крохи еды и бормоча что-то себе под нос, он с самого начала путешествия нуждался в помощи при ходьбе.

Потерпевшие кораблекрушение шли за Мартином и его отрядом по суше по тайной тропе – двенадцатикилометровому проходу-волоку через пустошь. Они брели по болоту, погружаясь в грязь по колено, а иногда и по пояс. Байрон понял, что похищение барки упростило задачу: ее они никак не смогли бы перетащить по суше. Но даже без нее Байрон обессилел и через несколько километров рухнул под деревом, где, по его словам, «предался печальным думам». Он видел, что и другие его товарищи все чаще думают навсегда укрыться в мире ином. По крайней мере, чтобы туда добраться, не требовалось усилий. Однако Байрон заставил себя встать: «Этим думам не было бы конца и края».

Наконец чоно снова собрали каноэ и спустили их на воду в проливе, который вился между мелкими островами у берегов Чили. На протяжении нескольких недель отряд продвигался на север, гребя от канала к каналу, от фьорда к фьорду, пока в июне 1742 года потерпевшие кораблекрушение не заметили вдалеке мыс.