Но были у него и враги. Они постоянно клеветали на него перед Харальдом Прекрасноволосым, и в конце концов конунг перестал доверять сыну Квельдульва. Положение Торольва стало стремительно ухудшаться. Дружину почти всю перебили. В конце концов Харальд с войском окружил хутор, на котором Торольв собрал своих сподвижников, готовясь навсегда покинуть Норвегию. Когда Торольв отказался сдаться, воины подожгли дома. Те, кто находился там, предпочли погибнуть в бою. Торольву удалось пробиться к щитоносцам, окружавшим короля. Харальд Прекрасноволосый нанес изрубленному мечами, проткнутому копьями воину последний смертельный удар.

Грим потребовал виру за своего брата, но из этого ничего не вышло. Напротив, Харальд наложил лапу на все, что принадлежало Торольву. Теперь Гриму и его отцу не оставалось ничего, кроме как бежать в Исландию.

Сначала они перехватили корабль с людьми конунга Харальда и всех перебили. В этом сражении Квельдульв впал в неистовство берсеркера. Никто не мог устоять перед ним; он рубил противников одного за другим и рвался вперед. Когда это состояние проходит, человек на некоторое время становится очень слабым. Старый Квельдульв умело управлял захваченным судном, но все же это оказалось слишком тяжелым делом для него. Он заболел и умер в море. Согласно его воле, дружина сделала для него гроб и, уложив туда тело, пустила его по волнам.

Покойника вынесло на берег возле Борга-фьорда на западной стороне острова. Грим объявил своим владением просторный участок земли с лугами, болотами и лесами, со множеством рыбы и морского зверя в водах, бесчисленным количеством яиц морской птицы на скалах. Он построил там селение, которое назвал Борг, и вскоре стал одним из самых влиятельных людей в Исландии.

Грим тоже выделялся высоким ростом, но в отличие от своего погибшего брата был темноволос, некрасив и обладал дурным характером. Он рано потерял волосы, за что получил прозвище Скаллагрим, то есть Лысый Грим. Его жена Бера была дочерью бонда из Сигнафюльки. Большинство их детей умерло в младенчестве. Четверо выжили. Первому из сыновей дали имя Торольв. Далее шли две дочери Саеунн и Торунн, а младшим был второй сын Эгиль. Торольв получил имя в честь дяди, Эгиль — в честь отца.

А в Норвегии, в Согне, жил молодой человек по имени Бьёрн, сын хёвдинга Бриньёльфа. Как-то раз, попав в Сигнафюльки, он встретил деву Тору по прозвищу Вышитые Рукава и захотел жениться на ней. Однако ее брат, хёвдинг Торир Хроальдсон — он опекал деву, — наотрез отказал парню. Тогда Бьёрн возвратился туда по морю и украл невесту. Хотя она сама нисколько не возражала против такой участи, все равно следовало ожидать неприятностей. Весной Бьёрн получил у своего отца кнарр, поднял парус и направился в Дублин, где надеялся найти приют среди осевших там норвежцев. Шторм, однако, занес его на Шетландские острова, где он женился на Торе. Вскоре до них дошло известие о том, что конунг Харальд объявил его вне закона, так что в первую же весну Бьёрн и его молодая жена покинули броч, где укрылись на первое время, и перебрались в Исландию. Скаллагрим принял его. Бьёрн и Торольв стали верными друзьями.

Тем не менее он не терял надежды поладить миром с семьей Торы. Взад и вперед по морю пересылались послания. Делу помогло то, что Скаллагрим в детстве воспитывался вместе с Ториром. Бьерн и Тора возвратились в Норвегию. Торольв, которому давно уже не сиделось дома, отправился вместе с ними. Осгерд, маленькая дочь Бьёрна и Торы, осталась в Борге на воспитании у Скаллагрима и Беры.

Бьёрн поселился в поместье своего отца. Торольв остался там также, и его принимали с великим радушием. Весной он и Бьёрн снарядили корабль, набрали дружину и отправились в викинг на Балтику. Вернулись они с хорошими трофеями и после возвращения направились к Ториру Хроальдсону.

Эйрик, любимый сын конунга Харальда, прибыл туда же вскоре после них.