Однажды на приеме у леди Каролины лорд Байрон заметил замкнутую молодую девушку, которая была, как он потом вспоминал, «проще всех одета». Этой девушкой оказалась девятнадцатилетняя Анабелла Милбэнк, происходившая из богатой и титулованной семьи. Ночью перед приемом она прочитала Чайльд-Гарольда, и поэма и ее автор вызвали у нее смешанные чувства. «Он слишком вычурен, — пишет она, — но он превосходит большинство поэтов в изображении глубоких чувств». Когда на приеме она его увидела — он стоял в другом конце комнаты, — то пришла в смятение. «Я не хотела знакомиться с ним, поскольку вокруг него глупейшим образом увивались все женщины, желая заслужить плеть его сатиры, — написала она своей матери. — Я не хочу занять место в его свите. Я не внесла никаких пожертвований на храм Чайльд-Гарольда, но я и не буду отказываться от знакомства, если выпадет случай».

Как выяснилось позже, случай выпал, и знакомство состоялось. После того как он был представлен Анабелле формально, Байрон решил, что она может стать для него подходящей женой. В его жизни это было одной из немногих побед разума над романтизмом. Ему показалось, что такая женщина вместо того, чтобы разжигать его страсти, могла бы обуздать их и спасти его от безумств, а кроме того, помочь расплатиться с обременяющими его долгами. Он послал ей письмо, в котором сделал ей предложение, правда не совсем искреннее. Она благоразумно ему отказала. Тогда он пустился в куда менее разумные романы, в том числе вступил в связь со своей сводной сестрой, Августой Ли. Но через год Байрон, увязнув еще глубже в долгах, возобновил ухаживания за Анабеллой. Ухватившись за надежду обуздать свои страсти, он увидел в возможных отношениях если и не романтичность, то уж точно разумность. «Ничто кроме брака, причем немедленного, не может спасти меня, — признался он тете Анабеллы. — Если я могу рассчитывать на вашу племянницу, я бы предпочел ее, если нет, то я женюсь на первой же женщине, которая не будет смотреть на меня так, будто ей хочется плюнуть мне в лицо». Бывали моменты, когда лорд Байрон переставал быть романтиком. Он и Анабелла поженились в январе 1815 года.

Байрон приступил к исполнению своих брачных обязанностей в собственной — байроновской — манере. О дне своей свадьбы он написал: «Поимел леди Байрон на диване перед ужином». Когда через два месяца они навестили его сводную сестру, их отношения с Анабеллой еще не завершились, что следует из того, что примерно тогда она забеременела. Тем не менее, пока они там гостили, она уже заподозрила, что дружба мужа с Августой не ограничивается рамками братских отношений, и ее подозрения подтвердились, когда однажды он, лежа на диване, попросил обеих дам по очереди целовать его. Брак начал разваливаться.

Анабеллу учили математике, что забавляло лорда Байрона, и во время своих ухаживаний он в шутку выразил свое презрение к арифметике. «Я знаю, что два и два — четыре, и был бы рад доказать это, если бы смог, — писал он, — хотя должен сказать, что если бы нашелся какой-либо довод, с помощью которого я мог бы показать, что два и два — это пять, я бы получил намного большее удовольствие». Вначале он нежно называл ее «Принцесса параллелограммов». Но когда брак начал рушиться, он придумал более точный математический образ: «Мы две параллельные линии, идущие рядом в бесконечность, но никогда не встречающиеся». Позже, в первой песне своей эпической поэмы «Дон Жуан», он подсмеивается над ней: «…Она имела ум математический… Она была живое поученье…»

Брак не спасло и рождение их дочери 10 декабря 1815 года.