Однако и лорд Спенсер не привык повторять дважды: "У меня нет ни желания, ни намерения отзывать Вас со службы, однако по причине своего нездоровья Вы должны покинуть Ваш пост у Мальты. Я полагаю, Вы не сделали бы этого без особой необходимости. Но мне кажется, что Вам лучше немедленно вернуться домой, чем оставаться бездеятельным в Палермо, в то время как в других местах идут военные действия. Я думаю, все Ваши друзья согласятся с тем, что Вы вернете себе здоровье и силы в Англии гораздо быстрее, чем теряя время в чужом королевском дворе — как бы ни были приятны почести, которые Вам оказывают за Ваши заслуги".

После этого письма Нельсон понимает, что его служба на Средиземном море завершена. Дело в том, что из-за тяжелой болезни недавно был вынужден покинуть свой пост граф Сент-Винсент. Сразу встал вопрос о преемнике. Нельсон считал, что как герой Абукира имеет все права стать главнокомандующим атлантическим флотом. Для него это был бы огромный прыжок в карьере, ведь по штату военного времени во главе флота должен был стоять полный адмирал. Однако лорды Адмиралтейства после долгих дебатов пришли к выводу, что Нельсон как главнокомандующий вряд ли сможет без влияния леди Гамильтон самостоятельно принять хоть какое-то решение, а поэтому все действия флота в конце концов сведутся к отстаиванию неаполитанских интересов. Опасение внушало и здоровье Нельсона, на которое тот жаловался почти в каждом письме (особенно если служебные дела обстояли не слишком хорошо). Именно поэтому Адмиралтейство приняло решение о назначении на эту престижнейшую из должностей в британском флоте не агрессивного и талантливого Нельсона, а трудолюбивого и дисциплинированного Кейта. Впрочем, Кейт был впереди Нельсона по старшинству и формально придраться к его назначению было нельзя.

После всего этого Нельсону ничего не оставалось, как сдавать дела и уезжать в Англию, причем чем быстрее, тем лучше. Но и здесь Нельсон остался верен себе. Он снова просит Адмиралтейство предоставить для его (и четы Гамильтонов, разумеется) переезда линейный корабль. Разумеется, Адмиралтейство ответило решительным отказом.

Нельсон обиделся. Он искренне считал, что его заслуги стоят того, чтобы к нему относились не так, как ко всем другим. Леди Гамильтон утешала и говорила, что если обстоятельства складываются таким образом, то им лучше всего отправиться в Англию сухопутным путем через Европу. Они бы сопровождали королеву Марию Каролину, которая решила нанести визит своим родственникам в Вене. Таким образом, леди Гамильтон рассчитывала продолжить прославление Нельсона, но уже по всей материковой Европе.

— Я превращу для тебя эту поездку в сплошной триумф! Пусть все увидят героя Нила! — говорила она своему Горацио. — Поверь, это будут самые счастливые дни твоей жизни!

Будущее влюбленных, однако, не представлялось безоблачным. Нельсон не мог не понимать, что своей связью с Эммой ставит под удар свою репутацию и карьеру. Эмма также не могла не понимать, что связь с Нельсоном грозит перечеркнуть все, чего она с таким трудом добилась в своей жизни. Не был для обоих выходом из создавшегося положения и развод, ибо во времена Георга III отношение к разводу было в Англии самое отрицательное.

Исследователь жизни Нельсона В. Трухановский пишет: "В самом конце восемнадцатого века положение с разводами в Англии осложнилось. В 1798 году палата лордов унифицировала многочисленные юридические положения и установления, регулирующие эту область семейных отношений. Теперь процедура развода предусматривала три стадии: сперва требовалось получить положительное решение специального церковного суда; затем муж, если он хотел вновь вступить в брак, должен был обратиться в палату лордов, которая в случае своего согласия принимала специальный билль о разводе, и, наконец, после всех этих процедур выносил свое решение обычный суд.