Наличие красавицы жены, которую Харви так регулярно оплодотворял, совершенно не мешало ему увлекаться представителями противоположного пола. В 1726 году он повстречал в Бате 21-летнего помещика Генри Фокса и начал обхаживать его. Курс лечения на курорте завершился, отдыхающие разъехались по домам и общались посредством корреспонденции, более смахивавшей на переписку двух влюбленных голубков. На следующий год любовники вновь встретились в Бате, но Генри имел то ли несчастье, то ли счастье привезти с собой 23-летнего брата Стивена, на которого Харви немедленно переключил свое внимание. После пребывания в поместье Фоксов в графстве Сомерсет пара прошла еще одно двухмесячное лечение в Бате и отправилась в полуторагодовое путешествие по Европе.

От леди Харви потоком шли письма, подписанные «Твоя тоскующая жена», и по возвращении в родные пенаты муж прямиком направился в свое имение утешить ее и заодно отдать кое-какие хозяйственные распоряжения. По подсчетам современников, как раз через девять месяцев, день в день, Мэри родила их пятого ребенка. Из этого совершенно не следует делать вывода, что Стивен Фокс опостылел ему и Джон предпочел семейные ценности. Он убедил лорда Бэтмена (которого родня вынудила из-за его гомосексуальных наклонностей оформить раздельное проживание с женой, дочерью графа Сандерленда, видного политика) приютить Стивена в своем доме в Виндзоре. Объекты обеих привязанностей лорда Харви сблизились настолько, что даже после его смерти овдовевшая супруга и Стивен оставались друзьями до конца своих дней.

Хотя в глазах общества Харви был гомосексуалом, на самом деле он был бисексуалом, что подтверждалось вышеприведенным метким высказыванием леди Мэри Уортли Монтегю (1689-1772). Российскому читателю не совсем понятно, почему стоит верить именно этому утверждению, но эта женщина определенно знала, что говорила. Она всю свою жизнь пыталась идти против течения. Еще будучи юной дочерью герцога Кингстона, она не пожелала стать типичной кисейной барышней и тайком приобрела большие знания, пользуясь огромной библиотекой отца. Этими познаниями Мэри завоевала сердце своего будущего мужа, но сей претендент на руку дочери не понравился ее родителям. Тогда она просто-напросто сбежала и обвенчалась с ним без родительского благословения.

В качестве замужней дамы леди Монтэгю произвела сильное впечатление на лондонский свет своими умом и красотой. Когда ее мужа назначили послом в Константинополе, она последовала за ним и там ухитрилась даже попасть на прием к султану, переодевшись в мужской костюм. До сей поры не теряет своей исторической ценности ее труд «Письма турецкого посольства». Путевых заметок мужчин о путешествиях на Восток довольно много, но никто из них не смог проникнуть в закрытый мир турецкого гарема. В этих посланиях совершенно отчетливо просматривается гомоэротическая направленность. Отсюда неудивительно, что, когда автор возвратилась в Европу, пошли слухи, что она обзавелась женским сералем. К тому времени Мэри переболела оспой, причем болезнь нанесла существенный урон красоте ее лица. Леди Монтэгю сошлась с Харви, ибо, как выражался один из биографов лорда, это было неизбежно: «они понимали друг друга как несовершенных, но привлекательных человеческих существ, которых и являли собой, соответственно, леди Мэри как женщина, временами желавшая быть мужчиной, и лорд Харви как ее противоположность». В особенности нашумел их роман à trois с итальянским литератором и искусствоведом Франческо Альгаротти, более известным в истории под прозвищем «Падуанский лебедь» в роли фаворита прусского короля Фридриха II Великого.

Истинную глубину отношений Харви с его друзьями обоего пола теперь выяснить трудно, ибо потомки хорошо поработали над его рукописным наследием.