Однако роман с фаворитом развивался как-то рывками. Вдова жаждала выйти замуж за Роберта, но он в своих письмах совершенно откровенно заявлял ей, что не может жениться даже с целью обзавестись законным наследником, ибо потеряет милость королевы. Граф Лестер зашел настолько далеко, что предложил любовнице помощь в обретении достойного мужа, поскольку из соображений респектабельности ей было предпочтительно обзавестись таковым, пока Дуглас была молода и в состоянии обрести претендентов на свою руку. Тем не менее эта связь продолжалась, и в 1574 году вдова родила младенца, которого также назвали Робертом. Лорд Дадли признал мальчика своим сыном и очень любил его. С Дуглас Шеффилд он, в конце концов, расстался, но мирно договорился с ней о совместном воспитании ребенка. Мальчик проживал в основном в доме Дадли, где ему обеспечивалось хорошее образование, но мог в любое время посещать мать. Та деятельно занялась устройством своей личной жизни и в 1579 году вышла замуж за Эдварда Стаффорда, человека с большими связями при дворе. Знакомства с влиятельными сановниками позволили ему получить должность посла Англии во Франции, каковые обязанности он исполнял в период с 1583 по 1591 год. В Париже его жена пользовалась большим уважением и даже сумела завоевать дружбу королевы Катарины Медичи.

Параллельно у Дадли развивался роман с женой Уолтера Деверё, Леттис, урожденной Ноулз (1543–1634). Эта связь вовсе не походила на мимолетную интрижку и вызвала большое неудовольствие королевы, поэтому любовники были вынуждены скрывать свои отношения. Леттис, по мнению иностранных дипломатов, была одной из самых блестящих дам при дворе. Красоту она унаследовала от своей бабки Мэри Болейн, старшей сестры Анны Болейн, так что приходилась Елизавете дальней родственницей. Некоторые современники были склонны считать это родство более близким, ибо Мэри, наделенная броской внешностью, некоторое время состояла любовницей короля Генриха VIII. Предположительно, ее дети Кэтрин (мать Леттис) и Генри Кэри были детьми короля.

Во всяком случае, после воцарения Елизаветы на престоле, Генри Кэри сделал блестящую карьеру, выполняя многие ответственные поручения венценосной кузины, муж Кэтрин был назначен вице-гофмейстером, сама Кэтрин — старшей фрейлиной, а юная Леттис — фрейлиной. Неудивительно, что девушка вскоре нашла себе родовитого и состоятельного мужа, Уолтера Деверё, виконта Херефорда, и поселилась вместе с ним в родовом поместье Чартли. Один за другим пошли дети, в частности, в 1565 году родился сын Роберт, будущий фаворит королевы. Ходили слухи, что уже в пору беременности Робертом у Леттис начался роман с графом Лестером, что вызвало негодование королевы. Впрочем, гнев Елизаветы совершенно не распространялся на законного мужа ветреной красавицы, ибо тот оказал ценные услуги короне, за каковые в 1572 году ему был пожалован титул графа Эссекса.

Лорд Эссекс был преданным слугой королевы и предложил ей план заселения Ольстера англичанами при условии, что получит половину той земли, которую удастся урвать у ирландцев. Для претворения этого замысла в жизнь он был вынужден отправиться на два года в Ирландию, но, по-видимому, и туда до него дошли слухи о неверности супруги, ибо Эссекс стал проявлять большую враждебность в отношении Роберта Дадли. Стоустая молва гласила, что во время его отсутствия жена дважды забеременела от графа Лестера и была вынуждена избавляться от плодов преступной страсти. Неизвестно, чем закончилась бы эта двусмысленная ситуация, если бы 21 сентября 1576 года Эссекс не умер в Ирландии от дизентерии.