После смерти Эдуарда VI в 1553 году он решил предотвратить восшествие на престол сводной сестры короля, Марии Тюдор, а сделать королевой 16-летнюю леди Джейн Грей. Герцог Нортумберлендский полагал, что имеет на то веские основания, ибо она была замужем за его вторым сыном, Гилдфордом Дадли. Как известно, из этого замысла ничего не вышло, смутьяна заключили в Тауэр вместе с пятью сыновьями, включая Роберта, и всех приговорили к смертной казни. Пребывание Роберта в Тауэре совпало с заключением там Елизаветы, с которой он с детства состоял в дружеских отношениях. Известно, что Роберт ссужал ее в заключении деньгами и даже продал кое-какое имущество, дабы раздобыть требуемые средства. Однако же осталось тайной за семью печатями, какую сумму принцесса получила от него и вернула ли заем. Учитывая обычай Елизаветы никогда не платить долги, вряд ли возврат имел место. По указанию мстительной Марии Тюдор голову на плаху положили герцог-отец и второй сын Гилдфорд; хлопотами вдовы остальные четыре отпрыска осенью 1554 года были освобождены.

Роберт женился рано, в восемнадцать лет, на своей ровеснице, Эми Робсарт (1532–1560), дочери состоятельного провинциального дворянина, активно занимавшегося земледелием и скотоводством. По свидетельствам современников, это был брак по любви, и нам остается лишь поверить им на слово. Согласно брачному контракту, Эми должна была унаследовать имущество отца и матери только после смерти обоих, поэтому молодая семья полностью зависела от средств, выделяемых им на прожитье родителями. Ни одного портрета Эми Робсарт не сохранилось, но остались свидетельства современников, в частности, посол Священной Римской империи германской нации Каспар Бреннер писал в своих донесениях, что «у фаворита королевы очень красивая жена». После казни герцога Нортумберлендского имущество семьи было конфисковано, так что уцелевшим сыновьям пришлось начинать жизнь с чистого листа. Из тринадцати детей герцогской четы к 1558 году в живых остались лишь Роберт с братом Эмброузом и две сестры. В результате тяжких невзгод, постигших семью Дадли, Роберт и его жена остались без крыши над головой. Им и ранее приходилось жить без постоянного угла, но Эми так и не было суждено обрести его. До самой смерти она была вынуждена постоянно искать приюта у друзей.

Со вступлением Елизаветы на престол карьера Роберта круто пошла вверх. Должность шталмейстера была чрезвычайно важной, ибо предполагала непосредственную близость к монарху. К тому же Роберт, прекрасный наездник, отлично разбиравшийся в лошадях и коневодстве, действительно с увлечением занимался порученным ему делом, наведя порядок в переездах королевы, обеспечении подведомственного гужевого хозяйства лошадьми и средствами передвижения на все случаи. Здесь следует сделать отступление, которое пояснило бы важность этой службы для королевы.

Во-первых, Елизавета любила отчаянную верховую езду и соколиную охоту. Во-вторых, большую часть года королева проводила в Лондоне, где каждый день являлась народу. Прочее же время она посвящала пребыванию в различных монарших резиденциях или навещала знатные семейства в их замках или поместьях. При этом у народа появлялась возможность либо поглазеть на свою королеву, либо обратиться к ней с прошением. Сделать это было не так уж сложно, ибо из-за нагруженного различными предметами обоза — Елизавета, например, везде возила за собой свое роскошное ложе — скорость передвижения свиты не превышала трех миль в час. Она не чуралась принимать участие в полуязыческих праздниках черни, терпеливо выслушивала нескладные речи простонародья, во все горло хохотала над неуклюжими шутками плебеев, участливо интересовалась нуждами и чаяниями самых жалких своих подданных.