Гарун и его брат аль-Гади, который был на четыре года старше, воспитывались при багдадском дворе как наследники престола. Они изучали Коран, поэзию, музыку, историю и законы. Когда Гаруну исполнилось 12, в качестве советника и воспитателя к нему приставили опытного вельможу, визиря Яхью Бармакида. Яхья воспитывал Гаруна как собственного сына, и тот проводил много времени с семьей наставника. Связь была настолько тесной, что Гарун даже почтительно называл Яхью отцом. Яхья был преданным сторонником аль-Хазуран — матери Гаруна. Наставник Гаруна происходил из важного иранского рода из Хорасана. Отец Яхьи, Халид, успел послужить двум халифам — Абу аль-Аббасу и Абу аль-Мансуру. Мать Гаруна, бывшая рабыня родом из Йемена, была властной женщиной, которая сильно повлияла на власть в халифате.

Весной 780 года аль-Махди назначил военачальником своего сына, которому только исполнилось 14, и отправил его в поход против Византии. Халиф полагал, что в походе юный Гарун сможет получить необходимую военную закалку. В то же время, как размышлял аль-Махди, его сын сможет завоевать уважение и любовь воинов. В итоге Яхья Бармакид заботился в походе о своем подопечном, а стратегические задачи решали опытные полководцы. Результатом высосанного из пальца «учебного» похода стала осада Самалы, и крепость продержалась в окружении 38 дней. Защитники в итоге сдались, и их угнали в Багдад. Позже они образовали христианское поселение на восточной границе города. Несмотря на то что византийцы вскоре отвоевали Самалу, военный поход отпраздновали как великую победу юного Гаруна.

В 782 году аль-Махди отправил сына завоевывать новые земли вплоть до самого Босфора. Условия, на которых Гарун заключил мир с побежденными, были выгодны аббасидам. В Багдаде придворные поэты воспевали военную мощь Гаруна. Они провозгласили, что Гарун с вознесенным копьем приблизился к самым стенам Константинополя, но за щедрый выкуп помиловал город и его жителей. Благодаря своему великодушию Гарун получил прозвище «аль-Рашид», «праведный», буквально — «тот, что ступает по верному пути». Его также провозгласили правителем Туниса, Египта, Сирии, Армении и Азербайджана.

В порядке наследования престола Гарун был вторым после старшего брата Мусы аль-Гади. Когда халиф аль-Махди умер в августе 785 года, аль-Гади занял его место (арабское слово «халиф» означает «наместник Бога на земле»), и Гарун подчинился своей судьбе. Когда в сентябре 786 года аль-Гади неожиданно скончался, поговаривали, что его отравила мать обоих братьев аль-Хазуран. Аль-Гади бурно протестовал против того, чтобы мать вмешивалась в его дела. Советник Яхья объявил, что халифом станет двадцатилетний Гарун.

После вступления на трон Гарун сделал Яхью своим визирем, равно как и его сыновей аль-Фадля и Джафара. Аль-Фадль был ровесником Гаруна, серьезным юношей и талантливым вельможей. Однако любимцем Гаруна стал младший сын Яхьи Джафар, известный своей склонностью к гедонизму. Аль-Хазуран до самой своей смерти в 789 году сохраняла большое влияние на управление халифатом. После ее кончины дела династии стали контролировать Яхья и другие Бармакиды.

Воинственная природа Гаруна аль-Рашида дала о себе знать, когда он занял трон. Первым делом он усилил границы войсками и обеспечил воинов снаряжением, чтобы в любой момент быть готовым провозгласить джихад — священную войну против византийцев.