В Багдаде Гарун жил в роскошном дворце, окруженном пышными садами, однако ему было тяжело в душном и густонаселенном городе. В 796 году Гарун решил перенести центр правления на берега Евфрата, в северный город Ракку. Там правитель наконец обрел спокойствие и проводил время за игрой в човган (древняя конная забава, похожая на поло) и шахматы, бродил по лесу и по вечерам наслаждался поэзией. Кроме того, Ракка была расположена недалеко от границ заклятого врага халифа — Византии. В следующем году Гарун аль-Рашид предпринял новый поход против греков. Время он выбрал благоприятное, поскольку Византия находилась в хаосе. Императрица Ирина пленила и ослепила своего сына, императора Константина VI, но византийские военачальники ее не поддерживали. Вследствие этого войска Гаруна продвинулись вплоть до Эфеса, и Ирина вынуждена была пойти на уступки арабам.

Гарун был человеком подозрительным и, похоже, страдал расстройством личности. Будучи злопамятным, он имел привычку истолковывать даже нейтральные или положительные поступки как угрозу или оскорбление в свой адрес. Как человек самовлюбленный, он также немедленно вспыхивал, если чувствовал угрозу своему статусу со стороны.

Еще с молодости Гарун ненавидел шиитов — последователей Али ибн Абу Талиба, двоюродного брата пророка Мухаммеда. Аббасиды утверждали, что они истинные родственники пророка, ведущие свой род от дяди Мухаммеда Аббаса. Шииты, в свою очередь, придерживались мнения, что прямые наследники Мухаммеда ведут свой род от Али.

Придворные поэты Гаруна насмехались над шиитами, но Бармакиды не одобряли такую ненависть со стороны халифа и считали преследование шиитов преступлением. Шииты, собиравшиеся у Джафара, жаловались на гонения со стороны Гаруна. Джафар со своей стороны делал все, чтобы эти жалобы не доходили до ушей халифа, и это весьма раздражало последнего.

Последователи Али подняли восстание в Хорасане, что на территории Ирана. Возглавлял мятеж тезка визиря Гаруна генерал Яхья ибн Абдулла, чей брат Мухаммед погиб в сражении против войск халифа Абу аль-Мансура. В 792 году Гарун отправил аль-Фадля — сына своего визиря — уговорить Яхью прекратить восстание и приехать в Багдад на переговоры. Гарун подписал официальный указ о помиловании мятежного генерала. Когда Яхья прибыл в Багдад, Гарун решил бросить его за решетку и начал придумывать способы для разрыва договора. Он повелел своим сановникам найти лазейку в соглашении, и, когда они это сделали, ликующий Гарун приказал Джафару заключить Яхью в тюрьму. Джафар счел это решение несправедливым и отпустил мятежника на свободу. Однако он признался халифу в содеянном. Публично тот одобрил решение вельможи, но на самом деле Гарун лишь тянул время. Он уже принял решение покончить с Бармакидами, но для этого ему потребовалось еще много лет.

Постепенно Бармакиды узнали, на какие маниакальные приступы гнева способен халиф. Гарун аль-Рашид выходил из себя, если Яхья Бармакид приходил к нему без официального приглашения. Масрур получил приказ ни за что не пускать визиря к халифу в подобных случаях. Также Гарун дал Масруру приказ наблюдать за придворными, чтобы никто не думал вставать в знак почтения, когда появлялся Яхья. Люди также не должны были смотреть ему в глаза, обращаясь по имени, а если Яхья за столом хотел выпить воды, то ему нужно было просить прислужников несколько раз.

У Гаруна было множество шпионов, которые ежедневно доносили, чем занимались Бармакиды. В личных беседах Джафар ужасался тому, что генерал Аббасидов Абу Муслим без причин казнил воинов из Омейядского халифата. По мнению шпионов, это указывало на то, что Джафар готов передать власть шиитам — последователям Али.

Бармакиды 17 лет были визирями Гаруна. Они отвечали за управление халифатом и делали все, чтобы денежные реки текли в Багдад, обеспечивая роскошную жизнь при дворе.