Тем временем Пашо-бей, решивший бороться с влиянием Али, сделался ходатаем за всех, кто пытался жаловаться на лихоимство паши. Ему удалось довести до сведения султана и жалобы своих клиентов, и собственные претензии. Тот посочувствовал его бедам и в утешение пожаловал ему чин капиджи-баши. Тогда же он ввел в свой совет некоего Абду-эфенди, уроженца Ларисы и одного из богатейших людей Фессалии, которому пришлось бежать от произвола Вели-паши. Два новоиспеченных сановника, которым удалось привлечь на свою сторону Халет-эфенди, решили использовать все свое влияние, чтобы отомстить, наконец, Али Тепеленскому. Узнав о возвышении Пашо-бея, Али очнулся от безмятежного состояния духа, в котором пребывал последнее время, и весьма встревожился. Предвидя, сколько вреда может принести ему этот человек, прошедший выучку у него на службе, он вскричал: "О, если бы небеса вернули мне силы и молодость, я зарезал бы его прямо в диване".

Вскоре врагам его представилась прекрасная возможность подорвать его влияние. Вели-паша, впятеро увеличив по своему произволу налоги в Фессалии, учинил там столько лихоимств, столько бесчинств, что многие жители предпочли скорее терпеть горести и опасности жизни на чужбине, чем сносить подобную тиранию на родине. Начался массовый исход греков в Одессу, а знатные турецкие семьи, явившись в Константинополь, объединились вокруг Пашо-бея и Абду-эфенди. Те не преминули похлопотать за беженцев. Султан, не осмеливаясь еще открыто обрушиться на семейство Тепеленов, тем не менее сместил Вели и перевел его на незначительную должность в Лепанте. Тому, пусть и нехотя, пришлось повиноваться. Покинув недавно выстроенный в Рапшани дворец, он отправился к месту ссылки в сопровождении всякой швали: морлакских комедиантов, цыган-плясунов, поводырей медведей и толпы проституток.

Уязвленный в самое сердце унижением могущественнейшего из своих сыновей, Али решил устрашить врагов, показав, что его нелегко запугать. Отправив в Константинополь троих албанцев, он приказал им убить Пашо-бея. Тем удалось подстеречь его в ту минуту, когда он шел в мечеть Святой Софии, куда в тот же день должен был прибыть сам султан, чтобы присутствовать на торжественной пятничной службе. Убийцы несколько раз выстрелили в Пашо-бея и ранили его, но не смертельно.

Убийц схватили на месте преступления и повесили перед воротами султанского сераля, выпытав, что подосланы они пашой Янины. Уразумев, наконец, что пора покончить с этим опасным человеком, диван заново рассмотрел его прегрешения и составил фирман, который был затем скреплен великим муфтием. Фирман гласил, что Али Тепеленский, не раз получавший прощение за свои бесчинства, виновен теперь, прежде всего, в оскорблении величества. Он будет подвергнут опале как бунтовщик, если в течение сорока дней не явится к золотым дверям монаршей милости, откуда повелитель одаряет венцами государей всего мира, и не оправдается. Али, понятно, и не подумал повиноваться приказу. Тогда диван устами великого муфтия покарал его отлучением от мусульманской веры.

Али как раз находился в Парге, куда явился в третий раз после захвата города, когда секретари сообщили ему, что отныне лишь жезл Моисеев мог бы спасти его от гнева фараонов. Иными словами, ему не на что надеяться. Но Али, уповая на обычное свое везение, упорно верил, что, как всегда, выпутается из затруднений с помощью интриг и золота, и, не прерывая развлечений, которым безоглядно предавался, ограничился тем, что послал в Константинополь дары и прошения. Но ни те, ни другие не возымели действия. Никто не осмеливался передать их султану, поклявшемуся отрубить голову всякому, кто заговорит с ним об Али Тепеленском.