Быстро сориентировавшийся в обстановке Гарновский понял, что стесняться нечего. Пока наследники дрались, он под шумок вывез из Таврического дворца к себе в дом на набережной Фонтанки статуи, мебель, картины и даже строительные материалы. Державин поддразнил его в послании «Ко второму соседу»: «И ах, сокровища Тавриды / На барках свозишь в пирамиды / Средь полицейских ссор».

Подобные поступки ближних Потемкина не делали чести его памяти. Зубовы прекрасно сумели использовать ситуацию. Раздражение императрицы на родственников и наследников светлейшего оказалось как нельзя кстати в разгоревшемся скандале с Павлом Сергеевичем Потемкиным. В сентябре 1795 года правитель Персии Ага-Мохаммед-хан совершил набег на Грузию, еще в 1783 году перешедшую под протекторат России. Ответную экспедицию в Персию мог возглавить Суворов, но он в это время готовился к походу против «безбожных французов». Екатерина хотела назначить главнокомандующим П. С. Потемкина, именно он когда-то подписал Георгиевский трактат, был несколько лет наместником земель на Северном Кавказе, хорошо знал театр военных действий, а недавно отличился во время похода в Польшу, получил чин генерал-аншефа, орден Святого Георгия 2-й степени и графский титул.

Однако фаворит желал видеть на этом посту своего брата Валериана, он тоже участвовал в действиях против Польши, был ранен и потерял ногу. И тут всплыло дело 9-летней давности об убийстве прежнего правителя Гиляна Гедает-хана. Зубовы обвинили Павла Сергеевича в том, что он, пользуясь междоусобицей в Персии, умертвил Гедаета и присвоил его сокровища. В ноябре 1795 года была наряжена следственная комиссия, которая выявила причастность к делу русского консула в городе Энзели Тумановского и его преемника Скаличи. Гедает хотел скрыться от войны в Астрахани, получил на это разрешение Павла Сергеевича, погрузил свою казну на фрегат, но Тумановский и Скаличи дали об этом знать Мохаммед-хану. Тот захватил Энзели, убил Гедаета, выбросил его тело в море, а сокровища забрал, не поделившись обещанной суммой с корыстными консулами. Вскоре Тумановский умер, а вот Скаличи был сослан по решению суда в Сибирь.

Против Павла Сергеевича обвинения не выдвигались, но грязные слухи запятнали его репутацию. Назначение стало невозможным. Поход в Персию возглавил Валериан. Потемкин сочинил оправдание в стихах «Глас невинности», где искал защиты у тени брата: «Ах, может быть, за то от клеветы страдаю, / Что имя я твое один теперь ношу!» В марте 1796 года ошельмованный Павел Сергеевич умер, а его вдове Прасковье Андреевне (той самой Параше Закревской) вместо сокровищ Гедает-хана остались немалые долги.

Однако Зубовы напрасно торжествовали победу. Смерть Екатерины 6 ноября 1796 года поставила точку в их блестящей карьере. На престол вступил Павел I, и начался новый этап гонений на память светлейшего.

В последние годы царствования императрицы старые соратники князя, в том числе и Суворов, собирались в склепе Екатерининского собора в Херсоне. Там над гробом основателя города висела богато украшенная икона Спасителя, которой в 1774 году Екатерина благословила Потемкина на генерал-губернаторство. Перед ней служили панихиды. По памятным дням склеп был полностью засыпан цветами. Все это вызвало раздражение Павла. Новый император не знал, что, несмотря на указ Екатерины, памятник Потемкину в Херсоне не был сооружен, а потому требовал немедленно снести несуществующий постамент. 10 марта 1798 года он писал генерал-прокурору князю А. Б. Куракину: «По разстройке, в которой оставлены дела князем Потемкиным, в управлении его бывшие, неприлично быть монументу, в память его воздвигнутому, и для того сооруженный от казны в городе Херсоне повелеваем уничтожить. О чем и учините вы надлежащее распоряжение».