3 февраля 1764 императрица сместила Глебова с поста генерал-прокурора, оставив лишь в должности генерал-кригскомиссара. В 1773 «пожалован» в генерал-аншефы. В 1775 получил новое назначение, став смоленским и белгородским генерал-губернатором. Но уже в следующем году ревизия выявила злоупотребления в Главном кригскомиссариате. Глебов был отозван из наместничества, отстранен от всех должностей и отдан под суд. Его признали виновным «в небрежении должности» и исключили со службы.

А. И. Глебов скончался в июне 1790; погребен в своем подмосковном имении Виноградово.

Мало занимаясь организацией работы местной прокуратуры, А. И. Глебов сосредоточил основное внимание на деятельности Правительствующего сената, хозяйственных и финансовых вопросах, в которых он основательно разбирался, подготовке различных узаконений. Именно по этим вопросам к нему поступали многочисленные поручения Екатерины II, которые он исполнял всегда оперативно и аккуратно, в считанные дни давая ответ императрице.

1762 г. октября 2 дня.

По делам важным, кои касаются до первых двух пунктов и кои принадлежали до Тайной канцелярии, а вступают из разных мест в Сенат, оные распечатывать и определение чинить по оным с ведома нашего вам обще с тайным советником Никитой Ивановичем Паниным, и дела, кои между тем явятся маловажные, оные сжечь, не делая на них сенатских определений.

Следует заметить, что Тайная канцелярия была уничтожена Манифестом Петра III от 21 февраля 1762 года. Императрица Екатерина II своим Манифестом от 19 октября 1762 года подтвердила уничтожение Тайной канцелярии. Однако еще до этого она поручила создать Тайную экспедицию при Сенате (не оформляя это поручение каким-либо документом). Тогда же она дала и приведенное выше распоряжение генерал-прокурору А. И. Глебову не только вершить суд и расправу по всем политическим делам (совместно с Н. И. Паниным), но и определять важность дела и уничтожать те из них, которые он сочтет недостойными внимания Тайной экспедиции. Что касается указанных императрицей «первых двух пунктов», то под «первым» пунктом подразумевались дела об «умысле против императорского звания, персоны и чести», а под «вторым» — дела об «измене государю и государству», что было разъяснено еще указом от 14 апреля 1730 года.

Одновременно с Тайной экспедицией в Петербурге был создан и ее Московский филиал при сенатской конторе, который однако же летом 1763 года Екатерина II подчинила главнокомандующему в Москве П. С. Салтыкову.

Императрица часто давала Глебову поручения, касающиеся политических дел:

1763 г. февраля 5 дня.

Александр Иванович! Приложенную челобитную принес ко мне Федор Иванович Вадковский по просьбе челобитчика, и он мне советовал о сем деле послать нарочного офицера для исследования, а можно, что до Тайной касается, и здесь спрашивать, а о прочем приказать тамо исследовать, а по распросе мы можем завтра лучше увидеть важность дела: однако ж есть ли рассудишь, что туда послать, то я на то соглашусь.

Но не только челобитные по делам политическим беспокоили государыню. Не в меньшей степени волновала ее и работа Правительствующего сената, его неповоротливость при рассмотрении весьма важных дел. 12 ноября 1763 года она пишет генерал-прокурору:

Ужасная медлительность в Сенате всех дел принуждает меня вам приказать, чтоб в пятницу, то есть послезавтра, слушан был в Сенате проект о малороссийской ревизии господина Теплова; причем и ему надлежит быть.

В данном случае речь шла о записке Григория Николаевича Теплова «О непорядках, которые происходят от зло употребления прав и обыкновений, грамотами подтвержденных Малороссии», которая впоследствии оказала большое влияние на решение вопроса об уничтожении гетманства на Украине и учреждении Малороссийской коллегии.