Императрица Елизавета Петровна, узнав о скандале, сильно разгневалась и велела учредить специальную комиссию для расследования злоупотреблений Крылова. Однако ловкий Глебов сумел взять «производство действий» в свои руки. Ему везло — вскоре императрица скончалась, а взошедший в 1761 году на престол Петр III назначил Глебова генерал-прокурором. Следственная комиссия тут же прекратила свою работу.

Будучи очень дружен с императором, Глебов довольно быстро занял прочное место среди приближенных к монарху вельмож. За два года, проведенные в прокурорском кресле, он помимо трудов на собственный карман все же сделал кое-что и для государства. Ему была поручена подготовка целого ряда важных узаконений. В частности, Александр Иванович являлся одним из авторов известных манифестов: от 18 февраля 1762 года «О даровании вольности и свободы всему российскому дворянству» и от 21 февраля 1762 года «Об уничтожении Тайной канцелярии». Он был соавтором указов об отобрании крестьян от духовенства, о прекращении гонений на раскольников, о введении в России бумажных денег.

В феврале 1762 года Глебова наградили орденом Святого Александра Невского — он стал первым александровским кавалером в царствование Петра III.

Генерал-прокурор работал много и неустанно. Каждый день к 8 часам утра он являлся во дворец с докладом к императору. Фактически Александр Иванович стал посредником между государем и Сенатом, почти все поручения Сенату были написаны рукой Глебова и только подписаны Петром III.

Однако время пребывания Глебова в должности генерал- прокурора оказалось весьма недолгим и довольно бесцветным. Оно характеризуется почти полным отсутствием «доношений» от представителей местной прокуратуры. А те немногие, которые к нему поступали, он обычно направлял в Сенат, не делая никаких предложений. Видимо, больше его занимали другие проблемы.

О корыстолюбии Глебова и даже императора рассказывала, в частности, княгиня Дашкова. Однажды Глебов, а также сенаторы Мельгунов и Нарышкин получили от некоего Хорвата по две тысячи дукатов каждый за то, что обещали поспособствовать решению его вопроса в Сенате. Когда они сообщили об этом Петру III, он не только не возмутился лихоимством своих вельмож, но даже похвалил их за то, что не скрыли от него подарков, и потребовал себе половину. После этого Петр III самолично отправился в Сенат и решил дело в пользу Хорвата.

Будучи опытным царедворцем, хитрым и изворотливым (современники называли его «человеком с головой»), А. И. Глебов очень тонко оценил обстановку во время дворцового переворота 2 года и, несмотря на привязанность к Петру III, сразу же поддержал Екатерину II. Поскольку он обладал не только исключительными способностями, но и трудолюбием, императрица, знавшая о его дурных наклонностях и корыстолюбии, продолжала держать Глебова на высшем прокурорском посту. Более того, она поручила ему вместе с графом Н. И. Паниным руководство только что созданной Тайной экспедицией, расследовавшей все политические дела.

Почти не занимаясь организацией работы подчиненных ему прокуроров, Глебов сосредоточил все внимание на деятельности Сената, хозяйственных и финансовых вопросах, подготовке различных узаконений. Именно в этом состояли многочисленные поручения императрицы, которые он исполнял очень оперативно, в считанные дни. Например, по предложению Екатерины II он подготовил специальное узаконение, направленное на борьбу с лихоимством судей и чиновников.

Но вскоре его положение при высочайшем дворе пошатнулось, чему в немалой степени способствовала всплывшая вдруг история с винным откупом в Иркутске.