В Верховном тайном совете при Петре II А. И. Остерману довелось выполнять не разовые поручения, как это происходило при назначении его для переговоров на Аландском и Ништадтском конгрессах, а участвовать в работе постоянно действующего учреждения. Однако при всей значимости Остермана в Верховном тайном совете времен Петра II он, хотя и приобрел значение «души совета», но был далек от роли, которую он будет выполнять впоследствии в Кабинете министров. А. И. Остерману было затруднительно единолично подчинить своему влиянию Верховный тайный совет. Во первых, из за его более многочисленного состава; во вторых, из за социальной принадлежности его членов: семь из девяти членов в царствование Петра II представляли две аристократические фамилии, свысока смотревшие на иноземца – сына пастора, хотя и дослужившегося до звания барона.

Крушение Меншикова подняло к вершинам власти не только А. И. Остермана. Не менее серьезно укрепился клан Долгоруковых. 3 февраля в состав Верховного тайного совета были введены опытный и образованный дипломат Василий Лукич Долгоруков и беззастенчиво тщеславный Алексей Григорьевич Долгоруков. Его сын, царский фаворит Иван получил главную придворную должность обер камергера. Следует отметить, что отношения Ивана с отцом были самими скверными. Не все Долгоруковы были в восторге от честолюбивых планов А. Г. Долгорукова и бесшабашного поведения его сына. Это открывало для Остермана некоторый простор для лавирования.

В целом осторожность и склонность находиться в тени привели Остермана к идее довольствоваться в Верховном тайном совете ролью «рабочей лошадки», а точнее «серого кардинала»: в его руках находилась подготовка повестки дня заседаний и составление резолюций. Судя по содержанию протоколов и журналов Верховного тайного совета, Андрей Иванович блестяще справлялся с этими обязанностями.

Рондо, кроме того, извещал об отношениях, сложившихся между Остерманом и императором, между ним и сестрой императора, великой княжной Натальей Алексеевной, а также между ним и фаворитом Петра II Иваном Долгоруким.

«Барон Остерман, – доносил К. Рондо 7 августа 1728 г., – благодаря своей лицемерной способности и болезненности пока в большой милости. Говорят, будто царевны Наталья Алексеевна и Елизавета Петровна очень расположены к нему. Все, кого я здесь ни видел, высокого мнения о его способностях. О том, насколько такое мнение справедливо, вы всего лучше можете судить по тому, как он держится. Барон страдает частыми припадками рвоты, которые, полагают, сведут его в могилу, но многие думают, что болезнь у него является по требованию, когда в совете разбирается какое нибудь щекотливое дело, барон уверен в ее услугах…».

Рондо сообщает любопытные сведения о том, как благоразумная сестра императора пыталась отвратить от него фаворита Ивана Долгорукова, оказывавшего на него дурное влияние: «Рассказывают, – доносил он 23 ноября 1728 г., – будто царевна Наталья Алексеевна (страдающая чахоткой) нашла с помощью барона Остермана возможность удалить этого молодого человека. Царевна в самых горячих выражениях представила брату дурные последствия, которые следует ожидать и для него самого, и для всего народа русского, если он и впредь будет следовать советам Долгорукова, поддерживающего и затевающего всякого рода разврат. Она прибавила, что и болеет от горя, которое испытывает, видя, как его величество пренебрегает делом, отдается разгулу». В следующей депеше Рондо сообщает о том, в чем конкретно выражается тлетворное влияние Ивана и его приятелей на императора: «Вблизи государя нет ни одного человека, способного внушить ему надлежащие, необходимые сведения по государственному управлению; ни малейшей доли его досугов не посвящается совершенствованию его в познании гражданской или военной дисциплины. Часы, свободные от верховой езды, охоты, развлечений, проходят в слушании пустых россказней о том, что случилось с таким то или таким то».