В начале 1740 года его было не узнать – закаленный, возмужавший. Он возвращается в Петербург и получает неожиданное для себя назначение – советником в Главную полицию. Скоро он становится генерал-полицмейстером и получает чин действительного статского советника. Но служба оказалась беспокойной и трудной, «редкий день без атак и штурмов приходился».

Правление Анны Леопольдовны было недолгим, но принесло Шаховскому должность сенатора, а вот следующий дворцовый переворот, воцарение Елизаветы Петровны, лишил его этого звания. Однако вскоре последовало новое назначение – теперь он обер-прокурор Святейшего синода.

«Записки» многое объясняют в его карьере. «Я еще с начала вступления в свет поставил в сердце моем предметом, чтобы во всех случаях, делах и поведении моих чистосердечно поступать, злоковарных же лестей и обманов употреблять гнушаться, а справедливость всему предпочитать». Именно этим стремлением к справедливости он и наживает себе множество врагов среди членов Синода. Некоторые из них, по его словам, чуть ли не на коленях упрашивали Елизавету Петровну удалить слишком требовательного прокурора. Однако ему удалось прослужить в этой должности более одиннадцати лет, дослужиться до чина тайного советника, получить ордена Святого Александра Невского, Святой Анны и другие. 29 мая 1753 года Шаховской был назначен генерал – кригскомиссаром, то есть главным начальником по снабжению армии и флота. На этом поприще он весьма строго следил за соблюдением государственных интересов и, по собственному выражению, ему приходилось «многие патриотические дела производить». Нередко в неимоверно тяжелых условиях, по бездорожью и в распутицу он доставлял припасы в армию «без повреждения» и в «целосохранносги».

Особую заботу генерал проявлял о солдатах. В одну из суровых зим в Москву прибывали многочисленные команды новобранцев, среди рекрутов было много заболевших. Как-то раз Шаховской выехал в московский госпиталь, желая лично ознакомиться с условиями содержания солдат. Навстречу ему попались несколько дровней с лежащими в них людьми. На вопрос, куда их везут, сопровождающий унтер-офицер ответил: «Из гошпиталя, ваше сиятельство, в команду. Хворые они все тяжкими недугами». Шаховской недоумевал: «Так не из госпиталя надо везти, а в госпиталь». – «Не принимают их за теснотою в оном». Шаховской приказал развернуть дровни и ехать обратно. В госпитале оказались переполненными все покои – люди все прибывали, а размещать их было негде. Яков Петрович принял решение отселить из госпиталя проживавших там больничных служащих, а больных разместить в освободившихся помещениях. Часть медицинского персонала поселили в здании расположенной поблизости дворцовой пивоварни. Недоброжелатели тут же донесли об этом императрице Елизавете Петровне – якобы в ее величества пивоварне лежат больные «с прилипчивыми болезнями», а прачки стирают грязные бинты. Та разгневалась и поручила разобраться в этом деле начальнику своей Тайной канцелярии графу Шувалову. Шувалов послал в Москву для расследования поручика Безобразова: «Если ты по освидетельствовании обнаружишь в пивоварне больных и прачек, то всех их немедленно пересели для жительства в дом князя Шаховского». Московские враги Шаховского подкупили комиссара госпиталя, и он накануне приезда столичного курьера действительно перевез в пивоварню три десятка больных и прачек. Безобразов во исполнение приказа усадил их на подводы и привез в дом Якова Петровича, предъявив письмо начальника Тайной канцелярии. Шаховскому ничего не оставалось, как распахнуть свои покои, а самому перебраться в маленькую каморку. Будучи человеком негневливым, он все обратил в шутку, а через некоторое время ему удалось оправдаться перед императрицей. Комиссар же, мучимый угрызениями совести, вскоре наложил на себя руки.

15 августа 1760 года Яков Петрович становится генерал-прокурором и одновременно конференц-министром.