М. И. Панкратьев служил в войсковых частях до сентября 1929 года, занимая должность военного комиссара в полках бронепоездов и 110-м стрелковом. Он всегда искренне тянулся к знаниям. За годы службы много читал, серьезно увлекался юриспруденцией и даже сумел прослушать два курса юридического факультета Института красной профессуры. Все это привело его к мысли оставить строевую службу и перейти в органы прокуратуры. В ноябре 1929 года, по личной просьбе, после тщательной аттестационной проверки, 28-летний Панкратьев получает назначение в военную прокуратуру и становится помощником военного прокурора азербайджанской 2-й кавказской стрелковой дивизии и Каспийского военного флота. Вскоре его прикомандировали к военной прокуратуре Кавказской Краснознаменной армии и поручили исполнять нештатную должность прокурора тбилисского гарнизона. В апреле 1933 года при формировании корпуса железнодорожных войск его назначили военным прокурором 4-й бригады, обслуживавшей строительство железнодорожной ветки Москва—Донбасс. В марте 1933 года Главный военный прокурор переводит М. И. Панкратьева на работу в центральный аппарат. Здесь он служил в должности военного прокурора отдела, а позднее — начальником отдела и помощником Главного военного прокурора.

В апреле 1937 года Панкратьев был избран заместителем секретаря партийного комитета Прокуратуры СССР. В характеристике, подписанной секретарем парткома Горбулевым, отмечалось, что Панкратьев «принимал активное участие в работе прокуратуры по выкорчевыванию врагов народа и ликвидации последствий вредительства». Сам Михаил Иванович писал в автобиографии, что он «колебаний от линии партии не имел, взгляды разного рода оппозиции не разделял».

Первое время Панкратьев проживал у родственников жены, а в 1937 году, когда после ареста Тухачевского освободилась огромная квартира маршала (из 11 комнат), он занял в ней 2 комнаты. Жил он очень замкнуто, не любил ходить ни в театры, ни в гости.

20 мая 1938 года М. И. Панкратьев был назначен Прокурором РСФСР. На этом посту он находился в течение года, стал депутатом Верховного Совета РСФСР. Михаил Иванович ревностно выполнял все директивы партии и правительства, а также указания и распоряжения Прокурора Союза ССР Вышинского, который рекомендовал его на свое место, когда стал заместителем Председателя Совнаркома СССР. Правда, особого выбора у Вышинского и не было, так как после основательных чисток, кадры органов прокуратуры серьезно оскудели.

31 мая 1939 года М. И. Панкратьев занял кабинет Прокурора Союза ССР в здании на Пушкинской улице. На высоком посту он пробыл немногим более года. Жена Панкратьева, Ольга Сергеевна, рассказывала: «Михаила назначили на эту должность в страшное время. Шли аресты и расстрелы людей, занимавших высокие посты. Телефон в нашей квартире на Ленинском проспекте звонил, не умолкая, хоть совсем его срезай, да нельзя. По сто раз на дню: «Помогите с Михаилом Ивановичем встретиться, умоляю!» Мне было запрещено отвечать, и я молча вешала трубку. Все равно повлиять на мужа никак не могла. Бакинский прокурор, с которым когда-то жили в одном доме, был арестован. Его жена все время искала со мной встречи. Я жалела ее, рассказывала мужу, как она убивается, спрашивала, можно ли ей помочь. Михаил закрыл эту тему раз и навсегда. Говорить дома о его работе было запрещено… С какого-то времени Михаил стал просить, чтобы в доме был коньяк, чтоб, когда он придет с работы — бутылка стояла. Так всю ночь, бывало, за бутылкой и просидит. А когда я забывала поставить, сердился: «Ты пойми, Оля, мне хоть рюмочку, но обязательно надо выпить». Сколько санкций на арест и расстрел ему приходилось подписывать! Неимоверное количество! Он много подписывал, но и на пересмотр много отсылал. Не терпел никакой неясности. Когда его секретарь спрашивала, что делать с неподписанными доносами и жалобами, которые шли мешками, орал: «Рвать, не читая!» Анонимки приводили мужа в ярость, его трясло.