К этому времени Иван Терентьевич был уже женат на 20-летней Анне Ильиничне, урожденной Сизовой. В мае 1921 года у них родился сын Владимир.

За годы работы в военном трибунале Голяков приобрел определенный практический навык. Он много и упорно занимался самообразованием, однако чувствовал, что ему не хватает специальных знаний. Поэтому в 1922 году, с разрешения командования, без отрыва от основной работы, он стал посещать занятия на правовом отделении факультета общественных наук Северо-Кавказского университета. Учебу он успешно завершил в 1925 году, получив диплом по специальности криминалистика.

В Ростове-на-Дону Голяков прослужил четыре года. Потом он был выдвинут на должность заместителя председателя военного трибунала Западного и Белорусского военного округа и переехал в Смоленск. А еще через шесть лет, в сентябре 1931 года, — возглавил трибунал. К этому времени семья его увеличилась — в мае 1927 года родилась дочь Мария.

В 1931 году Иван Терентьевич успешно выдержал испытания на звание командира Рабоче-Крестьянской Красной Армии, и тогда же в Москве окончил курсы усовершенствования высшего начсостава РККА. За работу и общественную деятельность он не раз поощрялся командованием: награждался золотыми часами от Реввоенсовета Белорусского военного округа (май 1933 года) и от Реввоенсовета Союза ССР (декабрь 1933 года).

В марте 1933 года И. Т. Голяков становится членом военной коллегии Верховного суда СССР. В этой должности Иван Терентьевич прослужил почти пять лет. В январе 1936 года ему было присвоено воинское звание диввоенюриста.

Занимая столь высокий пост в течение длительного времени, И. Т. Голяков, естественно, был причастен и к тем репрессиям, которые проводила военная коллегия Верховного суда СССР в годы сталинизма. Через его руки прошло множество политических и уголовных дел. Приговоры выносились в духе того времени, особенно в отношении так называемых «контрреволюционеров» и «врагов народа», к которым причислить можно было фактически любого.

31 января 1938 года Прокурор Союза ССР А. Я. Вышинский подписал приказ о назначении Ивана Терентьевича Голякова Прокурором РСФСР. В этой должности он пробыл недолго — всего два с половиной месяца, не успев даже в сущности как следует вникнуть в дела и познакомиться с новой для него прокурорской системой. По этой причине он, конечно, ничем не сумел проявить себя на прокурорском поприще. Все, что он успел сделать, — это провести некоторые плановые мероприятия, подготовленные аппаратом, да подписать десяток-другой приказов и указаний.

14 апреля 1938 года Вышинский освободил И. Т. Голякова от обязанностей Прокурора РСФСР «ввиду перехода на другую работу». Исполнение обязанностей прокурора республики он возложил на В. А. Малюнова, бывшего тогда прокурором Московской области. Однако уже на следующий день Вышинский издал новый приказ (за тем же номером), согласно которому исполнение обязанностей Прокурора РСФСР возлагалось на помощника Главного военного прокурора бригвоенюриста М. И. Панкратьева. Что же касается В. А. Малюнова, то он был вообще снят с работы, а вскоре после этого арестован органами НКВД, осужден и расстрелян.

15 апреля 1938 года Голяков сдал все дела по прокуратуре республики Панкратьеву. На этом его прокурорская деятельность и закончилась.

И. Т. Голякову предстояло на долгие годы стать главным судьей страны. С мая 1938 года он исполнял обязанности Председателя Верховного суда СССР. Тогда же он был избран членом Свердловского райкома партии, а в июне — депутатом Верховного Совета РСФСР от Сухинического избирательного округа. На очередной сессии Верховного Совета РСФСР (июль 1938 года) Голяков становится председателем комиссии законодательных предположений.