В ноябре 1909 года, когда Ивану Терентьевичу шел 22-й год, его призвали на службу в царскую армию. Более трех лет он тянул солдатскую лямку в Кексгольмском полку, расквартированном в Варшаве. После демобилизации в апреле 1913 года Голяков вернулся в родное село, где снова занялся сельским хозяйством. Однако ему недолго пришлось трудиться на крестьянской ниве. Началась Первая мировая война, и он был призван под царские знамена. Голяков провел в окопах почти четыре года, с июля 1914 по март 1918, сполна испытав на себе все военные тяготы и выслужив чин унтер-офицера. Война, по его словам, явилась «суровой школой», которая только укрепила в нем «враждебные царизму убеждения». Он с радостью воспринял известие о Февральской революции в Петрограде. На первом же армейском собрании выступил с пламенной речью против империалистической бойни и с критикой рухнувшего режима. Солдаты избрали красноречивого оратора членом ротного, затем полкового и, наконец, в апреле 1917 года — армейского Совета солдатских депутатов. Познакомившись с Апрельскими тезисами В. И. Ленина, напечатанными в «Правде», И. Т. Голяков стал преданным сторонником большевиков и с тех пор неизменно поддерживал их.

В марте 1918 года Голяков, больной и разбитый, вернулся на родину. Некоторое время он работал в местном кооперативе (был заведующим сельпо), но затем вихрь революции захватил его полностью и понес по жизни. В декабре 1918 года он вступает в партию и фактически создает партийную ячейку на селе, активно участвует в организации комитета бедноты и сам возглавляет его в Обольяновской волости. Затем он становится секретарем и председателем Обольяновского исполнительного комитета. На советской работе он пробыл до мая 1919 года, после чего добровольно вступил в ряды Красной Армии. С этого времени вплоть до февраля 1938 года его жизнь была тесно связана с армией и военной юстицией. За 19 лет службы он прошел путь от красноармейца до диввоенюриста и члена военной коллегии Верховного суда Союза ССР.

Голяков начинал служить рядовым в частях 9-й армии Юго-Восточного фронта, в составе которых участвовал в боях с белогвардейцами под городом Балашов Саратовской губернии. После этого некоторое время был политработником, а в июле 1919 года командование направило его в распоряжение политотдела армии. Там Голякова рекомендовали на должность комиссара в один из полков 23-й стрелковой дивизии, но до места назначения он не добрался, так как полк, в котором предстояло служить, почти всем составом попал в плен. Несостоявшегося комиссара направили в распоряжение председателя революционного военного трибунала армии. Последний, испытывая острую нехватку толковых людей, сразу же определил молодого и еще неопытного бойца на должность председателя Революционного военного трибунала 14-й стрелковой дивизии 9-й армии. 13 июля 1919 года Иван Терентьевич приступил к исполнению этой должности. Конечно, главным и определяющим в этом назначении (помимо дефицита кадров) было то, что уже тогда Голяков, несмотря на имевшееся у него за плечами лишь начальное образование, был исключительно начитанным, грамотным и целеустремленным человеком. В декабре 1920 года талантливого и инициативного молодого офицера выдвинули на еще более высокий пост — заместителем председателя военного трибунала войск Донской области (г. Новочеркасск). В январе 1921 года он возглавил этот трибунал. В августе 1921 года трибунал расформировали и Голякова направили в Ростов-на-Дону, где он получил должность члена коллегии военного трибунала Северо-Кавказского военного округа.