В августе 1938 года состоялась 2-я сессия Верховного Совета СССР. И. Т. Голяков выступил на ней с речью при обсуждении доклада наркома юстиции СССР Рычкова и содоклада члена комиссии законодательных предположений Совета Союза Шагимарданова «О проекте Положения о судоустройстве СССР, союзных и автономных республик». После обычных для того времени рассуждений о преимуществах советской судебной системы перед капиталистической он кратко остановился на основных «вехах» работы Верховного суда СССР, заклеймил «врагов», пробравшихся в органы юстиции и в конце воспел дифирамбы в адрес «лучшего соратника товарища Сталина» В. М. Молотова и самого «великого Сталина».

17 августа 1938 года Иван Терентьевич Голяков был утвержден Председателем Верховного суда СССР.

Принятый Верховным Советом СССР 16 августа 1938 года Закон о судоустройстве СССР, союзных и автономных республик значительно расширил функции и полномочия Верховного суда СССР, возложив на него надзор за судебной деятельностью всех судебных органов страны. Первый пленум Верховного суда СССР нового состава проводился в Москве с 25 по 31 декабря 1938 года. Открывая его, И. Т. Голяков подчеркнул активную роль суда в решении задач, стоящих перед Советским государством. Он сказал, что созданы все условия для того, чтобы суд работал образцово и в кратчайший срок преодолел последствия вредительства в области правосудия. Затем доклад о судебной практике по делам о спекуляции сделал председатель судебной коллегии по уголовным делам Камерон. В прениях выступили заместитель Председателя Верховного суда СССР Солодилов, члены Верховного суда СССР Малинина и Гуков, а заключение по проекту постановления сделал Прокурор Союза ССР Вышинский. По обсуждаемым вопросам пленум принял постановления.

И. Т. Голяков был одним из немногих руководителей судебных органов, кто искренне хотел провести в жизнь начавшийся в те годы процесс частичной реабилитации. В декабре 1938 года он совместно с наркомом юстиции СССР Н. М. Рычковым дал указание суда м «как правило, не принимать к производству дела, которые исключительно основывались на признании обвиняемым своей вины». Однако уже через месяц, под давлением В. М. Молотова, Голяков и Рычков вынуждены были отменить свою директиву. Этот же вопрос Голяков вновь поднял спустя 12 лет, призвав органы прокуратуры отказаться от «вредной практики добиваться признания как главной вещи».

В декабре 1939 года И. Т. Голяков, по согласованию с Прокурором Союза ССР М. И. Панкратьевым и наркомом юстиции СССР Н. М. Рычковым, обратился с письмом на имя И. В. Сталина и В. М. Молотова, в котором сообщал, что военная коллегия Верховного суда СССР допускает вынесение «ошибочных» приговоров и предложил пересматривать такие дела (причем, в массовом порядке) не на пленарном заседании, а в специальной комиссии в узком составе: Председатель Верховного суда СССР, его заместитель и председатель военной коллегии при участии Прокурора Союза ССР. Однако это предложение поддержано не было. Особенно рьяно против него выступил Берия.

Председателем Верховного суда Союза ССР И. Т. Голяков оставался 10 лет. За это время им была проделана значительная работа, направленная на совершенствование судебной системы и практики в стране. Особенно напряженно пришлось трудиться в суровые военные годы. В это время еще более усилилась репрессивная сторона деятельности Верховного суда СССР.

Иван Терентьевич вел большую научную, педагогическую, редакторскую и пропагандистскую работу. Он являлся профессором Московского государственного университета, читал лекции по марксизму-ленинизму в Московском юридическом и Всесоюзном юридическом заочном институтах; в 1939 году стал директором Всесоюзного института юридических наук. Он опубликовал много трудов по теории и практике юриспруденции. В частности, из-под его пера вышли книги «Некоторые вопросы науки и судебной практики в решениях пленума Верховного суда СССР» (1940 год), «Борьба за социалистическую дисциплину и задачи науки права» (1941 год), «О задачах правосудия в социалистическом государстве» (1945 год) и др.