Обстановка в высших эшелонах власти становилась все более гнетущей — никто не знал, кто окажется следующей жертвой, кто попадет в ежовские застенки. И. А. Акулов заметно нервничал, хотя даже после освобождение от должности секретаря ЦИК СССР не верил, что его могут арестовать. Его жена, Н. И. Шапиро, впоследствии писала: «В последние дни этот спокойный уравновешенный человек дошел до такой степени морального изнеможения, что не в состоянии был написать письмо в ЦК. Для него было все случившееся с ним непонятно и неоднократно срывались вопросы «кому это нужно» и «за что?» Также он говорил: «О чем просить, если я не знаю, в чем я виноват».

Ордер на арест Акулова и производство обыска у него был выдан заместителем наркома внутренних дел 23 июля 1937 года. В тот же день Иван Алексеевич был задержан на своей даче в селе Покровское Красногорского района. Обыск произвели и в его московской квартире (по Троицкой улице, дом № 10, особняк ЦИК СССР).

25 июля 1937 года И. А. Акулов собственноручно заполнил так называемую анкету арестованного, в которой сообщил свои основные биографические данные. В то время на его иждивении находилась жена, Надежда Исааковна Шапиро, трехмесячная дочь Елена, 9-летний сын Гавриил (Ганя, как звал его отец), ученик 2-го класса, и мать, Мария Ивановна, 74 лет. С ним проживали также его сестры Анна Алексеевна и Мария Алексеевна.

И. А. Акулов был помещен в Лефортовскую тюрьму. Его делом занимались сотрудники госбезопасности Краев и Альтман. Первоначально допрашивал Краев. Протокол не составлялся. 4 августа Иван Алексеевич написал собственноручное заявление на имя следователя Альтмана. В нем он писал:

«Вчера на допросе у следователя Краева я дал частичные показания (устно) о своем участии в троцкистской организации и подготовке антисоветского вооруженного переворота в стране.

Эти мои показания были еще далеко не полными, но по существу полностью правдивыми.

Сегодня я снова сдвурушничал и вместо того, чтобы продолжить показания о своей предательской деятельности, я заявил, что участником троцкистской организации не являлся…

Утверждаю, что правде соответствует следующее: я, Акулов, являлся участником антисоветской троцкистской организации и подготовки антисоветского вооруженного переворота…»

Судя по этому заявлению, И. А. Акулов более десяти дней держался стойко и не давал каких-либо признательных показаний. Однако затем все же был сломлен. Видимо, следователи искусно использовали то обстоятельство, что у Акулова оставалась жена с двумя малолетними детьми и престарелая мать. Без сомнения было и физическое воздействие. Даже на тюремной фотографии Акулова видно, что один глаз у него почему-то закрыт. Может, заплыл?

Не исключено, что и после признательного заявления, Акулов продолжал упорствовать, так как первое развернутое его показание датировано только 17 августа 1937 года. Оно отпечатано на машинке на 27 листах. В нем он признавался, что является «скрытым троцкистом», участвовал в заговорщической деятельности Якира, Пятакова, Бухарина и других лиц. В частности он сказал: «Я, Иван Алексеевич Акулов, по день моего ареста в 1937 году, т. е. в течение 10 лет, являлся участником подпольной троцкистской организации, в ее рядах вел активную работу против руководителей ВКП(б) и Советского правительства — против Советской власти. Мне было тяжело в этом сознаться сразу же после ареста. Кроме того, я не думал, что мои соучастники меня выдали. Ведь с момента ареста Голубенко, Логинова и других прошло уже больше года, а я все это время продолжал оставаться на ответственной партийной и государственной работе.