Нет сомнения, что Иван Антонович производил тяжелое впечатление на своих высокопоставленных визитеров. Он был, как писали охранявшие его капитан Власьев и поручик Чекин, «косноязычен до такой степени, что даже те, кто непрестанно видели и слышали его, с трудом могли его понимать. Для произношения хотя бы отчасти вразумительных слов он был вынужден поддерживать рукою подбородок и поднимать его вверх». И далее тюремщики пишут: «Умственные способности его были расстроены, он не имел ни малейшей памяти, никакого ни о чем понятия, ни о радости, ни о горести, ни особенной к чему-либо склонности».

Важно заметить, что эти сведения о сумасшествии Ивана исходят от офицеров охраны - людей в медицине совсем некомпетентных. Представить Ивана безумцем было выгодно власти. С одной стороны, это оправдывало суровость содержания узника - ведь в те времена психически больных людей содержали как животных - на цепи, в тесных каморках, без ухода и человеческого сочувствия. С другой стороны, представление об Иване-безумце позволяло оправдать и убийство несчастного, который, как психически больной, себя не контролировал и поэтому легко мог стать опаснейшей игрушкой в руках авантюристов.

Конечно, двадцатилетнее заключение не могло способствовать развитию личности Ивана Антоновича. Маленький человек - не котенок, который даже в полной изоляции все равно вырастает котом, с присущими ему повадками. Для личности Ивана одиночество и то, что врачи называют «педагогической запущенностью», оказались губительны. Скорее всего он не был ни идиотом, ни сумасшедшим. Он был Маугли, его жизненный опыт был деформированным и дефектным. В доказательство безумия заключенного тюремщики пишут о его неадекватной, по их мнению, реакции на действия охраны: «В июне (1759 года) припадки приняли буйный характер: больной кричал на караульных, бранился с ними, покушался драться, кривил рот, замахивался на офицеров». Из других источников нам известно, что офицеры охраны обращались с ним грубо, наказывали его - лишали чая, теплых вещей, возможно и били за строптивость, и уж наверняка дразнили, как сидящую на привязи собаку. Об этом сообщал офицер Овцын, писавший в апреле 1760 года, что «арестант здоров и временами беспокоен, но до того его доводят офицеры, всегда его дразнят». Их, своих мучителей, Иван, конечно, ненавидел, бранил. Это - естественная реакция психически нормального человека на бесчеловечное обращение.

А вообще положение узника было ужасным. Его держали в тесном, узком помещении, с постоянно закрытыми маленькими окнами. Многие годы он жил без дневного света, при свечах, и, не имея при себе часов, не знал времени дня и ночи. Как писал современник, «он не умел ни читать, ни писать, одиночество сделало его задумчивым, мысли его не всегда были в порядке». К этому можно добавить отрывок из инструкции коменданту, данной в 1756 году начальником Тайной канцелярии графом Александром Шуваловым: «Арестанта из казармы не выпускать, когда же для уборки в казарме всякой грязи кто-то будет впущен, тогда арестанту быть за ширмой, чтоб его видеть не могли». В 1757 году последовало уточнение: никого в крепость без указа Тайной канцелярии не впускать, не исключая генералов и даже фельдмаршалов (Корф, с.192).

Неизвестно, сколько бы тянулась еще эта несчастнейшая жизнь, если бы не произошла трагедия 1764 года. Ночью 4 июля окрестные жители вдруг услышали в крепости беспорядочную стрельбу. Там была совершена неожиданная попытка освободить секретного узника Григория - бывшего императора Ивана Антоновича. Предприятием руководил подпоручик Смоленского пехотного полка Василий Мирович. Жизненные неудачи, бедность и зависть мучили этого двадцатитрехлетнего офицера, и попыткой освободить и возвести на престол Ивана Антоновича он решил поправить свои дела. Об Иване он узнал, когда ему приходилось по долгу службы нести внешний караул в крепости.