Неясно, где находилась казарма Ивана Антоновича и имеет ли она какое-либо отношение к знаменитому впоследствии Секретному дому во дворе крепости. Эта страшная тюрьма во второй половине XVIII века стала главным узилищем для государственных и других опасных преступников. Узников Секретного дома содержали строго по инструкции. В ней предписывалось держать имя арестанта в секрете даже для охраны, узник находился в полной изоляции от других заключенных, охране строго запрещалось разговаривать с ним. Камеры обыскивали, и у заключенных отбирали запрещенные или подозрительные предметы и особенно бумагу и перья. Начальник охраны регулярно писал отчеты на имя коменданта или старшего начальника, а тот периодически рапортовал о поведении и разговорах узника в Петербург, нередко прямо генерал-прокурору или кому-то из высших должностных лиц империи.

В более удобных условиях находились присланные в крепость «на житье». Они получали жилье (по-видимому, в казармах гарнизона), им разрешали взять с собой семью, иметь перо и бумагу. Один из узников, Николай Чоглоков, даже женился на дочери коменданта крепости, и она родила ему восьмерых детей. Таким заключенным разрешались в сопровождении охраны прогулки по крепости, а родственников узника выпускали за пределы крепости на городской базар.

Так жила семья алхимика и экономиста Филиппа Беликова, который в 1745 году объявил, что может сочинить две книги, идеи которых принесут казне большой доход. Власти поощряли всевозможных прибыльщиков, поэтому отнеслись к Беликову хорошо, освободили его из сибирской ссылки, куда он попал ранее по неизвестной нам причине, и вместе с семьей отправили в Шлиссельбург «для лучшего сочинения оных» книг. Первая книга – «Натуральная экономия» – была закончена Беликовым уже через год и вызвала сомнения в умственном здоровье сочинителя, тем не менее ему разрешили сочинять обещанную им алхимическую книгу. С ее написанием у Беликова возникли проблемы, как творческие, так и бытовые – жить на 25 копеек в день ему не нравилось, семья же алхимика постоянно увеличивалась.

Случай с Беликовым уникален – судьбы сочинителей в России были всегда несколько иные. Как отмечал большой специалист тюремной истории М. Н. Гернет, «царское правительство за время своего существования пересажало немало авторов в крепости и тюрьмы за то, что они писали. Беликов же был заключен в Шлиссельбургскую крепость не за то, что он писал, а для того, чтобы он писал». Правда, толку от сидения автора не было никакого – через 18 лет его выпустили, но он так и не закончил свой труд.

Из прочих крепостных тюрем особенно известны тюрьмы Выборгской и Кексгольмской крепостей. В первой содержался церковный деятель Феофилакт Лопатинский (1739-1741 гг.), а во второй с 1775 года и до начала XIX века жили обе жены Емельяна Пугачева и трое его детей.

Под тюрьму постоянно использовали и крепость Динамюнде под Ригой. В ней несколько месяцев содержали Брауншвейгское семейство, а в конце XVIII века крепость стала местом заточения двух сотен духоборов и скопцов. Жить в этой крепости было тяжело, что можно заключить из воспоминаний сидевшего там Василия Пассека, хотя из его же записок следует, что узника в заточении «тайно навещала» его жена, которая даже «родила от испуга безвременно… сына: он жил несколько токмо минут. Тело его оставалось у меня до того, пока чрез два или три дня найден был случай вынести его тайно из тюрьмы моей для погребения в Риге». Такие визиты кажутся невозможными в Петропавловской крепости или в Шлиссельбурге, но и там случались происшествия, подобные приведенному выше рассказу графа Гордта о праздничной ночной прогулке по Петропавловской крепости.