Единственно, чем, кроме изучения еврейского и литовского языков, составления прокламаций и "наблюдения в телескоп за революцией", разрешал себе в часы отдыха заниматься аскетический «Астроном», это чтением «Эстетики» Вeррона и писанием собственных стихов. Совпадения редко бывают случайны: Робеспьер писал напыщенные стихи. О стихах же Дзержинского даже Троцкий говорит, что они были "из рук вoн плохи".

Но "любовь к изящному" жила в чекисте Дзержинском на протяжении всей его жизни. Эта черта присуща не только ему, вельможе-чекисту, но многим персонажам красного террора. В. Р. Менжинский — любитель персидской лирики и автор декадентских романов, правда, не увидевших света. Кончивший жизнь в сумасшедшем доме, самолично расстреливавший арестованных начальник Особого Отдела ВЧК доктор М. С. Кедров — знаток музыки и пианист-виртуоз. Заливший Армению кровью чекист А. Ф. Мясникьян — автор труда "О значении поэзии Ов. Туманяна". Следователь петербургской ЧК Озолин — «поэт», к нему не кто-нибудь, а сам А. Блок, преодолевая отвращение, приходил хлопотать за схваченных чекой литераторов. И даже просто заплечных дел мастер Эйдук, и тот напечатал стихи в тифлисском сборнике "Улыбка Чека":

Я думаю, при подписании многочисленных смертных приговоров подобные эмоции мог пережить и Дзержинский. Но столь вульгарных стихов он, конечно, не писал. Его юношеские поэмы были либо барабанно-революционны, либо элегичны, когда посвящались молодой революционерке Юлии Гольдман, к которой «Астроном» относился с налетом влюбленности. Впрочем, женщины в жизни Дзержинского никакой роли не играли. По красочному выражению чекиста Лациса, его "единственной дамой сердца была пролетарская революция".

В Вильне писавшего на мансарде стихи и прокламации юношу «Астронома» царская полиция заметила довольно быстро, дав ему кличку «Рыбкин». О «Рыбкине» завелось даже "дело на 24 листах". А после вспыхнувшей в Вильно забастовки «Астроному» пришлось бежать с виленской мансарды в Ковно.

Но и ковенская полиция не покидала «Астронома», получая о нем полицейские рапорты: "В начале лета появилась крайне подозрительная личность, дворянин Феликс Дзержинский, который стал знакомиться и входить в сношения с рабочими разных фабрик, и кроме того, говорил, что если рабочие в городах будут бунтовать, то поднимутся и деревенские люди и можно будет легко порешить с правительством и основать республику, как в Северо-Американских Соединенных Штатах".

Желание Дзержинского основать "республику как Америку" едва ли соответствует действительности. У «Астронома» были иные идеалы. Но в сношения с сапожниками маленькой мастерской Подберезского «Астроном» действительно вошел и, работая довольно-таки по-бесовски, угрожая нежелающим бастовать "побоями и даже убийством", раскачал их на двухнедельную стачку.

Но в момент, когда «Астроном» передавал в скверике возле военного собора нелегальные брошюры, озаглавленные "Черный Ворон", жандармы схватили его и отвезли в тюрьму. Будущего главу ВЧК, оказывается, выдал полиции провокатор всего-навсего за… десять рублей.

В первой тюрьме «Астроном» провел год. Из тюрьмы писал товарищам: "жандармы бьют меня, и я им отомщу". И отомстил с лихвой. Только мести пришлось ждать 20 лет. А пока что, после года тюрьмы, юноша с хитрым подмигиванием и часто выходящей на лицо саркастической усмешкой отправился "на основании высочайшего повеления за революционную пропаганду среди ковенских рабочих в Вятскую губернию под гласный надзор полиции на три года": относительная мягкость приговора мотивировалась несовершеннолетием преступника.

Эта ссылка была первым знакомством Дзержинского с Россией.