«В конце 1921 года я явился в полпредство в Варшаве, кажется, к тов. Пляту и отдал себя всецело в распоряжение полпредства. В Польше я работал по линии военной и политической разведок под руководством тов. Кобецкого. Возвратился я из Польши в апреле 1923 года. После чего я служил в органах военных сообщений, в 49-м дивизионе войск ГПУ, а с октября 1925 года нахожусь в Харькове на гражданской службе и связан с ГПУ УССР».

Владислав Иосифович Плят, принявший Ковальского, заведовал консульской частью полпредства в Варшаве (до этого служил в Особом отделе ВЧК, в 1937-м его расстреляли). Казимир Кобецкий (настоящее имя Казимир Станиславович Баранский), завербовавший Ковальского, был резидентом внешней разведки. Работал в Варшаве под прикрытием секретаря советской дипломатической миссии (в ведомстве госбезопасности дослужился до майора госбезопасности, а в 1937 году его тоже расстреляли).

Бывшему штабс-капитану поручили сообщать, чем занимаются бывшие добровольцы в Польше. В первую очередь интересовали те, кто намеревался и дальше сражаться с советской властью, кто сотрудничал с польской разведкой. Петр Георгиевич для вида продолжал служить в конторе, но большую часть времени проводил в тех местах, где встречались бывшие русские офицеры, выспрашивая их о жизни и планах на будущее.

Через два года Ковальскому разрешили вернуться в Советскую Россию. В апреле 1923 года он уже был на родине. Его сразу призвали в Красную армию — по специальности, в органы военных сообщений. Затем перевели в 49-й дивизион войск ГПУ. И, наконец, разрешили демобилизоваться и поселиться в Харькове.

Оказавшись в бедственном положении, кто-то из бывших солдат и офицеров белой армии рискнул вернуться в Советскую Россию, рассчитывая на милосердие — ведь Гражданская война закончилась. Обычно просили принять их в ряды Красной армии. Иной профессии они не знали, да и полагали, что воинская служба — наилучший способ подвести черту под прошлым. Всего несколько человек согласились работать на ЧК. Для этой службы требовались не только желание, но и особые черты характера — умение вести двойную жизнь, располагать к себе, входить в доверие, а также готовность среди прочего доносить на недавних товарищей и сослуживцев. Петр Георгиевич Ковальский обладал всеми этими качествами в полной мере, потому и преуспел.

Украинские чекисты подыскали ему в Харькове официальную работу — для прикрытия — и использовали на агентурной работе. Ковальский трудился бухгалтером и одновременно секретным сотрудником Государственного политического управления Украины. Вторая, тайная служба давала дополнительные деньги и некое чувство уверенности.

Петр Георгиевич сознавал, что власть не забудет его офицерское прошлое. Он читал в газетах, как Государственное политическое управление находит бывших белогвардейцев и подвергает их репрессиям. Надеялся на то, что Иностранный отдел не даст его как ценного сотрудника в обиду, Ковальский подвел итог своей прежней жизни:

«В своей биографии я оттенял ту эволюцию, какая произошла во мне в период с 1914 года и до 1920 года, в период, когда я от бессознательного монархиста под влиянием исторического хода событий, окунувшись во всю грязь Белого движения всех оттенков, перешел на платформу Советской власти и отдал себя всецело в распоряжение ее передового авангарда — органа ГПУ.

Говорить о моих связях за границей очень трудно, так как утекло много времени, но я должен сказать, что всех главков периода 1917–1919 годов по Добрармии и 1919–1920 годов по Польше я знал довольно близко».

Шестого января 1930 года помощник начальника Иностранного отдела ОГПУ обратился к начальнику контрразведывательного отдела ГПУ Украины:

«По связи с нами на закордонной работе „Сильвестров“ нам известен, и посылка его за границу в принципе желательна.