Генерал-губернатор вынужден был вести корреспонденцию с помощью тайных, неофициальных каналов, поскольку опасался, что содержание его писем станет достоянием неприятеля из-за предательской деятельности почт-директора. Вот пример из переписки Федора Васильевича с князем А.Н. Голицыным: «Завтрашний день я отправляю к вашему сиятельству официальное письмо, принадлежащее к цензуре; а сегодня, пользуясь отъездом подвижной Настасьи Дмитриевны, и чтобы избежать от всевидящего скверного ока Ключарева, пишу к вам сие письмо».

Даже письма к государю граф Ростопчин направлял по тайным каналам и еще до дела Верещагина предупреждал Александра I о неблагонадежности московского почт-директора. Так, в письме к императору от 7 июня 1812 года наш герой писал: «Если Вашему Величеству угодно почтить меня Вашими приказаниями касательно Леппиха, умоляю доставлять их мне через курьера, так как мне известно, что Ключарев вскрывает письма и все их читает». В следующих строках письма граф Ростопчин, сообщая о назначении коллежского советника Брокера третьим полицмейстером, напоминал государю о том, что это тот самый человек, который уличил директора почтамта в контрабанде.

Арест и ссылка Ключарева не были спонтанными действиями, как часто преподносят авторы, желающие убедить читателей в неадекватном поведении графа Ростопчина и опускающие подробности дела. Прежде чем пойти на превышение полномочий, московский генерал-губернатор требовал от верховной власти привлечь московского почт-директора к ответственности. Граф Ростопчин послал соответствующие письма императору и председателю Кабинета министров графу Николаю Ивановичу Салтыкову с просьбой о привлечении Ключарева к ответственности в уголовном порядке в связи с делом Верещагина. Согласия он не получил.

Еще до истории с Верещагиным графу Ростопчину доставили письмо некоего Буффа. Этот человек передавал в Париж различные сведения о Москве и, в частности, написал слова, показавшиеся подозрительными. Буфф сообщал, что «здешний почтамт не так деятелен и не так бдителен, как его хотели уверить». Генерал-губернатор поставил в известность об этом императора.

Во время пребывания государя в Москве граф Ростопчин говорил его величеству о необходимости отправить Ключарева в отставку. Реакции не последовало, и тогда наш герой поставил вопрос о доверии к себе. «…Министр полиции перед своим отъездом видел этого мерзкого Ключарева, которого весь город ненавидит. Я имел честь говорить Вашему Величеству об этом человеке. Не знаю, почтен ли я Вашей полною доверенностью…Ваше Величество, коль скоро вы малейше сомневаетесь в моих способностях и усердии, не колеблясь ни минуты, замените меня другим лицом; ибо я могу быть Вам полезен всяким другим образом. Я пойду к кому-нибудь в помощники и стану драться; я буду увещевать народ, который меня любит, и до последнего моего издыхания послужу Вам».

Наконец 4 августа граф Ростопчин писал его величеству: «Теперь осмеливаюсь просить вас, Государь, в случае если вы найдете нужным оставить здесь Ключарева, прислать другого на мое место; потому что я сочту себя недостойным занимать его с честью. У меня две руки и жизнь, посвящаемая вам, и я попрошу позволения служить прапорщиком в армии или спутником Леппиха».

Только после того, как и это обращение к его величеству осталось без удовлетворения, граф Ростопчин решился на превышение полномочий московского главнокомандующего. 10 августа 1812 года по его приказу Федора Петровича арестовали и выслали в Воронежскую губернию. Кабинет почт-директора опечатали.

В тот же день граф Ростопчин известил об этом императора: «Новые ночные сборища у этого негодного Ключарева понудили меня отправить его в Воронеж. Это, по-моему, было единственным способом помешать осуществлению замыслов Мартинистов, которые почти достигли возможности причинить беду России».

Сообщение звучит достаточно сухо.