Несмотря на то, что Гагарин вернул в казну огромную сумму в 215 тысяч рублей, за Сибирской губернией числилась недоимка по таможенным сборам еще более чем на 300 тысяч рублей. Пока шло следствие, Гагарин продолжал управлять губернией: его даже сделали членом Верховного суда по делу царевича Алексея. Против Матвея Петровича было выдвинуто 15 пунктов серьезных обвинений: незаконные поборы и налоги с крестьян, расходование казны на личные нужды, взятки при отдаче винной и пивной продажи, вымогательства подношений у купцов, присвоение товаров, следовавших с караванами в Москву, и многие другие. Выяснилось, что Гагарин чувствовал себя настолько безнаказанным, что присвоил себе три алмазных перстня и алмаз в гнезде, предназначавшиеся Екатерине I.

По свидетельству шведского пленника Филиппа-Иоганна Страленберга, губернатор собирался образовать в Сибири самостоятельное королевство. Эта легенда, отметил новосибирский исследователь Михаил Акишин, отражала лишь «отголоски разговоров, которые вели князь М. П. Гагарин и верхи сибирской администрации». Историк и литератор XIX века Павел Словцов в своей книге «Историческое обозрение Сибири» говорит не только о серьезности намерений, но и о конкретных действиях губернатора: «Гагарин зло-умышлял отделиться от России, потому что верно им водворены в Тобольске вызванные оружейники и началось делание пороха». Имелись сведения, что в этих целях он сформировал специальный полк, состоявший преимущественно из пленных шведов, которых он ранее облагодетельствовал и на которых поэтому делал ставку. Итак, над Гагариным сгустились тучи…

Каким же он был в действительности, князь Матвей Гагарин? Амбициозный лихоимец, щеголь, хитрец? Из-за отсутствия надежных свидетельств той эпохи, на вопрос этот отвечают авторы исторических романов. В книге «На Индию при Петре I» (1879) Григорий Данилевский нарисовал Гагарина исключительно черными красками. Это «пышный сатрап», «первый потатчик всем грабителям и ворам», «разоритель целой страны», казнокрад и малодушный взяткодатель сильным мира сего. В этом же ключе изображен князь и в романе Павла Брычкова «Полуденный зной» (1999). Матвей Петрович здесь и бесчестный, и хитрый, и корыстолюбивый, наделенный острым умом провокатора. Как заурядный вор, заслуживавший наказания, предстает Гагарин в романе Даниила Гранина «Вечера с Петром Великим» (2003). И лишь в романе Александра Родионова «Азъ, грешный» (1999) автор пытается представить читателю не плакатного лихоимца с одной корыстолюбивой извилиной в мозгу, но воссоздает сложный живой характер. По Родионову, в Гагарине уживается «букет» таких, казалось бы, несовместимых свойств как государственный ум, готовность пожертвовать всем ради Отечества – и торгашеская алчность; ставшее уже привычкой стремление погреть руки, извлечь личную выгоду из любого государева поручения, административное рвение, благодаря которому в немыслимые сроки удается возводить крепости, строить остроги, – и типичная несокрушимая русская лень; истинно дворянское благородство – и склонность к мелким склокам, дрязгам, обману; преклонение перед царем – и двоедушие, выражающееся во внутреннем несогласии с иными распоряжениями Петра и в попытках уклониться от этих распоряжений в расчете на пресловутое «авось», но более всего на то, что в далекой Сибири легче спрятать концы в воду…

Только в январе 1719 года Гагарин был уволен от должности и заключен под стражу, о чем говорила специальная инструкция: «Его царское величество изволил приказать о нем, Гагарине, сказывать в городах Сибири, что он, Гагарин, плут и недобрый человек, и в Сибири уже ему губернатором не быть, а будет прислан на его место иной».