Поскольку он отказывался называть свое настоящее имя, бельгийская полиция разослала запросы зарубежным коллегам. И нью-йоркский департамент полиции, и Скотленд-Ярд уверенно опознали в нем Уорта. Это же сделал и его старый конкурент — «барон» Макс Шинберн, желавший заработать себе досрочное освобождение. А вот Детективное агентство Пинкертона, обладавшее самым большим досье на «короля грабителей», предпочло отмолчаться, что впоследствии сыграло немалую роль в его судьбе. Уорт категорически отрицал причастность к различным инкриминировавшимся ему преступлениям, а свой последний грабеж называл жестом отчаяния — у него якобы кончились средства к существованию. Его приговорили к семи годам заключения и отправили в Лёвенскую тюрьму.

Скорее всего Конан Дойл впервые услышал о существовании Уорта в июле 1893 года, когда уже принял решение избавиться от Холмса. 24 июля «Пэлл-Мэлл газетт» опубликовала статью, в которой раскрывала тайну дерзкой кражи семнадцатилетней давности, совершенной Уортом в галерее Агнью. Материалом для статьи стало интервью, взятое у Адама Уорта внештатным журналистом Марсендом из «Пэлл-Мэлл» в бельгийской тюрьме; тот сумел выудить у заключенного (который принял Марсенда за адвоката) признание, что эго именно он, Генри Раймонд, а в действительности Адам Уорт, «le Brigand International», выкрал в 1876 году знаменитую картину «Джорджина, герцогиня Девонширская» Гейнсборо. В статье описывалась жизнь Уорта и его преступления, что произвело на Лондон впечатление разорвавшейся бомбил. Поразило это и Конан Дойла.

Впрочем, его профессор даже внешне мало походил на Уорта, который был крепким, невысоким — всего 154 сантиметра, — носил бакенбарды. Дойлевский Мориарти, напротив, был настоящим викторианским злодеем: «Он очень тощ и высок. Лоб у него большой, выпуклый и белый. Глубоко запавшие глаза. Лицо гладко выбритое, бледное, аскетическое — что-то еще осталось в нем от профессора Мориарти. Плечи сутулые — должно быть, от постоянного сидения за письменным столом, — а голова выдается вперед и медленно, по-змеиному, раскачивается из стороны в сторону». Такая личность значительно лучше подходила на роль могильщика Шерлока Холмса. Великий Детектив погиб, и на десять лет Конан Дойл забыл и о Шерлоке Холмсе, и об Адаме Уорте.

Между тем Уорт был жив: в 1897 году, больной и растерявший всех бывших сообщников, он вышел из тюрьмы — на два года раньше срока. Некоторые члены его шайки отошли от дел, другие умерли, третьи сидели в тюрьме. Никто не встречал его дома: один из двух подельников по неудачному льежскому ограблению, которому Уорт поручил опекать жену и детей, воспользовался его отсутствием и принудил его жену Луизу к сожительству, методично спаивая ее и приучая к потреблению опиатов. Он постепенно распродавал имущество Уорта: яхту, лошадей, алмазы, а когда Луиза Раймонд превратилась в законченную алкоголичку и наркоманку, забрал все до последнего пенни и скрылся. Сошедшая с ума жена Уорта была помещена в психиатрическую лечебницу, а детей отправили в Америку к брату Адама.

Чтобы добыть средства к существованию, Уорт ограбил на 4000 фунтов ювелирный магазин и отправился в Америку, где обратился к Уильяму Пинкертону — он хорошо помнил, что Пинкертон отказался давать сведения о нем бельгийской полиции. Уорт просил о посредничестве в продаже картины Гейнсборо — теперь уже внуку прежнего владельца. Обмен состоялся в 1901 году.