Репутация О’Брайена укреплялась на протяжении всего 1903 года, когда Фрэнк Блэк уговорил его баллотироваться на пост мэра Трои, несомненно надеясь, что закоренелые ирландские католики-демократы Южного Троя проголосуют скорее за кандидата по фамилии О’Брайен. Демократы утверждали, что, уступив пожеланиям своей партии, О’Брайен стал «идеальным инструментом» республиканцев.

Сначала О’Брайен отказывался баллотироваться и заявлял, что доволен местом окружного прокурора, но если ты республиканец в Трое и хочешь иметь в политике будущее, ты обычно делаешь то, о чем тебя просят Фрэнк Блэк и партийная машина. Демократы насмехались над «скромностью» О’Брайена, указывая на то, что в случае победы на выборах он стал бы получать на полторы тысячи долларов в год меньше, что, по их мнению, и являлось настоящей причиной его нежелания баллотироваться.

В конечном счете Джозеф Ф. Хоган, поддерживаемый демократической машиной, кое-как победил в гонке, где были и насилие в день выборов, и обвинения во вмешательстве в недавно установленные аппараты для голосования (иными словами, то были типичные для Троя выборы).

В 1905 году О’Брайен был переизбран окружным прокурором и, не растеряв влияния, добился обвинительных приговоров по нескольким громким делам, в частности по делу Сэмюэля Кона, обвиняемого в похищении девушек в возрасте до восемнадцати лет. В заключительном слове О’Брайен в очередной раз продемонстрировал красноречие и ораторский талант: «Если эти, погрязшие в пороке, люди будут допущены в нашу среду, какие шансы у родителей воспитать мальчиков и девочек так, чтобы они стали достойными мужчинами и женщинами? Есть ли защита для семьи, если у нас терпят такие мерзости, а таким людям, как обвиняемый, дозволено оставаться безнаказанными?»

Называя О’Брайена «лучшим окружным прокурором в истории округа Ренсселер», контролируемые республиканцами местные газеты восхваляли его крестовый поход против «алого зла», направленный против уклоняющихся от налогов владельцев салунов, бильярдных, игорных домов и прочих заведений с дурной репутацией. «Он изгнал владельцев притонов из бизнеса и очистил часть города, которая в течение многих лет была зловонием в ноздрях приличных элементов» – так высказалась по этому поводу газета «Трой санди ньюс».

Однако О’Брайен не раз сталкивался с обвинениями в конфликте интересов. Даже после победы на выборах он оставался советником в Объединенной тяговой компании, электрической уличной железной дороге, работающей в округах Олбани и Ренсселер. Затем, в 1904 году, он был назначен советником, отвечающим за железную дорогу Бостона и Мэна в штате Нью-Йорк. Год спустя он выступал в роли адвоката защиты транзитной компании на суде после железнодорожной аварии, в результате которой погибло пятнадцать человек и еще тридцать получили ранения. При этом О’Брайен по-прежнему занимал пост окружного прокурора округа Ренсселер, что вызвало большое бурление в прессе.

Несмотря на это, к лету 1908 года амбициозный прокурор достиг еще более заметного положения. Он регулярно разъезжал по штату, сплачивая верных республиканцев в поддержку нужных кандидатов, иногда на стороне Фрэнка Блэка.

О’Брайен построил свою карьеру как прокурор, а не как детектив, поэтому в расследовании смерти у Тилз-Понд он прежде всего опирался на своего первого заместителя и близкого друга, сорокадвухлетнего окружного детектива Дункана К. Кея, который назвал одного из своих сыновей Джарвисом предположительно именно в честь окружного прокурора. Кей был гладко выбритым мужчиной с редеющими темными волосами и тонкими губами, которые, казалось, кривились в ухмылке независимо от обстоятельств. Он был если и не присягнувшим членом ААЗ, то как минимум ее сторонником.

Хотя Кей являлся сотрудником правоохранительных органов, он считался ярым солдатом Республиканской партии округа Ренсселер и тоже сыграл одну из главных ролей в аресте и казни Ши.