Родившийся в семье ирландских иммигрантов Мэри и Джеймса О’Брайенов, Джарвис был младшим из пяти мальчиков; их единственная сестра Кэтрин умерла в раннем возрасте. Родители так и остались скромными, трудолюбивыми фермерами, принимавшими активное участие в городской и церковной жизни, но их сыновья, казалось, были предназначены для большего. Даже будучи молодыми людьми, они преуспевали в таких разных областях, как инженерия, бизнес, юриспруденция, государственное управление и государственная служба.

В некотором смысле клан О’Брайенов напоминал региональную версию клана Кеннеди начала двадцатого века, без сопутствующего голливудского блеска. Джон О’Брайен, второй по старшинству, был избран государственным секретарем Нью-Йорка в ходе республиканской кампании в 1902 году, а позже стал президентом Городского национального банка в Платтсбурге и республиканским боссом в округе Клинтон, штат Нью-Йорк. Средний сын Эдвард служил бригадным генералом в штате губернатора Эли Мортона, а затем, в 1905 году, президентом Теодором Рузвельтом был назначен послом в Парагвае и Уругвае. Как самому младшему в семье, Джарвису было на кого равняться.

Родившийся в 1864 году, когда Гражданская война вступила в свой последний кровавый год, он получил образование в частных школах. Джарвис учился на юридическом факультете Колумбийского университета в Вашингтоне, который сегодня известен как Университет Джорджа Вашингтона, – редкий путь в те времена, когда большинство юристов изучали свое ремесло, обучаясь непосредственно в юридической фирме. В 1892 году он получил степень бакалавра права и последовал за своим старшим братом Уильямом в Трой, где получил работу в престижной юридической фирме «Смит-и-Веллингтон».

Джордж Б. Веллингтон, один из партнеров фирмы, играл важную роль в местной республиканской политике и впоследствии занимал пост председателя Генерального комитета партии округа Ренсселер, а также городского прокурора и помощника прокурора США.

За несколько лет до того, как О’Брайен присоединился к фирме, Веллингтон и Генри Смит сотрудничали с Фрэнком Суэттом Блэком, который в течение короткого периода в конце 1800-х и начале 1900-х годов имел в штате Нью-Йорк огромное влияние. В ноябре 1894 года Блэк был избран в Палату представителей США, в основном благодаря своей роли в инициировании спорного судебного преследования Бартоломью «Летучей мыши» Ши, которому ранее в том же году было предъявлено обвинение в убийстве двадцатипятилетнего Роберта Росса, наблюдателя за выборами республиканцев, во время рукопашной схватки в день выборов.

Ши, ирландский католик, был среди тех, кого печально известная коррумпированная демократическая машина завербовала для того, чтобы победить в Тринадцатом округе Троя любыми средствами, включая вброс бюллетеней и повторное голосование. Воспользовавшись почти безумным возбуждением сообщества по поводу убийства Росса, Блэк помог организовать Комитет общественной безопасности, чтобы заставить избранных должностных лиц отомстить Ши.

Единственная проблема заключалась в том, что, хотя Ши, бесспорно, был одним из тех, кто участвовал в драке, которую он помог спровоцировать, по всей вероятности, смертельный выстрел, убивший Росса, произвел не он.