В 1978 Робертс (которого тогда звали Грегом Смитом) был приговорен к заключению сроком на 19 лет за серию вооруженных ограблений отделений строительного кооператива, кредитных организаций и магазинов, проделанных с игрушечным пистолетом в то время как он увлекался героином.
Робертс стал зависимым от героина после того, как его брак рухнул и он потерял опеку над своей маленькой дочерью. После того как он стал тратить все деньги на наркотики, Робертс стал известным как "Бандит Строительного кооператива" и "Джентельмен-Бандит", потому что он хотел грабить только учреждения с соответствующей страховкой, носил костюм-тройку и всегда говорил, "пожалуйста" и "спасибо" людям, которых он ограбил. Робертс верил в то время, что таким образом уменьшал хоть немного жестокость своих действий. Позже он говорил о том, что все-таки понял - люди давали ему свои деньги только потому, что он запугивал их.
В июле 1980 Робертс сбежал из тюрьмы строгого режима имени Виктории средь бела дня, чтобы стать одним из самых разыскиваемых людей в Австралии . Он позже утверждал, что был измучен одиночным заключением и что это было главной причиной для планирования обега. После краткого перелетачерез Новую Зеландию он жил в Мумбаи, где связался с местной мафией, и жил там в течение 10 лет. Робертс был привлечен Мумбаи из-за ее замечательной энергии, свободы ее людей и их способности преодолеть бедность. Во время его пребывания в Мумбаи Робертс был брошен в тюрьму Артур-Роуд. В заключении его избивали палками, будучи связанным и повешенным вверх тормашками. Он был выпущен из тюрьмы некоторое время спустя благодаря взяткам, заплаченных старшим членом индийской мафии. Свои дела с мафией Робертс закончил на том, что делал смые точные копии паспортов. Он также пошел в войну в Афганистане, чтобы провезти контрабандой оружие и в конечном счете бороться с моджахедами против СССР.
В 1990 Робертс был захвачен во Франкфурте, провозя контрабандой героин в страну. Он был выдан Австралии и провел в тюрьме еще 6 лет, два из которых - в камере одиночного заключения. Во время его второго пребывания в австралийской тюрьме Робертс начал писать Шантарам. Охранники дважды уничтожали рукопись, но Робертс восстанавливал записи и продолжал писать.
