Предполагалось, что Боб продолжит семейный бизнес, но, презирая шляпы, он всеми силами старался избежать подобной участи. После окончания средней школы Боб направился в Дартмутский колледж . Шли 50-е годы. Поэтому не удивительно, что он обожал черные свитера с высокими воротниками, читал Сэмюэля Беккета , Жана-Поля Сартра  и Джека Керуака . Он был красив, как может быть красив только истинный еврей: копна темно-каштановых волос над высоким лбом, вечно надутые, как бутон розы, губы и разбитый нос боксёра. Боб был высок, худощав, но крепко сложен и сжат как пружина, что казалось, от него вот-вот во все стороны понесутся электрические разряды. Ему словно на роду было написано быть в центре событий. Похоже «Белый негр» Мейлера  был написан специально для него. Задумчивость Боба в сочетании с жестокостью, качеством настоящего хищника, привлекали к нему людей. Однако спустя годы, когда перспективы становились всё туманнее, а карьера так и не складывалась, все поняли, что у него обычная депрессия.

Пока Боб был в Дартмуте, Тоби училась в Беннингтонском колледже . Несмотря на то, что их первая встреча вряд ли способствовала продолжению отношений, они, благодаря удачному стечению обстоятельств, совсем как в фильме «Познание плоти», стали мужем и женой. «Его энергия била через край, он мог увлечь, влюбить в себя так, что сопротивляться было бесполезно, — рассказывает Тоби. — В общем — негодник и смутьян. Добавьте сюда талант рассказчика, который, думаю, развился у него на почве стремления уйти от реальности, окружавшей его, и вы поймёте, что это был за фрукт».

Боб и Тони поженились в середине 50-х. Родился сын — Питер. В Нью-Йорке они дружили с Баком Генри, которого знали еще в Дартмуте, он был на пару лет старше Рэфелсона. «Баки был невероятно смешным, очень скованным и одновременно до ужаса любопытным, совсем как подросток, — вспоминает Тоби. — Его так и тянуло к «неформалам» — нудистам и прочим извращенцам». Обитал он в задрипанной квартирке в цоколе дома на 10-й улице в Гринвич-Виллидж. В гостиной на полу по обыкновению сидела игрушечная горилла в натуральную величину. У Бака не было привычки снимать пижаму, так что перед выходом на улицу поверх неё он просто натягивал одежду.

В двадцать с небольшим Рэфелсона, по протекции друзей родителей из загородного клуба, устроили на 13-й телеканал, где он дописывал диалоги за Шекспира, Жироду, Ибсена, Шоу и им подобным в программе «Пьеса недели». В июне 1962 года Рэфелсоны переехали в Голливуд, где Тоби произвела на свет второго ребёнка — девочку Жюли. Боб и Тоби расцвели под калифорнийским солнцем: он — высокий и мускулистый, она — миниатюрная, с волосами цвета воронова крыла. Боб получил место в «Ревью продакшнз», телеподразделении «Юнивёрсал», которое только что подмяла под себя «Эм-Си-Эй». Руководили компанией Лу Вассерман и Жюль Стайн.

Рэфелсону поручили постановку, действие в которой должно было происходить на территории студенческого городка. Он привлёк для работы сценаристов, писавших в манере Эдуарда Олби и Джека Ричардсона — шаг более чем смелый, сродни тому, чтобы пригласить Нормана Мейлера написать что-то вроде «Летающей няни». Кончилось тем, что Рэфелсон схлестнулся с Вассерманом по поводу эпизода, в котором выбранный им актёр по имени Майкл Парке должен был играть в паре с Питером Фондой. Скажем прямо, кожа у Паркса не была идеальной и Вассерман, человек не маленького роста, с угрожающего вида внешностью, с его выбором не согласился. Вспыхивающий как спичка, Вассерман начал «телеграфировать» нечто на зеркальной поверхности письменного стола, вместо телеграфного ключа воспользовавшись острым, как кинжал, ножичком для вскрытия корреспонденции.