После развода родителей Сильвестр и Фрэнк стали жить попеременно в течение года у каждого из родителей. А когда мать мальчиков повторно вышла замуж и переехала в Филадельфию, большую часть времени они стали проводить с отцом. В отличие от младшего брата, которому учеба давалась легко, Сильвестр всегда учился плохо. Не блистал и примерным поведением. Он учился в трех государственных школах и отовсюду его хотели выгнать за злостное хулиганство. То он поджигал контейнеры с мусором, то избивал учеников, то дерзил учителям. Из католической школы в Мэриленде его выгнали за то, что он спрятал под матрацем распятие. В конце концов, когда Сильвестру исполнилось 15 лет, мать позвала его к себе в Калифорнию, где устроила в школу-интернат для трудных подростков Деверекс-Манор в Беруине (год обучения - 5,5 тысяч долларов). Там Сильвестр внезапно увлекся живописью, причем его первые картины произвели хорошее впечатление даже на отца. До этого тот считал старшего сына совершенно бесталанным ребенком (в отличие от младшего, который хорошо играл на гитаре, прилежно учился), а тут расщедрился на похвалу, чего раньше за ним никогда не наблюдалось.

В интернате Сильвестру пришлось взять себе другое имя - Майк, поскольку настоящее уже было достаточно засвечено хулиганскими выходками. Сталлоне увлекся боксом и стал одним из лучших игроков школьной футбольной команды. Там же он впервые по-стоящему "попробовал" девушку. При этом его не остановило даже то, что девица была любовницей самого крутого интернатского ученика, державшего в страхе всю школу. Они заперлись в одной из интернатских подсобок, Сильвестр поимел от девушки все, что требовалось, однако в тот момент, когда он собирался одеться, в помещение ворвался ее разъяренный любовник. Между юношами завязалась такая драка, что стены интерната буквально задрожали. Разнять дерущихся удалось только полицейским, которых напуганные педагоги вызвали к месту потасовки.

В 1964 году Сталлоне закончил интернат, однако ни одно из высших учебных заведений Америки не захотело взять его к себе в ученики. Поэтому при помощи все той же матери он отправился в Швейцарию, в один из тамошних элитных колледжей (Американский). Правда, приняли его туда на весьма дискриминационных условиях, главным из которых было: малейшая провинность и - гудбай, Швейцария. Об одном забавном эпизоде из швейцарской биографии Сталлоне рассказывает бывший президент киностудии "Юнайтед артистс" Норберт Ауэрбах, сын которого учился в этом же колледже:

"Как-то прилетаю я в Европу, прихожу домой, а сын не знал, что приедет отец. И что я вижу? Сидит сын, рядом - Сильвестр, на коленях какой-то журнал и... дрочат. Каждый сам себе. Увидели, перепугались, у сына член сразу упал, а у Сильвестра стоит. Я ему: "Кончи, потом приходите ко мне в кабинет, поговорим..." Пацаны пришли напуганные, думали, что бить буду. Я их усадил, порножурнал сжег. Поговорил. После этого Сталлоне перестал меня избегать. Как-то пришел, мнется весь, лицо потное. Я ему: "Что случилось?" Он: "Мне больше не с кем посоветоваться... Мне кажется, что у меня маленький член. Что делать?" Я дал ему линейку, он - бегом в туалет. Возвращается: "Двадцать без малого..." Ну, я ему объяснил, что такое маленький, а что такое нормальный..."

Примерно через полгода после начала учебы Сталлоне стал подхалтуривать: в свободное от учебы время работал тренером по боксу, гидом. В мае 1968 года в его жизни произошел еще один любопытный эпизод.