Дети пробыли в работном доме около трех недель, пока Ламбетский опекунский совет разыскивал их предполагаемого отца, Чарльза Чаплина-старшего. В конечном счете его нашли. Представ перед опекунским советом, он согласился забрать Чарльза, но не Сидни – на том основании, что старший мальчик несомненно незаконнорожденный. Члены совета придерживались мнения, что братьям будет лучше вместе, и Чаплин согласился платить 15 шиллингов в неделю на содержание детей в Хэнуэллском приюте для сирот и бедных детей. Там их все-таки разлучили – 11-летнего Сидни отправили в отделение для старших, а 7-летнего Чарльза к малышам. Впоследствии он сказал кому-то из журналистов: «Мое детство закончилось в возрасте семи лет. Маленькие обитатели приюта строем ходили из класса в класс и из спальни в столовую». Чаплину присвоили номер 151. Конечно, в бытовом плане детям там жилось гораздо лучше, чем их сверстникам на улицах или в трущобах. Им выдавали теплую одежду, прочные ботинки, кормили просто, но сытно.

Для маленького Чарльза приют стал местом, где он страдал и часто чувствовал себя униженным. Впоследствии он называл проведенное там время своим тюремным заключением. Его разлучили с матерью и братом – Сидни отправили на учебное судно военно-морского флота. Во всем мире у него больше никого не было. Маленький, беспомощный, лишенный надежды… Возможно, он подглядывал за девочкой в замочную скважину. Возможно, он устроил пожар в туалете. Говорят разное… Но независимо от преступления наказание было известно заранее: мальчик получал один или два удара розгами. Однажды он занемог, и ему прописали слабительное, следствием чего стала замаранная постель. Два дня спустя его лишили апельсина и леденцов, которые детям раздавали на Рождество… Однако, несмотря на все страдания, это был единственный период в жизни Чаплина, когда он получал формальное образование. Чарльз научился писать свое имя, а также читать по слогам.

Ханна не навещала его почти год. По всей видимости, мальчик думал, что его предали. Когда наконец летом 1897 года мать приехала к нему, маленький Чаплин испытал ужас и унижение. Своему близкому другу Гарри Крокеру он признался, что мать вызвала у него мучительную неловкость. Возможно, Ханна несла на себе печать безумия, которое передавалось в семье из поколения в поколение. Чаплин рассказывал Крокеру, что она почему-то пришла с масленкой в руках. «Зачем ты это принесла, мама? – спросил он. – Зачем ты вообще пришла? Они все тебя увидят. Они все тебя увидят!» В книге «Моя биография» Чаплин рассказывает совсем другую историю – свежая, благоухающая красавица пришла навестить своего одинокого ребенка. Где правда?

В одном из ранних фильмов Чаплина есть сцена, в которой пожилая женщина тащится вверх по лестнице с ведром воды. На четвертом или пятом этаже неожиданно открывается дверь, и мужчина бьет ее по лицу. «О! – в ужасе вскрикивает он, увидев незнакомку. – Я думал, вы моя мать!» – «У вас есть мать?» – спрашивает женщина. «Да, – плача, отвечает он. – У меня есть мать». Смешного тут мало…

Чаплин никогда до конца не верил женщинам. Он боялся утраты и одиночества, равнодушия и душевных травм, а малейшая провокация вызывала у него приступы ревности. С любовницами он был подозрительным, неуступчивым и сердитым.

Выжить в Хэнуэлле ему помогло то, что он сделал себя неуязвимым. «Даже когда я был в приюте… – рассказывал Чаплин впоследствии старшему сыну, – даже тогда я считал себя величайшим актером в мире. Я должен был ощущать власть, которую дает абсолютная уверенность в себе. Без нее ты обречен на поражение». Эта неуязвимость станет характерной чертой его экранного персонажа. Бродяга всегда остается невозмутимым.