Летом 1819 года Джон Диккенс занял у знакомого 200 фунтов, выплатить не мог (он не был пьяницей или игроком — деньги утекали как-то так, на джентльменский образ жизни) и втянул в это шурина — Томаса Барроу; шурин с ним порвал. Катастрофа становилась все ближе. Тем не менее родили еще дочку Гарриет, на следующий год — сына Фредерика, а в 1822-м — сына Альфреда. Старших, Фанни и Чарли, в 1820 году отдали в крошечную школу на соседней улице, где учили с помощью розог в общем-то ничему, в 1821-м перевели в такую же маленькую школу (на полтора десятка детей), но более приличную, которой управлял молодой баптистский священник Уильям Джайлз: ораторское искусство, арифметика, история, география, латынь. Учителю Чарли нравился, и он много занимался с ним отдельно, заодно научив его нюхать табак; к пятнадцати годам Чарлз был уже заядлым курильщиком. Ничего удивительного: тогда младенцев поголовно поили портером.

Сестра Джайлза вспоминала, что Чарли был мал, худ, ангельски красив и обладал хорошим характером, открытым и мягким; у него начались страшные почечные колики, и он почти не мог играть, зато стал еще больше читать: «Дон Кихота», «Жиля Блаза», романы Генри Филдинга. «Они продолжают жить в моем воображении, — сказал он как-то своему прижизненному биографу Джону Форстеру, — и в них моя надежда на что-то, что за пределами этого места и времени…»

Тетя Фанни вышла замуж за доктора Лэмерта и уехала в Ирландию, а Джеймс Лэмерт остался у Диккенсов и в июне 1822 года перебрался с ними в Лондон, где Джон Диккенс получил очередное назначение; Чарли оставили заканчивать четверть в школе. Он приехал к своим один: «Сколько прожито лет, а разве забыл я запах мокрой соломы, в которую упаковали меня, словно дичь, чтобы отправить — проезд оплачен — в Кросс Киз на Вуд-стрит, Чипсайд, Лондон. Кроме меня в карете не было других пассажиров, и я поглощал свои бутерброды в страхе и одиночестве, и всю дорогу шел сильный дождь, и я думал о том, что в жизни гораздо больше грязи, чем я ожидал».

Семья жила на Бейхем-стрит, 16, в новом растущем районе Кэмден-таун: неудобный дом в три этажа, но всего с четырьмя комнатами, в которых надо было расположить родителей, шестерых детей, квартиранта, горничную и «черную» служанку. Одиноко, скучно: впоследствии Чарлз едва смог вспомнить двоих соседей и друзей не завел. Мать водила к дяде, Томасу Барроу, брать почитать книги, с Джеймсом Лэмертом дома устраивали театр, отец посылал с хозяйственными поручениями (отдать вещи в чистку, починку, ломбард, купить что-нибудь), лето кончилось, а в школу Чарли не отдали. Он не мог понять почему.

Из автобиографии, написанной предположительно в 1845 или 1846 году: «Отца я всегда считал добрейшим и благороднейшим из смертных. Я не вспомню ни одного его поступка по отношению к жене, детям или друзьям в дни болезни или бед, который не заслуживал бы высочайшей похвалы. Он просиживал со мной, когда я болел, дни и ночи напролет, всегда неутомимый, всегда терпеливый, и так не день и не два… Он гордился мною на свой особый манер и с восхищением слушал мои комические куплеты. Однако по беззаботности своего нрава и в силу денежных трудностей он, очевидно, совсем позабыл тогда о моей учебе и даже в мыслях не имел, что я вообще могу что-то требовать от него в этом отношении. И вот мне осталось чистить по утрам ботинки ему и себе, помогать в чем нужно по дому, присматривать за меньшими братьями и сестрами (нас к тому времени было шестеро) и бегать по разным жалким делам, связанным с нашим жалким бытом».

Зимой 1823 года молодой Лэмерт съехал, найдя себе работу и жилье, а весной Фанни приняли в Королевскую академию музыки по классу фортепиано. Плата была высокой. Это было очень необычно по тем временам — деньги идут на обучение дочери, а не сына; может, если бы родители видели в Чарли какой-нибудь явный талант, все было бы иначе.