В 1853 году Саре пришлось уйти от Буллоков и вернуться в Мидхерст, чтобы ухаживать за больной матерью; месяц спустя Джозеф тоже оставил службу. Осенью того же года родители Сары умерли, и 22 ноября она в лондонской церкви Святого Стефана обвенчалась с Джозефом — оба в тот момент были безработными. Джозеф нашел временное место в Стаффордшире, но служба продлилась недолго. Лишь в апреле 1854-го ему удалось получить должность старшего садовника в поместье Шакбург-парк близ Уорвика. Место было превосходное, садовнику и его семье отводился коттедж. Почти сразу после вселения в новый дом был зачат ребенок, девочка родилась 20 февраля 1855 года. Но Джозеф и на этом месте не смог удержаться: начались конфликты с хозяином, и в августе семья оказалась на улице.

Оставив Сару и дочь Фрэнсис у родственников, Джозеф попытался найти работу в Лондоне. Но служить он не хотел и, когда его двоюродный брат предложил ему купить дом и посудную лавку в Бромли, крошечном городке близ Лондона, согласился с энтузиазмом. Условия казались выгодными — кузен соглашался отсрочить оплату на три года; другой родственник снабдил молодоженов товарами и утварью для обзаведения. 9 октября Уэллсы въехали в новый дом, расположенный по адресу Хай-стрит, 47, и носивший название «Атлас-хаус». Саре предлагали неплохие места, но Джозеф не хотел, чтоб она служила. В 1857 году у них родился сын Фрэнк, а в 1862-м — Альфред. Дела в лавке шли прескверно, однако Джозеф стал зарабатывать как профессиональный спортсмен: организовал в Бромли крикетный клуб, играл и был тренером. Один из его кузенов торговал принадлежностями для крикета и предоставил Джозефу кредит; в лавке, кроме чайных сервизов и ночных горшков, стали продаваться биты и крикетные воротца.

В 1864 году умерла от аппендицита восьмилетняя Фрэнсис, любимица Сары. С этого момента, как считает Уэллс, в душе его матери что-то сломалось. Раньше она смотрела на жизнь хоть и боязливо, но с детским оптимизмом, а теперь совсем помрачнела. Дети болели, торговля не шла. Отношения между супругами разладились, тем не менее 21 сентября 1866 года появился на свет их последний ребенок — Герберт Джордж Уэллс.

Дом, где прошло детство Уэллса, он вспоминал без малейшей теплоты. Здание трехэтажное, каменное: на первом этаже — лавка и гостиная, наверху — спальни, в подвале — кухня и кладовка. Возможно, другая хозяйка сумела бы создать в доме уют, но у Сары все не ладилось: предназначенная быть горничной у леди, она не умела вести домашнее хозяйство. Из экономии сама шила одежду, но выходило плохо. Стряпала того хуже: «капуста, капуста и капуста с капустой». В доме было не слишком чисто. Угля не хватало, спальни не отапливались. Джозеф старался бывать дома как можно реже, чтобы поменьше видеть жену — усталую, всего пугавшуюся, всегда в дурном настроении. Когда он не был занят крикетом, то проводил время в обществе других лавочников или читал. С Сарой ему было не о чем разговаривать; она, у которой в 40 лет уже выпадали зубы и поседели волосы, сидела в темной комнате и пришивала кривые заплатки на одежду. Джозеф порывался эмигрировать в Австралию или Америку, но жена была против, а ехать один он не решался. Оба уходили в бесплодные грезы о лучшей доле и чудесном избавлении.

Биографы Уэллса любят одну деталь: как свидетельствует дневник Сары, младенец при крещении отчаянно брыкался и вопил (в отличие от братьев и сестры, которые отнеслись к обряду с должным почтением) — неудивительно, что вырос бунтарем и безбожником. Характер у маленького Берти был не из приятных — по его собственному выражению, «бешеный». Был вспыльчив, капризен, завистлив, матери дерзил, к братьям постоянно лез задираться. Сара научила его читать, писать и считать до ста. В 1873-м его отдали в начальную школу — он ходил туда вместе с братом Фредом. В следующем году, когда ему было семь лет, он сломал ногу. Произошло это на крикетной площадке: игрок Саттон, приятель Джозефа, подхватил малыша на руки и неудачно его уронил.