Согласно налоговым документам, главой семьи, проживавшей в доме 38 по Холланд-Роу, была Мэри Энн Лэнгриш, что указывает на то, что Уильямсы делили здание с Мэри Энн и ее дочерью Элис. Возможно, в том доме жили и другие люди. Такое вряд ли было необычным для того времени. В сентябре 1928 года, когда Фрэнку исполнилось только девять лет, его отец, Дэвид Артур Уильямс, умер. Фрэнк, который боготворил отца, был безутешен. По обычаям того времени, тело умершего омыли, подготовили к погребению и оставили дома, разрешив всем, кто хотел выразить уважение покойному, посетить его. Так продолжалось до тех пор, пока запах не стал слишком сильным для жильцов.

Портсмут в то время был населен почти так же плотно, как Лондон. Город на берегу стал домом для людей, связавших свою жизнь с морем. Местные бары вроде Herd, Polar Star и Ship & Castle заполняли матросы и офицеры ВМФ Великобритании, кораблестроители, портовые рабочие, рыбаки, паромщики и моряки торгового флота, которые рассказывали о том, как едва спаслись при кораблекрушениях, и о тех, кто их покинул, будь то рыбы или женщины. Прославленный адмирал Горацио Нельсон останавливался в отеле George на набережной Портсмута, когда корабль «Виктория» готовили к битве с объединенным франко-испанским флотом Наполеона. Четырнадцатого сентября 1805 года Нельсон отплыл из Портсмута и через пять недель после этого нанес противнику сокрушительное поражение при Трафальгаре, отдав жизнь в бою и став величайшим военно-морским героем Великобритании. В память об этих событиях на набережной Портсмута установлен якорь «Виктории». Атмосфера мужественной тяжелой работы и героизма опьяняла юношу, который рос без отца.

Жизнь овдовевшей матери Фрэнка, Жанны Агнесы Уильямс, и ее большой семьи была тяжелой. Хотя они не нищенствовали, денег не хватало. Дети, которым не стукнуло еще и 10 лет, работали долгие часы на верфях и в доках. Но Фрэнк был упорным. Например, он в течение двух лет экономил деньги, чтобы собрать со случайных заработков достаточно денег для покупки велосипеда. Фрэнк смолоду воспитал в себе настойчивость и обладал способностью переносить трудности и силой воли преодолевать обстоятельства. В дальнейшем эти качества хорошо послужат Фрэнку.

Впрочем, не все было так по-диккенсовски уныло. Согласно местным историям того периода, мальчики в возрасте Фрэнка проводили долгие часы, занимаясь «промывкой грязи», то есть копались во время отлива в донных отложениях гавани в поисках сокровищ. А еще подросткам нравилось смотреть матчи футбольного клуба «Портсмут» на стадионе Фрэттон-Парк. Мальчишки взбирались на стену, окружавшую поле, причем многих из них сбивали неудачно пущенными мячами. На Южном парадном пирсе устраивали недели фейерверков, а в Бальном зале императрицы – танцы для молодежи. В кинотеатр «Рекс» манили фильмы с Тексом Риттером и о Флэше Гордоне. Мальчишки пользовались тем, что на входе билеты проверял только один сотрудник, и группами проскальзывали через заднюю дверь.

На улицах Саутси одни продавали с тележек свежих моллюсков, другие – воду из бутылок, которыми обвязывались, как поясами, и зазывали местных жителей словами «Возьмите одну на дорожку!» «Тогда в Портсмуте не было супермаркетов, – вспоминает Рут Уильямс (не родственница Фрэнка) в одной из историй о Портсмуте того времени. – В каждом квартале был свой кооперативный рынок и свой мясник. Моя мать иногда ходила на Альберт-Роуд [главную торговую улицу Портсмута], чтобы просто прогуляться там».

После смерти отца Фрэнк замкнулся. Он был застенчивым и спокойным, и его молчаливости вряд ли способствовал гвалт, царивший в переполненном доме и в школах, которые славились строгой дисциплиной и драками в коридорах. Фрэнк был зачарован атмосферой доков и прислушивался к урокам жизни, которые передавали мальчишкам просоленные, морщинистые мужчины. Эти люди, пошатываясь, выходили из пабов возле доков и гордо шествовали по улицам Портсмута в своей форме.