После женитьбы супруги жили вместе, но в 1909 году Эдвина забеременела первенцем и вернулась к родителям; она переезжала с ними с места на место, когда ее отец, приходской священник, получал новые назначения в штатах Миссисипи и Теннесси. Том, сосредоточенный и наблюдательный малыш, родился двумя годами позже, в Вербное воскресенье, 26 марта 1911 года. На юге ему жилось хорошо. Он дружил с сестрой Роуз и называл позднее этот период временем «радостной невинности», хотя с отцом виделся редко. Он был бойким и крепким мальчишкой, пока не подхватил в первом классе дифтерию, после чего его забрали из школы. Большую часть следующего года он провел дома в постели; предоставленный сам себе, он разыгрывал воображаемые сцены с колодой игральных карт. В класс вернулся совсем другой мальчик, хрупкий и чувствительный.

В 1918 году южная идиллия внезапно кончилась. Корнелиус получил повышение — руководящую должность в Международной обувной компании — и решил поселиться с семьей в Сент-Луисе. Не привыкший к жизни с детьми, он относился к старшим пренебрежительно, хотя любил Дейкина, который родился через несколько месяцев после переезда в Сент-Луис. Однако с воссоединением семьи Уильямс скитания юного Тома не закончились. К пятнадцати годам он сменил место жительства уже шестнадцать раз, но только в Сент-Луисе осознал, насколько они бедны. Стены их крошечных съемных квартир были, по его воспоминаниям, цвета горчицы или запекшейся крови. В этих мерзких тесных клетушках несовместимость супругов безжалостно оголилась, и в такой обстановке стало быстро прогрессировать психическое расстройство Роуз.

«Домашняя жизнь была ужасной, просто ужасной», — много позже напишет Дейкин биографу Уильямса Дональду Спото. «В конце 20-х годов мать с отцом вели открытую войну, и оба они были хорошими бойцами. Отец приходил домой пьяным и начинал бушевать. Следовала череда агрессивных выпадов, и под конец мать разыгрывала свой знаменитый обморок». Чувствительная Роуз всё больше страдала от этих стычек, а Том затаил горькое воспоминание о прозвище «мисс Нэнси», которое отец дал ему за девчоночий интерес к книжкам и фильмам, и позднее написал, что отец его «был страшным человеком».

В юности Уильямс был патологически застенчив и, встретившись с кем бы то ни было взглядом, заливался краской. Неудивительно, что в своем первом заграничном путешествии он должен был испытывать парализующую тревогу. Но и случившийся уже на борту «Гомерика» инцидент тоже мог сыграть тут свою роль. Во время плавания Том проводил немало времени, вальсируя с двадцатисемилетней женщиной, инструктором по танцам. «Я в те дни был превосходным танцором, и мы „все плыли по полу: и плыли, и плыли“, как это описала бы Зельда». В какой-то момент он случайно услышал ехидный намек на свою сексуальную ориентацию, сделанный ее приятелем с необычным именем Кэптен де Во. Это чрезвычайно взволновало Тома, хотя истинный смысл он понял много позднее. А этот человек спросил: «Ты догадываешься, кем он станет?» — на что танцовщица ответила: «В семнадцать лет ни в чем нельзя быть уверенным».

Группа двигалась из Парижа в Венецию, Милан и Монтрё, и Том продолжал писать домой бодрые письма, описывая виденные им горы и замки. Он не упоминал о своих страхах, но, когда путешественники добрались до Рейна, уже не сомневался, что сходит с ума. Страхи, как он объяснял позднее, были сопряжены с чувством, что «процесс мышления является ужасно сложной тайной человеческой жизни». Перелом произошел в Кёльнском соборе. Том преклонил колени и стал молиться. Остальная группа уже покинула собор. Свет лился сквозь витражные стекла цветными потоками. И случилось чудо. У Тома возникло необъяснимое чувство, что его коснулась неведомая рука: «…и в то же мгновение фобия отлетела от меня легко, как снежинка, хотя давила она на мою голову с огромной тяжестью чугунной плиты».