Отец Форстера изучал архитектуру и был неплохим рисовальщиком. В личном плане он был мужчиной, что называется, не склонным к супружеской жизни. Примечательно, что в свое свадебное путешествие по Франции он отправился не только с молодой женой, но и с другом. Впоследствии Форстер старательно избегал говорить об отце, подспудно виня его в собственных проблемах. Дело в том, что отношение Форстера к своей гомосексуальности всю его долгую жизнь, за исключением, быть может, самого последнего периода, оставалось весьма непростым. В автобиографии он писал: «Отец всегда был для меня сторонней фигурой. Я ни разу не разглядел в нем себя, не помогли даже его письма и фотографии».

Мать Форстера служила в различных домах гувернанткой. Она была некрасивой женщиной. Волевая и властная, к концу жизни Лили превратилась в безобразное оплывшее существо с выпученными глазами. Ее влияние на сына было огромным и безраздельным. Он и любил ее, и жалел, и боялся, и ненавидел, до конца ее жизни сохраняя с ней теснейшую связь.

Двоюродная бабка Марианна Торнтон, умершая в 1887 году, завещала внучатому племяннику солидный капитал, позволивший ему получить солидное образование и не думать о службе ради куска хлеба по окончании университета.

Через два с половиной года после смерти отца Форстер с матерью поселились в имении Рукснест в Хартфордшире. Именно здесь зародилась любовь Форстера к провинциальной Англии. Годы, проведенные в Рукснесте, Форстер вспоминал с неизменной теплотой. Образ этого дома Форстер впоследствии дал в романе «Хауэрдс Энд», а имя мальчика-садовника из Рукснеста увековечил в одном из лучших своих романов «Самое долгое путешествие» и в рассказе «Анселл» из тематического сборника «В жизни грядущей». Эта новелла повествует о студенте-классике (каковым был в Кембридже и сам Форстер, специализировавшийся на греческой античности), забросившем свою научную карьеру ради ровесника-егеря, с которым он играл в детские годы, когда тот был помощником садовника в его поместье. Теперь они вместе странствуют по сельской Англии, не заботясь о будущем.

Детские годы, от четырех до четырнадцати, были земным раем для маленького Форстера. Жизнь омрачало лишь то, что приходилось ходить в приготовительную школу Кентхаус, где его дразнили маменькиным сынком за изнеженность и женственность.

В четырнадцать лет Форстер простился с Рукснестом (закончился срок аренды) и поступил в частную школу Торнбридж. В «Воспоминаниях» он писал: «Если бы можно было не уезжать из Рукснеста, я стал бы совсем другим человеком — женился и пошел воевать».

В Торнбридже ему пришлось еще трудней, чем в Кентхаусе. Он был там «дневным учащимся», то есть жил дома, посещая лишь школьные занятия. В семнадцать лет он поступает в кембриджский Кингс-колледж, начинает изучать классические науки, демонстрирует второй результат при сдаче государственных экзаменов, затем переходит на историческое отделение и вновь оказывается на почетном втором месте. Через шесть лет после окончания Кембриджа он пишет предисловие к новому английскому переводу «Энеиды». В отличие от героя рассказа «Анселл» Форстер не забросил диссертацию, и в 1910 году ему была присвоена степень магистра искусств.

Во время учебы в университете его захватывает литературная деятельность. Он участвует в студенческом альманахе «Базилеола». Огромное влияние на Форстера оказывает его университетский наставник Голдсуорти Лоуз Диккинсон, впоследствии ставший другом на всю жизнь, первым читателем и критиком его произведений.