Не только лошади чувствовали себя вольготно на улицах Ричмонда, но и козы со свиньями. На Кэпитол-сквер еще в середине девятнадцатого столетия паслись коровы. Разъезжали почтовые кареты и экипажи с чернокожими ливрейными лакеями и кучерами. У плантаторов дома были просторными, с прохладными верандами и комнатами, где льняные шторы защищали хозяев от нестерпимого зноя. Мужчины сидели в креслах-качалках, курили сигары и жевали местный табак. А рядом теснились хижины рабов, вокруг которых валялись и играли в пыли чернокожие ребятишки. В таком месте трудно избавиться от уныния, если только не пить постоянно вишневый кобблер или мятный джулеп. Воздух отравляли развешанные повсюду для сушки табачные листья.

Поначалу семейство Алланов остановилось в доме партнера Джона Аллана, которого звали Чарльз Эллис и который, возможно, и убедил Аллана продолжить занятия торговлей и добиваться успеха. Осенью Эдгара По отправили в местный колледж, где он запомнился учителю как «честолюбивый, хотя и не очень прилежный ученик, тем не менее хорошо проявлявший себя в классе». Обращало на себя внимание его чувство собственного достоинства «без кичливости», а также «возбудимость мальчика» и часто «его неизменное желание не уронить себя». Так что порою Эдгар По мог казаться строптивым и своенравным.

В это время он начал писать стихи. Его школьный учитель считал По «прирожденным поэтом», который сочиняет стихи «con amore, а не по заданию». Джон Аллан разделял такое мнение учителя и даже показал ему сочинения мальчика, советуясь о возможности их публикации. Но с этим было решено повременить, дабы не разжечь честолюбия и без того чересчур честолюбивого подростка. Однако поступок Джона Аллана — свидетельство в пользу того, что он очень серьезно воспринимал литературные амбиции своего подопечного. И вовсе не был тем холодным и бесчувственным тираном, каким рисуют его биографы Эдгара По.

В школе По успешно осваивал классиков, в том числе Овидия, Вергилия и Цицерона. Но отличался и в менее ученых занятиях. По был хорошим пловцом и однажды одолел шесть миль против течения, тогда как учителя и ученики стояли на берегу реки Джеймс и наблюдали за ним. Атлетически сложенный, мускулистый и сильный, он неплохо боксировал и отлично показал себя в легкой атлетике, например в беге. Очевидный контраст с тем, что с ним сталось потом, когда в зрелые годы его почти постоянно одолевали недуги. Говорили, что у него необыкновенно приятный нрав: «Всегда веселый, всегда искрящийся радостью, По был любимцем своих товарищей по школе». Он получал призы за красноречие, считался лучшим в декламации римских поэтов и елизаветинских драматургов.

Однако, как это обычно бывает, описания современников страдают противоречиями. Один из учеников вспоминает, что По был «упрямым, своенравным, высокомерным, правда не без приступов щедрости, но далеко не всегда добрым и даже дружелюбным». Юный По копил недоброжелательство к миру. Каким-то образом его сверстники узнали, что он сын бродячих актеров и Алланы его усыновили. По этой причине мальчики «отвергли его лидерство». В результате он сделался еще более «невыносимым», что выразилось в непомерной гордыне, или надменности, но также развило в нем болезненную восприимчивость. Таким же был характер По и в зрелые годы. Другой современник вспоминал, что юный По был «склонен к уединению и невероятно замкнут». В частности, известно, что после уроков он никогда не приглашал мальчиков к себе. Уходя домой, он как бы говорил: «На сегодня лимит моей общительности исчерпан».

Мальчиком По любил долгие и, как правило, одинокие «прогулки» по окрестным лесистым холмам. С друзьями он организовывал набеги на местные сады и на грядки с репой, а также был заводилой, когда дело касалось рыбной ловли и пикников с жарением рыбы на берегу реки Джеймс.