Один из студентов вспоминал, что По всегда был «печален, меланхоличен, даже когда улыбался», и что он не помнит, чтобы тот «от души смеялся, — смех его казался деланым». По ни с кем не сходился, будучи слишком закрытым или слишком гордым, чтобы идти на сближение. Он часто «выпивал», чтобы «умерить избыточное нервное напряжение, в котором постоянно находился». Вероятно, пил он популярную настойку «персик с медом», сладкое и убийственное сочетание. Это первое упоминание о его пристрастии к алкоголю. Важно отметить, что пить он стал в очень раннем возрасте. Значит, По родился, а не сделался пьяницей.

Другой студент вспоминал, что «страсть По к крепким напиткам была такой же неумеренной и обращавшей на себя внимание, как страсть к картам». По был азартен. Поспорив с местным клерком, кому достанутся гравюры Хогарта, По предложил ему сыграть в кости и проиграл. В карты он мог резаться бесконечно, время от времени просаживая большие деньги. В таких случаях, как пишет современник, он «словно погружался в глубины своего природного, не знавшего границ, безрассудства». Такое «безрассудство» было свойственно По и во взрослой жизни, когда он все больше увлекался спиртным и вел себя соответственно. Тем не менее он прилежно учился в университете.

Впрочем, его жизнь в университете надо рассматривать в определенном контексте. Юные джентльмены из Вирджинии не обязаны были во всем следовать наставлениям Томаса Джефферсона, тем более по части нравственности. В университете часто случались драки и потасовки, и большинство студентов имело пистолеты, которые молодые люди то и дело пускали в ход. Культура Юга все еще включала в себя традицию дуэлей. Некоторые студенты происходили из богатых семей плантаторов, и их сопровождали рабы. Другие привозили своих лошадей и охотничьих собак. Студенты нередко мародерствовали в близлежащих городках, совершая на них пьяные набеги, процветали карточные игры. По не был одинок в своих слабостях. Однако испытывал непривычный недостаток в средствах. Ему приходилось просить денег у Джона Аллана, который присылал слишком мало и с большим опозданием.

Когда дело касалось содержания юного Эдгара, Аллан обычно проявлял скупость. В одном из писем По подсчитал свои университетские расходы, включая жилье и обучение, оценив их в триста пятьдесят долларов в год. Аллан же отправил его в Шарлоттсвиль, дав всего сто десять долларов. В результате По смог записаться лишь в два из трех классов, открывавших ему свои двери, правда сэкономив на этом пятнадцать долларов. Конечно же были и денежные посылки, но их никогда не хватало на оплату счетов. Тем более их недоставало для покрытия карточных долгов, и, согласно жалобам По, «на него смотрели, как на попрошайку». Никаких явных причин так жаться у Аллана не было. Всего лишь годом раньше он унаследовал довольно большое земельное владение по завещанию богатого шотландского родственника, который тоже эмигрировал в Америку.

Должно быть, к своему приемному сыну Аллан испытывал противоречивые чувства. Позднее, по свидетельству друга По, поэт сам характеризовал своего приемного отца как человека грубого и жестокого, признавая тем не менее, что временами он баловал сына, проявляя щедрость, хотя обычно бывал прижимист и скуп. Похоже, что с годами Эдгар вызывал у Аллана все большее негодование: он начинал видеться ему неблагодарным наглецом. В свою очередь По предполагал, что когда-нибудь богатства Аллана достанутся ему. И это было самым необоснованным предположением из всех возможных.

Когда в конце 1826 года По вернулся в Ричмонд, Аллан отказался финансировать его дальнейшее обучение.