А. Н. Афанасьев родился 11 июля 1826 г. в уездном городке Богучары Воронежской губернии в семье мелкого судейского чиновника. Года через три после его рождения отец получил назначение на новое место службы — в город Бобров той же Воронежской губернии, куда переехала и вся семья. Здесь прошли детские годы Афанасьева, здесь он научился грамоте, приобщился к книге, отсюда в 1837 г. уехал в Воронеж, чтобы продолжить образование в тамошней гимназии. Жизнь до гимназии Афанасьев впоследствии живо изобразил в своих воспоминаниях, напечатанных в «Русском архиве» (1872, № 3—4, стб. 809—852).

Из этих воспоминаний видно, что несомненным и заслуженным авторитетом в семье Афанасьева пользовался отец (мать скончалась вскоре после рождения маленького Саши). Воспитанный «на медные деньги», он «уважал образование в других», любил читать, постоянно интересовался журналами того времени («Библиотекой для чтения», «Отечественными записками», «Москвитянином» и др.) и некоторые из них выписывал. По словам Александра Николаевича, его отец «справедливо почитался за самого умного человека в уезде, и к нему многие обращались в важных юридических случаях за советами».

После того, как Саша научился дома читать и писать, он вместе со старшим братом и другими детьми уездных чиновников продолжил учение поочередно у двух попов, и того и другого звали Иваном. «И первый, и второй отцы Иваны, — вспоминает Александр Николаевич, — были люди вовсе не злые; но, воспитанные в семинарии, они были знакомы только с суровым духом воспитания и вполне поясняли нам, что корень учения горек».

С детства он любил слушать сказки и читать книги. «Чтение это, — вспоминал Александр Николаевич, — сменило для меня сказки, которые бывало, с таким же наслаждением и трепетом слушал я прежде по вечерам, в углу темной комнаты, от какой-нибудь дворовой женщины». Страсть к чтению, однако, не изгладила ярчайшего впечатления от народных устных сказок, и любовь к ним Афанасьев сохранил до конца своей жизни.

В 1837 г. Афанасьев поступает в воронежскую гимназию и проходит полный семилетний курс обучения. О пребывании в гимназии он вспоминает дважды — в цитированных автобиографических записках и в статье «Кольцов и воронежские педагоги», напечатанной за подписью «И. М-к».

Воронежская гимназия конца 30-х — начала 40-х годов XIX в. мало чем отличалась от других подобных учебных заведений России того времени. Казенщина и схоластика сковывали ум и творческую инициативу учащихся. «Розги и своеручная расправа, не щадившая ни ушей, ни волос виновного, — пишет Афанасьев, — почитались необходимыми атрибутами учения: корень его действительно был горек и старинное правило Домостроя: «учащай раны и сокрушай ребра» представлялись единственною мерою изгнать дух непокорства и лености». И нет ничего удивительного в том, что для инспектора редкий день проходил без того, чтобы он не водил человек по 15 гимназистов в канцелярию «кормить березовой кашей».