Согласно этой царской резолюции, Афанасьев был уволен с государственной службы, что по-разному толковалось в научной литературе. Одни утверждали причастность его к какому-то политическому делу, не раскрывая при этом, о каком деле шла речь, другие склонялись к тому, что Афанасьев пострадал случайно и, по-видимому, по чужой вине, третьи объясняли его увольнение причинами, «от него независящими». П. А. Ефремов это увольнение связывал исключительно с «назойливостью» нелегально прибывшего в Россию от Герцена Кельсиева, который «нежданно-негаданно на несколько минут» появился у Афанасьева.

Первые 3—4 года Афанасьев не находил какой-либо постоянной работы. Он перебивался случайными заработками, которых не хватало для самого необходимого. Чтобы выйти из бедственного положения и как-то добиться для себя и семьи сносного существования, ученый решает расстаться со своим любимым детищем — обширной библиотекой, собранной в течение многих лет огромными жертвами и лишениями и теперь сложенной из-за тесноты квартиры в сарае. Вначале, как видно, он предложил продать ее целиком создаваемой в 1863 г. Де-Пуле Воронежской Публичной библиотеке, но, как пишет Де-Пуле, «предложение это не могло быть принято, по специальности библиотеки». В конце концов Афанасьев вынужден был продать ее за бесценок по частям, случайным людям.

О том, в каких невероятно стесненных домашних условиях приходилось жить и трудиться Афанасьеву, поведал его хороший знакомый, известный книгопродавец и издатель Д. Е. Кожанчиков одному из авторов «Русской старины»: «Теснясь в холодной квартире, не зная, чем прикрыть пол, из-под которого страшно дуло, Афанасьев употребил вместо ковра все экземпляры недвижимой своей собственности — «Библиографические записки», для чего растрепал их по листам и ими толстым слоем покрыл пол; когда же листы через некоторое время истерлись, то были выметены как сор».

В конце концов Афанасьеву удалось все же поступить на службу — сначала секретарем в городскую думу, потом перейти в мировой съезд и за год до смерти — в коммерческий банк. Стоически преодолевая жизненные невзгоды и материальные лишения, Афанасьев и после 1862 г. не прекращает напряженной и целеустремленной творческой деятельности. Правда, участие его в периодических изданиях намного сокращается, сужается и тематический диапазон его статей и заметок. Работы же по мифологии и народному творчеству выдвигаются на первый план и становятся особенно интенсивными и доминирующими.

После того, как в 1863 г. выходом в свет 8-го выпуска было закончено издание «Народных русских сказок», Афанасьев занимался составлением сборника «Русские детские сказки» (1-е издание — М., 1870), нелегко прошедшего цензуру, и подготовкой второго, заново систематизированного, дополненного, значительно улучшенного, издания своего основного сказочного сборника. Он вышел в 1873 г., после смерти составителя — почти одновременно с «Русскими заветными сказками». В течение 1864—1865 гг. Афанасьев публикует четыре статьи на мифологические темы.

В 1865 г. выходит первый, а в 1869 — третий том его фундаментального труда по мифологии «Поэтические воззрения славян на природу», до сих пор поражающего исследователей богатством фактов, огромной эрудицией автора.