Один из первых биографов И.А. Крылова, писатель начала XIX века М.Е. Лобанов рассказывает: «Крылов учился грамоте, а первым началам некоторых наук и языков в приязненном семействе Львова вместе с его детьми. Учение того времени, конечно, было ограниченное; тогда в России еще не много было средств для образования юношества; но малютка, щедро одаренный природою, во всем, к чему только прилежал, делал большие успехи. К изучению иностранных языков, как увидим впоследствии, он имел необыкновенную способность. Во французском языке первые уроки получил он от гувернера француза, жившего у тверского губернатора; потом продолжал учиться дома, сам собою, под надзором своей матери, Марьи Алексеевны, о которой он всегда вспоминал с любовью. „Она была простая женщина, — говорил он, — без всякого образования, но умная от природы и исполненная высоких добродетелей…“ Любопытно то, что мать его, чуждая всякого учения, даже грамотности, вмешивалась в его упражнения и, руководствуясь одною природною логикою, нередко поправляла его ошибки. Когда он читал ей переводы, она останавливала его иногда: „Нет, Ваня, это что-то не так! Возьми-ка ты французский словарь, да выправься-ка хорошенько“. Он исполнял приказание матери и действительно находил ошибки. Русские книги, частию духовные, частию исторические, также и словари в небольшом количестве были в их доме; притом он доставал у знакомых, что только можно было достать в Твери, и в то время приохоченный благоразумною матерью еще с детства к чтению, то ласками, то подарками, впоследствии, с возрастом, он пристрастился к этому занятию и с жадностию читал все, что ни попадалось ему в руки».

Елизавета Николаевна Львова, дочь Николая Львова и жена Федора Львова, рассказывает семейные предания, касающиеся Крылова: «Иван Андреевич Крылов жил долго в доме у Николая Александровича Львова, где он был принят двенадцатилетним мальчиком по бедности; отец его был бедный тверской дворянин и, не имея возможности воспитывать сына своего Ванюшу дома, отдал его Петру Петровичу Львову, который умным мальчиком занимался, учил чему мог, а между тем, как Ванюша вырос и сделался расторопным молодым человеком, всегда был чисто и пристойно одет и как в доме Петра Петровича людей было мало, то часто, как гости бывало приедут, то кто-нибудь из хозяев и скажет: „Ванюша, подай в гостиную поднос с чаем“, и Крылов ловко исполнял желание хозяев и получал благодарность от доброго и умного Петра Петровича. Потом Крылов отправлен был в Петербург и уже там известен стал всей России своими прелестными баснями. Часто посещал он и наш дом, хотя решительно никогда не упоминал о доме Петра Петровича; может быть, очень самолюбие его страдало, вспоминая, что он служил там иногда как лакей, и не мудрено, что он никогда об этом и не говорил, но всегда был в доме Федора Петровича Львова самый близкий человек; почти всегда у нас читал он свои новые басни и любил часто у нас обедать, потому что простой наш стол и нецеремонный прием всегда ему нравились».

Сложно понять, что в этих рассказах правда, а что — обычные семейные легенды и байки. Ясно одно: Крылов учился «понемногу, чему-нибудь и как-нибудь», но вовсе не из-за лености и легкомыслия, как Онегин, а по причине нехватки денег. Он продолжал работать там, где мог найти работу: служил в Калязинском уездном суде, потом — в Тверском губернском магистрате.

В 1782–1783 годах 15-летний Крылов с матерью и младшим братом Львом решают перебраться в Петербург. На первых порах им помогает Николай Александрович Львов. Они поселяются в казармах Измайловского полка. К сожалению, мать Крылова вскоре умирает, брат остается на его попечении.