Коннекционисты использовали прошедшее время как опытный полигон, проверяя, смогут ли они повторить этот хрестоматийный пример человеческой креативности без использования правил и без разделения труда между системой памяти и системой грамматического комбинирования. Серии компьютерных моделей пытались образовывать формы прошедшего времени, используя простые сети сопоставления данных. Эти сети обычно связывают звуки в глаголе со звуками формы прошедшего времени: — am с — ammed, — ing с — ung и т. д. Затем модель может создавать новые формы по аналогии, вроде того как создается обобщение тигров со львами: модель, обученная на слове «crammed», может угадать «spammed», а на слове «folded» — способна сказать «holded».

Но, когда говорят люди, они не просто ассоциируют звуки со звуками, а делают гораздо большее, так что модели не могут за ними угнаться. Ошибки происходят из-за отсутствия механизмов, оперирующих логическими связями. Большинство моделей заходят в тупик, пытаясь справиться с новыми словами, которые не похожи на уже знакомые и не могут быть обобщены по аналогии. Встретившись с новым словом «frilg», например, они выдают не «frilged», как сделал бы человек, а странную смесь вроде «freezled». Дело в том, что у них нет алгоритма переменной (как «х» в алгебре или «глагол» в грамматике), приложимого к любому элементу категории, независимо от того, насколько знакомы его свойства. (Это механизм, позволяющий людям мыслить категориями.) Сети могут только ассоциировать отрывки звуков с другими отрывками, и, сталкиваясь с новым глаголом, который звучит непохоже ни на один из тех, на которых они обучались, сети выдают на-гора попурри из наиболее похожих звуков, какие только могут найти.

Модели также не могут различать глаголы-омонимы с одинаковым звучанием, но разными формами прошедшего времени, как в случае «ring the bell» — «rang the bell» или «ring the city» — «ringed the city». Стандартные модели учитывают только звуки и слепы к грамматической разнице глаголов, требующих различного спряжения. Ключевое отличие здесь между простыми корнями, такими как «ring» в смысле звонить (прошедшее время «rang») и сложными глаголами, произошедшими от существительных, такими как «ring» в смысле окружить (прошедшее время «ringed»). Чтобы уловить эту разницу, лингвистическая система должна быть оборудована структурами связанных данных (например, «глагол, произошедший от существительного»), а не просто кучей разрозненных элементов.

Еще одна проблема — в том, что коннекционистские сети внимательно отслеживают статистику ввода: сколько глаголов каждой звуковой модели они встречали. Это не позволяет им рассчитывать на озарения, с помощью которых маленькие дети открывают правило «-ed» и начинают делать ошибки вроде «heared» и «holded». Создатели коннекционистских сетей могут заставить их так ошибаться, только бомбардируя сети правильными глаголами (чтобы буквально выжечь в них «-ed»), что совершенно не похоже на живой опыт реальных детей. И наконец, масса свидетельств, предоставленных когнитивной нейронаукой, показывает, что грамматические комбинации (включая правильные глаголы) и словарный поиск (включая неправильные глаголы) выполняются отдельными системами мозга, а не единственной ассоциативной сетью.

Не то чтобы нейронные сети были не способны уловить смысл предложения или выполнить задачу грамматического спряжения.