Первое воспоминание Чаза — так в детстве звали Чарли за картавость: летом 1813 года был с родителями на море. Еще его возили в Мэр, имение Джосайи Веджвуда II, брата Сюзанны, в Стаффордшире (23 мили от Шрусбери — день пути на лошадях). Джосайя II, унаследовавший от отца фирму и членство в Антирабовладельческом обществе, был женат на дочери богатого сквайра Джона Аллена, держал роскошную библиотеку, жена и жившие с ним незамужние сестры — активистки Общества трезвости, организовывали дома для неимущих, больницы, библиотеки.

Одна из сестер Джосайи и Сюзанны, Элизабет, вспоминала о приезде маленьких Дарвинов: «Ужасно грубые и невоспитанные, но здесь они ведут себя чуть получше, чем в Шрусбери». Сюзанна уже со второй беременности страдала депрессиями, а вскоре совсем слегла. Занималась младшими Каролина. Чаза она (по его мнению) считала тупым, глупее малышки Кэтрин, и нерадивым. «Она проявляла слишком большое усердие в стремлении исправить меня, ибо, несмотря на то, что прошло так много лет, я и сейчас отчетливо помню, как, входя в комнату, где она находилась, я говорил себе: "А за что она сейчас начнет ругать меня?" И я упрямо решил отнестись с полным безразличием ко всему, что бы она ни сказала». Весной 1817 года его приняли в начальную школу для приходящих учеников, которой руководил преподобный Джордж Кейз. К тому времени Чарли пристрастился к собиранию коллекций — раковины, монеты, камни, птичьи яйца; как писал в автобиографии, любил «сочинять заведомый вздор», чтобы привлечь внимание, при этом «инстинктивно сознавал, что тщеславен, и презирал себя». Был силен и ловок, но драться не умел — по собственному признанию, трусил. Как большинство людей, из которых впоследствии что-то вышло, был скрытен и мечтателен. Воспоминания теток и кузин о нем отрывочны: осторожный, робкий и в то же время обладавший «абсолютным моральным бесстрашием»; грязнуля, дурно воспитанный и упрямый.

Когда мать умерла, Марианне было 19, Каролине 17 лет. Повзрослевшие девушки стали обращаться с малышами мягче. Следовали методике Руссо: детей нельзя наказывать, науки они должны не принимать на веру, а понимать (позднее девушки открыли детсад, где применяли эти методы). Отец с детьми гулял, хотя и нечасто, разговаривал как со взрослыми, пытался заинтересовать медициной.

У биографов есть тенденция называть Роберта Дарвина тираном. Материал им дали психиатры. Э. Кемпф в 1918 году объявил, что Чарлз из-за жестокости отца мучился эдиповым комплексом; Д. Хаббл в 1946-м — что он испытывал к отцу «страх и ненависть», что Роберт был «холодным тираном», его дочери «угрюмы», сыновья «неврастеники»; Р. Гуд в 1954-м — что Чарлз «испытывал к отцу агрессию и ненависть на бессознательном уровне». Однако первоисточников, на основании которых психиатры могли сделать эти выводы, не существует. Диагнозы основаны на двух вскользь оброненных замечаниях, одно принадлежит дочери Роберта: «отец немного подавляет детей своей говорливостью», другое — племяннице: разглагольствует и никому слова вставить не дает. Сам Чарлз назвал Роберта «добрейшим на свете», и все его родственники отмечали, что отца он обожал. Но для ранних фрейдистов любовь и была доказательством «подавления естественной эмоции — желания убить отца».