На ночлег останавливались в поместьях португальцев, где Чарлз «чуть не стал свидетелем одной из тех жестокостей, какие возможны только в рабовладельческой стране. Из-за какой-то ссоры и тяжбы владелец хотел отобрать всех женщин и детей у своих невольников и продать их поодиночке с публичного торга в Рио. Он не сделал этого лишь из расчета, а не из чувства сострадания… И вместе с тем я поручусь, что человечностью и добротой он был наделен в большей степени, нежели рядовой человек. Должно быть, ослеплению, до которого могут довести человека корыстолюбие и эгоизм, нет границ. Хочется рассказать об одном пустяковом случае, который в то время поразил меня сильнее, чем все рассказы о жестокостях. Я переправлялся через реку с одним негром, на редкость тупоумным. Пытаясь втолковать ему что-то, я громко заговорил и, жестикулируя, взмахнул рукой близко от его лица. Видимо, он решил, что я собираюсь его ударить, потому что мгновенно вытянул руки по швам, полузакрыв глаза и с выражением испуга на лице. Никогда не забуду смешанного чувства удивления, отвращения и стыда, которое я испытал при виде взрослого сильного человека, побоявшегося отвести удар, направленный, как он полагал, ему в лицо. Этого человека низвели на такую ступень деградации, которая ниже рабства самого беззащитного животного».

Это фрагмент опубликованного варианта — в дневнике говорилось больше. Леннон, не португальский злодей, а британец, хотел продать ребенка одного из своих рабов. «Я убежден, что в конце концов они [рабы] захватят власть в свои руки…» Из-за рабства произошел первый открытый конфликт с капитаном, к которому Чарлз к тому времени охладел. В «Путешествии» он «разборки» с Фицроем не упоминал, но поведал о них в автобиографии, написанной, когда капитан уже умер: «Нрав у Фицроя был самый несносный… Он также был подозрителен и то и дело пребывал в дурном настроении, а однажды почти впал в безумие… когда мы были в Баие в Бразилии, он стал защищать и расхваливать рабство, к которому я испытывал отвращение, и сообщил мне, что он только что побывал у одного крупного рабовладельца, который созвал своих рабов и спросил их, счастливы ли они и хотят ли получить свободу, на что все они ответили: "Нет!" Тогда я спросил его, должно быть не без издевки, полагает ли он, что ответ рабов, данный в присутствии их хозяина, чего-нибудь стоит?»

Фицрой велел Чарлзу убираться, тот решил подождать, через пару дней помирились, более того, Фицрой решил в пользу Чарлза коллизию с Маккормиком, судовым врачом, который претендовал на то, чтобы быть главным натуралистом на судне, и Маккормик оставил «Бигль». Бриг двинулся в залив Ботофого, Чарлз сушей вернулся в Рио с двумя офицерами, на лодке поплыли в залив, чтобы там встретить судно, провели несколько дней в доме на берегу. Отослал домой письма и выдержки из дневника. Вечера в саду: лягушки поют лучше всякого соловья, жил бы и жил, «Бигль» пошел в Баию, Чарлз остался, писал Генсло, что «сходит с ума по паукам», Фоксу — что, несмотря на страсть к паукам, геология «берет верх; она похожа на азартную игру». 5 июля «Бигль» подобрал его, пошли на юг, к Монтевидео. К Кэтрин, июль 1832 года: «Я перехожу от одного класса животных к другому, так что скоро у меня будет представление обо всех. Таким образом, даже если я не достигну никакой другой цели, у меня до конца жизни будет достаточно материала для занятий и развлечений». Рассказывал сестре, рисуясь, что «оброс как дикий зверь»: «С пистолетами за поясом и молотком в руках я похож на громадного варвара».