Вернувшись в Америку, Чанг и Энг попали под опеку ненавистной им супруги капитана Абеля Коффина. Психологический дискомфорт наложился на усталость близнецов от «гастролей», и у них начались нервные срывы. В Афинах (штат Алабама) Чанг и Энг набросились с кулаками на одного доктора, заявившего о невозможности существования таких людей. Бедняг арестовали и оштрафовали на 300 долларов. В Филадельфии подобный инцидент произошел с одним из зрителей. Суд оказался в большом затруднении, поскольку разбушевался Чанг, а Энг бездействовал. Не имея возможности заточить в тюрьму одного брата без другого, судья в конце концов освободил обоих.

В 1832 году, когда близнецам исполнился 21 год, они возмутились своим импресарио Абелем Коффином, беззастенчиво обиравшим «артистов»: он платил им… 10 долларов в месяц на двоих! С этого времени Чанг и Энг сами стали организовывать выступления и сразу ощутили прочность своего материального положения.

В 1839 году у близнецов произошла знаменательная встреча с врачом из Северной Каролины Джеймсом Калловэем. Доктор пригласил Чанга и Энга к себе в Северную Каролину, и они, очарованные местной природой, осели здесь навсегда. В это время близнецы, ставшие довольно обеспеченными людьми, смогли приобрести земельный участок и возвести на нем просторный дом.

Чангу и Энгу пришла пора задуматься о женитьбе. Они повстречали двух сестер Аделаиду и Сару Йейтс и влюбились в них. Начался роман со взаимностью, и он открыл, пожалуй, самую загадочную страницу истории сиамских близнецов. Родители сестер, естественно, воспротивились столь странному браку, причем не только по причине физического своеобразия женихов, но и из-за их азиатского происхождения. Близнецы в большой печали отправились к себе домой. К счастью, сестры оказались крепкими орешками: они оповестили женихов о своем намерении бежать из родительского дома. В конце концов родители не устояли перед таким напором и… дали согласие на брак!

Чанг и Энг женились на Аделаиде и Саре 10 апреля 1843 года и поселили их в своем просторном доме. Приданым семейству стала заботливая няня Грейс, которой сразу нашлась работа: в первые два года сиамские близнецы родили четверых детей, а общее число их наследников со временем достигло двадцати одного! Люди, как тогда, так и теперь, озадачиваются этим удивительным фактом, но никто никогда не осмеливался спросить братьев или их жен о «методе» зачатия детей.

Семейство какое-то время было вполне счастливо. Братья стали зажиточными рабовладельцами, первыми в штате начали выращивать высокие урожаи табака и приобрели в 1849 году большую ферму в Маунт-Эйри в Северной Каролине. Близнецы слыли консерваторами, но, правда, в одном случае голосовали за разных кандидатов.

Годы шли, и различие в темпераментах братьев постепенно стало затруднять жизнь семьи. Энг любил по утрам поспать и увлекался игрой в покер. Чанг этого не жаловал, зато пристрастился к выпивке, против чего горячо выступал брат. Начались ссоры между братьями и даже скандалы с драками. Все чаще ссорились и их жены. В 1852 году Чанг и Энг приобрели вторую плантацию табака и новый дом. Жены теперь жили в разных домах, а мужья их навещали по очереди. Возросшие расходы вынудили близнецов вернуться к шоу-бизнесу.

Для привлечения публики, заинтригованной семейной жизнью братьев, они стали брать на свои выступления старших детей. Дела пошли успешно, и после одного из турне Чанг и Энг решили посетить Сиам, чтобы повидать оставшихся там братьев и сестер. Этому помешала угроза приближения Гражданской войны в Америке. И действительно, она началась вскоре после возвращения близнецов в Северную Каролину в апреле 1861 года.