Отобрав сорок четыре картины и три скульптуры и снабдив их таитянскими названиями (заметим, что они все искажены или неправильно истолкованы), Гоген выставляет их у одного из самых знаменитых в Париже торговцев предметами искусства. Но обстановка для выставки была совсем неподходящая. Как раз в середине девяностых годов художники и любители искусства разбились на два лагеря — традиционную академическую школу и новую, импрессионистскую. Произведения Гогена нельзя отнести ни к одному из этих двух направлений. Он оказывается в стороне от главных течений. Критики не приемлют тех, кто опережает время, широкая публика просто не понимает его картин. К тому же назначенные самоуверенным Гогеном высокие цены отпугивают покупателей. Выставка терпит провал.

Остается лишь одно: возвращаться на Таити и продолжать работу в ожидании, пока переменятся взгляды критиков и публики. Очень кстати Гоген получает наследство, дозволяющее покрыть расходы на дорогу. Огорчения, вызванные провалом, усугубляются венерической болезнью, переломом ноги и экземой, которые всегда будут напоминать ему об этой поездке во Францию..

На Таити Гоген покупает участок в западной части острова и строит себе мастерскую, но, не успев еще приступить к работе над картинами, заболевает так сильно, что вынужден заняться лечением. Его дела запутываются. На радостях он неосмотрительно израсходовался на пирушки и праздники; теперь снова приходится познать лишения и нужду. Но для художника хуже всего то, что он не может работать.

Постепенно Гоген стал поправляться; чтобы выйти из материальных затруднений, он вынужден поступить на работу чертежником в управление дорожного строительства. Вряд ли пыльные комнаты управления видели более квалифицированного чертежника…

По долго так продолжаться не может. На живопись не остается времени. Жизнь на Таити чересчур дорога. И он снова начинает мечтать о райском уголке, где не ведают денежных затруднений. Теперь Гоген выбирает Маркизы.

В августе 1901 года после пяти трудных лет на Таити Гоген прибыл на Хива-Оа. Мне кажется, он выбрал этот остров потому, что здесь находится самая большая плодородная долина. Возможно, известную роль сыграл вид острова, его природа. Мне пришлось побывать на всех любимых островах Гогена — Мартинике, Таити и Хива-Оа, — и я заметил, что они очень сходны между собой. Та же коническая форма, тот же гористый рельеф, густые папоротники, глубоко врезанные узкие долины. Из островов Маркизского архипелага ни один так не похож на Таити и Мартинику, как Хива-Оа.

Хотя Гоген перед отъездом с Таити продал свой участок и немало картин, на новом месте его ожидают непредвиденные трудности. Он сам писал: «По прибытии я первым делом узнал, что арендовать или купить участок можно только у миссионеров, да и то это не просто. Епископ находился в отъезде, и мне пришлось ждать месяц; мой багаж и строительные материалы лежали на берегу. Весь этот месяц я, разумеется, по воскресеньям ходил в церковь, вынужденный играть роль ревностного католика и врага протестантов. Это создало мне добрую славу, и епископ, ничего не подозревая, пошел мне навстречу — продал за шестьсот пятьдесят франков каменистый, заросший кустарником участок земли. С новыми силами я приступил к работе, и с помощью нескольких человек, которых нанял по рекомендации епископа, мне скоро удалось вселиться в дом».

Дом Гогена был построен из местного материала, но, вероятно, по его собственным чертежам — ничего подобного до тех пор не видели на Маркизских островах. По свидетельству современников, дом был двухэтажный. На верхнем этаже — спальня и большая мастерская с шестью окнами. Внизу — кухня, столовая, кладовки. Над входом Гоген повесил доску с надписью «Maison de jouir». Подле крыльца стояли полуметровой высоты скульптуры мужчины и женщины. На стенах спальни и мастерской висели картины и рисунки обнаженных фигур.