Увлекшись музыкой, Бодлер примерно в то же время неосмотрительно согласился перевести на французский язык либретто романтической симфонии американца германского происхождения Роберта Штепеля «Гайавата». В основу либретто легла эпическая поэма Лонгфелло «Песнь о Гайавате». Бодлер рассчитывал получить за свою работу полторы тысячи франков. Но еще до ее окончания Штепель уехал в Лондон, не заплатив ни копейки. Не помогли ни письма, ни угрозы обратиться в суд. Штепель не соизволил даже ответить и, укрывшись в Соединенных Штатах, стал недосягаемым. Бодлер остался в дураках со стихами, которые ему не нравились, не зная, какое им найти применение. В конце концов он положил свою работу в ящик стола, а большой фрагмент из нее отдал в «Ревю контанпорен», чтобы опубликовать его под названием «Трубка мира».

От всего этого происшествия у него сохранились лишь сожаление о потерянном времени и обида, что его обманули как новичка. А в том печальном финансовом положении, в каком он находился, он не имел права писать, ничего не получая за свой труд. Жанна была полностью на его иждивении. Не вполне психически здоровая, она всеми правдами и неправдами старалась вытянуть из Шарля денежную «добавку». Хотя из больницы Дюбуа ее выписали, физическое ее состояние тоже оставляло желать лучшего. Шарль с ней уже не жил. Он поселился временно в гостинице «Дьеп» и лишь посещал ее в качестве «попечителя» или «сестры милосердия». Сердце его сжималось, когда он подолгу смотрел на эту развалину с пустым взглядом, одряхлевшим телом, обвисшей темной кожей, — когда-то она подарила ему столько наслаждений, а нынче внушала лишь острую жалость. Она бормотала, что-то вспоминая и в чем-то его упрекая. А он чувствовал, что своей тоской и угрызениями совести искупает какую-то очень давнюю и очень невнятную вину.

Даже живя у матери, Шарль не мог отделаться от мыслей об этой мулатке, занозой сидевшей у него в душе и властвовавшей теперь над ним не своей красотой, а немощью. Единственное сохранившееся письмо Жанне свидетельствует о его грустном сочувствии. Письмо отправлено из Онфлёра 17 декабря 1859 года: «Милая девочка, не сердись, что я уехал из Парижа, не навестив тебя, чтобы немного развлечь […] Клянусь, что через несколько дней я вернусь […] Теперь я не хочу жить в Париже подолгу, это мне дорого обходится. Мне лучше приезжать чаще и оставаться всего несколько дней. А пока, поскольку меня не будет целую неделю и поскольку я не хочу, чтобы в твоем состоянии ты оставалась без денег хотя бы один день, обращайся к г-ну Анселю». К письму была приложена расписка: «Получена от г-на Анселя сумма в сорок франков для госпожи Дюваль». И он советовал наполовину парализованной Жанне: «Положи эту расписку в новый конверт, и коль скоро ты не решаешься писать левой рукой, попроси, чтобы твоя прислуга за тебя написала адрес». В конце — последние обещания и последние советы: «Итак, я скоро приеду и, как полагаю, при деньгах, постараюсь тебя поразвлечь […] Сейчас на улице скользко, одна не выходи. Не теряй мои стихи и статьи».

В конце лета 1860 года, то ли в порыве преданности, то ли ради собственного удобства, он перевез Жанну в Нёйи, в дом 4 по улице Луи-Филиппа, и туда же отправил мебель.