Бодлер весьма остро реагировал на то, что книги Гюго вызывают восторг толпы, что их автор, стоя на своей скале, как на пьедестале, изображал из себя пророка и жертву, выказывал себя защитником бедноты, а сам купался в золоте. Виктор Гюго догадался в конце концов, что под маской восхищения скрывается неприязнь. Об этом ему сообщили друзья, оставшиеся в столице. Бодлер продолжал думать, что имеет право на уважение и благодарность мэтра, а тот уже задавался вопросом, не является ли автор «Цветов зла» фальшивым другом.

В том же письме, где Бодлер сообщал матери, стараясь ее просветить, о недостатках романа «Отверженные», он еще и жаловался на деградацию парижских литературных кругов: «Теперь это уже не тот чудесный и приятный мир, что был когда-то: художники не знают ничего, писатели не знают ничего, даже орфографии. Все эти люди стали отвратительными, теперь они, может быть, даже хуже, чем светская публика. Я превратился в старика, мумию, и на меня злятся за это, потому что я не такой безграмотный, как все остальные. Какое падение! Кроме д’Оревилли, Флобера и Сент-Бёва, невозможно ни с кем ни о чем разговаривать. Когда я рассуждаю о живописи, только Т. Готье способен меня понять. Жизнь мне стала отвратительна. Повторяю: хочу бежать от этих лиц, особенно — от французских».

Друзей у Бодлера становилось все меньше и меньше, и особенно чувствительным ударом явилась для него случившаяся 17 сентября 1863 года смерть Альфреда де Виньи. Рак желудка превратил последние месяцы жизни 66-летнего поэта в долгую нестерпимую пытку. Тем весомее с моральной точки зрения было его активное участие в тщетных хлопотах младшего собрата вокруг кресла Лакордера. Когда умер Делакруа [август 1863], Бодлер написал о «чувстве возрастающего одиночества», которое у него появилось уже после кончины Шатобриана [1848], Бальзака [1850]… И вот смерть Альфреда де Виньи: «В великом всенародном трауре обнаруживается всеобщий упадок сил и снижение жизнеспособности нации, некое затемнение интеллекта, сравнимое с затмением солнца, кратковременная репетиция конца света». И он с горечью замечал: «Впрочем, я полагаю, что все это особенно болезненно для высокомерных анахоретов… которым интеллектуальные связи дороже родственных уз».

Еще одно событие больно ударило Бодлера в ноябре 1862 года — финансовый крах и арест за долги Огюста Пуле-Маласси. Он посетил своего друга в тюрьме в Клиши, и оба они сетовали на трудные времена и несправедливость правосудия. В декабре Пуле-Маласси перевели в тюрьму Маделонетт, расположенную в квартале Тампль. Суд состоялся 22 апреля 1863 года, после пяти месяцев предварительного заключения. Издателя приговорили к месяцу тюрьмы за небрежную бухгалтерскую отчетность, он добился приемлемого соглашения с кредиторами и, как только оказался на свободе, тут же выехал в Бельгию.

Бодлер, после бегства из Франции своего друга, погрузился в глубокие раздумья. Почему бы и ему, по примеру Пуле-Маласси, тоже не уехать от кредиторов за границу? Переменить атмосферу, не видеть больше мрачные лица парижских бумагомарателей, обрести вдохновение в общении с новыми краями? Матери, которой не хотелось, чтобы он вспоминал в книге «Мое обнаженное сердце» о своих обидах, он резко ответил: «Именно так! Книга эта, о которой я столько мечтал, будет книгой обид.