Бодлер действительно не переносил неизменной напыщенности, чудовищной наивности и медоточивых добреньких чувств, которые от отца передались всему клану Гюго. Он благословлял небо за то, что занимающий везде слишком много места Виктор еще не воссоединился с семьей. Узнав, что великий человек собрался купить дом в Брюсселе, в квартале Леопольд, и переехать в него, Шарль не оставил этот слух без внимания: «По-видимому, он поссорился с самим Океаном. Или у него самого нет больше сил выносить Океан, или это он надоел самому Океану. Стоило ли так старательно отделывать дворец на скале! Вот, например, я, одинокий, всеми забытый, я продам домик моей матери только в самом крайнем случае. Но у меня еще больше гордости, чем у Виктора Гюго, и я чувствую, я знаю, что никогда не буду таким глупым, как он. Хорошо жить везде (было бы здоровье, да еще были бы книги и гравюры) даже лицом к лицу с Океаном». В этом же письме, адресованном Анселю, он также писал: «Можно иметь исключительный талант и быть глупцом. Виктор Гюго нам это отлично доказал».

Наконец в начале июля 1865 года Гюго на короткий срок приехал в Брюссель, чтобы за баснословную сумму в 120 тысяч франков передать издателям Лакруа и Фербокховену рукописи сборника стихов «Песни улиц и лесов» и романа «Труженики моря». Бодлер уязвлен: разница между гонорарами мэтра и его собственными представляется ему несправедливой. Он ненавидел Гюго за его удачу в финансовых делах, за всемирную славу, за несокрушимое здоровье. Почему этот человек, которому уже некуда девать деньги, печет книги, как блины, а он, прозябающий в нищете, с таким трудом выжимает из себя две-три строки? Совершив триумфальную поездку по Бельгии и Германии, автор «Отверженных» вернулся в Брюссель, пригласил Бодлера отужинать и с отеческой снисходительностью предложил как-нибудь в ближайшие дни заглянуть к нему на остров. При каждой встрече с ним Бодлер страдал от необходимости быть любезным с этим бородатым полубогом, восседающим на троне в окружении своих приближенных, тогда как в душе он ненавидел его за позерство, за притворные речи и за мнимую щедрость.

Виктор Гюго опять уехал на остров Гернси 24 октября, а через некоторое время Шарль написал матери: «Я не согласился бы получить ни славу его, ни богатство, если бы за это мне пришлось унаследовать его чудовищные нелепости. Г-жа Гюго наполовину дура, а два их сына — настоящие оболтусы. Если тебе захочется почитать его последнюю книжку („Песни улиц и лесов“), вышлю ее тотчас. Как всегда — невероятный коммерческий успех. И одновременно — полное разочарование всех мыслящих людей, кто успел прочитать книгу. На этот раз он захотел быть легким, веселым, влюбленным и помолодевшим. Но все стихи ужасно тяжело читаются. Во всем этом, как и во многом другом, я вижу еще один повод поблагодарить Бога за то, что он не наградил меня такой глупостью». Бодлер нашел этот последний сборник стихов настолько посредственным, что даже забыл поздравить автора, — это Гюго обидело, хотя и на расстоянии. Впрочем, Шарля огорчает вообще любая чужая литературная удача, воспринимавшаяся им как критика его собственного бездействия. Он честно признавался в этом матери: «Каждый день я вижу в витринах брюссельских магазинов всю легкомысленную и бесполезную продукцию, издаваемую в Париже. Меня бесит мысль, что мои шесть книг, плод многолетних трудов, если бы их переиздавали хоть раз в год, приносили бы мне приличный доход.