Хорошее знание истории, в особенности классической античности, и географии Бродский получил более из самостоятельного чтения, чем из школьных уроков. В целом школа отложилась в памяти как источник скуки и других неприятных ощущений. Годы спустя он написал лирическое стихотворение, где воспоминание следует за расписанием уроков одного школьного дня в шестом классе: древняя история, физкультура, затем, возможно, русский язык, физика и геометрия:

В раздевалке толчея, учитель истории похож на худой мешок, в спортзале воняет немытым телом, от классной доски мороз по коже, электрический звонок в физическом опыте дребезжит – все школьные впечатления неприятны. Возможно, самым важным для будущей жизни опытом школьных лет стал как раз волевой акт ухода. Бросить школу, выломиться таким образом из системы, было поступком необычным, радикальным. Вопреки официальному прославлению рабочего класса, детям повседневно вдалбливалась мысль, что без высшего или среднего образования они обречены на прозябание в подножии социальной пирамиды. В школе и в семьях подросткам постоянно грозили; «Не кончишь школу – будешь грузчиком!» (или дворником, заводским рабочим, колхозником). Для городского подростка из среднекультурной семьи уход из школы означал превращение в не такого, как все, хуже других, изгоя.

Уйдя из школы почти сразу по достижении того возраста, когда это позволялось законом, Бродский еще пытался продолжить формальное образование – записался в вечернюю школу, посещал вольнослушателем лекции в университете. Однако то, что в конце концов он стал широко и в некоторых областях знания глубоко образованным человеком, объясняется только его неустанным самообразованием. Еще в молодые годы он самоучкой в совершенстве овладел английским и польским, позднее читал со словарем латинские, итальянские и французские тексты, а в последние годы жизни начал изучать китайский язык. В юности вместе с учившимися в университете друзьями он проштудировал основы языкознания по классической «Философии грамматики [Linguistica]» Йенса Есперсена, занимался историей философии, европейской и восточной, много читал по пушкинской эпохе, пользуясь, в частности, профессиональной библиотекой покойного пушкиниста Б. В. Томашевского. Всю жизнь он не расставался с лучшей из всех российских энциклопедий, «Энциклопедическим словарем» издательства Брокгауза и Ефрона, к которой в Америке прибавилась «Encyclopedia Britannica». Судя по всему, он особенно внимательно читал в «Брокгаузе» замечательные статьи В. С. Соловьева по истории философии и религии. Сам Бродский полушутя говорил, что приобретает знания «by osmosis» (осмотически). К этому виду самообразования следует отнестись серьезно. Среди его близких друзей были выдающиеся лингвисты, литературоведы, историки искусства, композиторы, музыканты, физики и биологи, а Бродский был известен своей способностью дотошно расспрашивать знатоков об интересующих его предметах. Близко знавший Бродского А. Я. Сергеев пишет: «Иосиф страшно много ловил из воздуха. Он с жадностью хватал каждый новый item [англ.; здесь: сведение] и старался его оприходовать, усвоить в стихах. Можно сказать, ничего не пропадало даром, все утилизировалось – с невероятной, ошеломляющей ловкостью».

Недостаток систематического образования сказывался у Бродского не столько в том, что в его познаниях были пробелы – их он по мере надобности заполнял, сколько в отсутствии навыков дисциплинированного мышления. Мыслить для него означало выстраивать цепочку силлогизмов, не заботясь о поверке каждого очередного звена эмпирикой и без критического анализа. Скажем, основная тема его нобелевской лекции может быть сведена к логической цепочке: искусство делает человека личностью, стало быть, эстетика выше этики; высшей формой эстетической практики является поэзия, стало быть, поэтическое творчество есть окончательная цель человечества как вида.