Андропов продолжал следить за работой некоторых художников и скульпторов-модернистов, которых отвергало тогда официальное руководство Союза художников. Несколько художников-абстракционистов из Прибалтики получили при Андропове заказ на оформление ряда санаториев и служебных дач КГБ в Сочи и в других курортных районах страны. Известно, насколько трудно сложилась судьба одного из крупнейших скульпторов XX века Эрнста Неизвестного. Даже после резкого столкновения с Хрущевым в 1962 году художник не утратил возможности активно работать над некоторыми из своих проектов. Он руководил оформлением новых больших зданий в Средней Азии, одного из новых городов в Прибалтике, создавал самое значительное по размеру в нашей стране скульптурное панно в Доме электроники на проспекте Вернадского. Именно Неизвестный создал необычное по своей художественной выразительности надгробие на могиле самого Хрущева. Однако нажим на него возрастал и работать становилось все труднее, ибо скульптор-монументалист должен иметь большую мастерскую, много помощников, хорошие материалы. Между тем его не только ограничивали в творчестве, но однажды, сломав замок в мастерской, перебили все его заготовки из гипса.

Как ни печально, эта ненависть исходила в первую очередь не от властей, а от коллег-скульпторов, работавших совсем в другом стиле; образцом их творчества может служить мемориал в Ульяновске, созданный к 100-летию со дня рождения В. И. Ленина, или мемориальный комплекс в Киеве, посвященный победе в Великой Отечественной войне. Эрнст Неизвестный решил покинуть СССР. Однако ему нужно было увезти с собой и многотонные скульптуры, заготовки, огромный художественный архив, для чего требовалось зафрахтовать специальный самолет. Неизвестному всячески мешали, даже за его собственные скульптуры, которые не разрешали выставлять ни на одной выставке, теперь от автора требовали заплатить огромную пошлину. По свидетельству скульптора, в конечном счете именно Андропов помог ему выехать за границу. Понимая, какого крупного художника теряет страна, Юрий Владимирович даже пытался сохранить за Неизвестным советское гражданство, и только по настоянию Суслова у него отобрали советский паспорт.

Оценивая отношения Андропова и КГБ с советской интеллигенцией, последний пресс-секретарь Горбачева Андрей Грачев, многие годы работавший в аппарате ЦК КПСС, писал: «По ряду личных качеств Андропов и впрямь лучше подходил для "работы" с интеллигенцией, чем такие "профессиональные" идеологи, как Суслов, Зимянин или заведовавшие отделом культуры ЦК Петр Демичев и Василий Шауро, не имевшие авторитета в творческой среде люди, отслуживавшие свой должностной срок в кабинетах и президиумах торжественных собраний и игравшие, в сущности, роль идеологических надзирателей, "комиссаров", приставленных к несознательным деятелям искусства… Напротив, Андропов даже в роли хозяина зловещего КГБ внушал интеллигенции наряду со страхом и определенное уважение масштабностью личности, трезвостью и откровенностью суждений, а также репутацией аскетичного ригориста. В чем-то, по-видимому, Андропову даже помогала его малопочтенная должность: Председателю КГБ не было нужды опускаться до примитивной демагогии, без чего не могли обойтись из-за служебных обязанностей идеологические руководители ЦК. Он мог позволить себе вести себя прямее и честнее, хотя явно жестче и суровее своих собратьев по Старой площади. Нельзя, конечно, сбрасывать со счетов и традиционную зачарованность сильными, тираническими личностями, угодливую готовность поддаться их гипнозу и раболепие, увы, столь распространенное среди российских интеллектуалов».

Диссиденты. Новый отдел в КГБ

Хорошо помню, что смещение Семичастного и назначение Андропова вызвало тогда в кругах интеллигенции и особенно среди диссидентов положительные отклики и предсказания.