Страшный террор 1937–1938 годов произвел опустошение не только в Москве, но и во всех областях и республиках; и не только в кадрах партии, армии или народного хозяйства, но и в комсомоле. Секретари заводских организаций пострадали мало, скорее напротив: террор как бы расчищал им путь для быстрого продвижения наверх. Уже в 1938 году мы видим 24-летнего Андропова, тогда еще кандидата в члены партии, на посту первого секретаря Ярославского обкома комсомола. Андропов был тогда высоким, красивым и красноречивым комсомольским лидером, он умел привлечь внимание молодых ярославцев. Молодая Екатерина Шевелева, будущая писательница, иногда встречавшаяся с Юрием Владимировичем и на Лубянке, посвятила ему в 1939 году одно из своих стихотворений: «…Отбросив русый вихрь со лба, стоит мой век, моя судьба, моя судьба на съезде комсомольском». Андропов также всю жизнь писал стихи, но никогда их не публиковал.

Еще в Рыбинске Андропов женился на своей однокурснице по рыбинскому техникуму Нине Ивановне Енгалычевой. Почти пять лет молодые супруги жили в мире и согласии. Свою первую дочь и сына Юрий Андропов назвал в честь родителей — Евгенией и Владимиром. Этот брак, однако, распался, хотя Нина Ивановна до конца своих дней любила Андропова. Жизнь его первого сына не сложилась. Он учился в нахимовском и суворовском училищах, в ПТУ, часто менял профессии и место жительства, изредка встречаясь с отцом. Он умер в 1975 году в Молдавии. Дочь Андропова Евгения Юрьевна осталась жить и работать врачом в Ярославле. Она встречалась с отцом редко, но иногда получала от него короткие письма. В 1940 году Юрия Андропова направили в Петрозаводск, где он возглавил комсомол только что образованной новой республики — Карело-Финской ССР. Еще раньше в Петрозаводск приехала также по комсомольским делам Татьяна Филипповна, которая стала второй женой Андропова. В новой семье у Андропова было также двое детей — сын Игорь, ставший позднее дипломатом, дочь Ирина, работавшая в 60 — 80-е годы на поприще журналистики.

С началом Великой Отечественной войны Андропов активно участвовал в организации партизанского движения в Карелии, значительная часть которой, включая Петрозаводск, была оккупирована немецкими и финскими войсками. Он продолжал возглавлять комсомол и на неоккупированной части республики. Карельский фронт не считался в годы Отечественной войны одним из главных, и позднее о боях на этом фронте писали мало. Однако уже в книгах, изданных в Петрозаводске и Ленинграде в 60—70-е годы, упоминался молодой Андропов. В начале 80-х годов, когда Андропов возглавил страну и партию, в Москве и Петрозаводске вышло в свет еще несколько книг о боевых действиях на Карельском фронте и партизанском движении в Карелии. Упоминание об активном участии первого секретаря ЦК ЛКСМ Карелии Ю. Андропова в организации партийного и комсомольского подполья содержится и в энциклопедии о Великой Отечественной войне. Карельские партизаны, как и солдаты на Карельском фронте, страдали от суровых климатических условий. В некоторых мемуарах можно найти упоминание о том, что именно в годы войны в холодном и болотистом карельском крае Андропов приобрел ту болезнь почек, которая так осложнила его жизнь.

С 1944 года Андропов перешел на партийную работу; столица Карелии была освобождена, и Андропов занял пост второго секретаря Петрозаводского горкома партии. Вскоре он начал учиться в Петрозаводском государственном университете, а затем и в Высшей партийной школе при ЦК КПСС. В 1947 году мы видим 33-летнего Андропова на посту второго секретаря ЦК КП(б) Карело-Финской ССР. Председателем Президиума Верховного Совета республики был в то время Отто Вильгельмович Куусинен, в прошлом один из основателей Коммунистической партии Финляндии и секретарь Исполкома Коминтерна. Этот известный в стране и за рубежом политический деятель был не только членом ЦК ВКП(б), но и заместителем Председателя Президиума Верховного Совета СССР В те времена пост Председателя Президиума Верховного Совета считался почти во всех республиках не особенно важным.