В багажнике автомобиля милиционеры обнаружили некие ценные вещи, которые числились в розыске как похищенные. На все заверения Звездинского, что он эти вещи в глаза никогда не видел, милиционеры лишь скептически ухмылялись и советовали чистосердечно во всем признаться. В итоге на певца завели уголовное дело. 19 сентября 1962 года нарсуд Бауманского района города Москвы осудил Звездинского по статье 144, часть 2 УК РСФСР к одному году лишения свободы. Существует версия, что таким образом власти расправились с 16-летним парнем, имевшим смелость распевать на публике белогвардейские песни.

Из положенного срока Звездинский отсидел чуть меньше 10 месяцев - он вышел на свободу 2 июля 1963 года. Вернувшись в Москву, вновь принялся за старое - стал выступать в составе различных музыкальных коллективов, аккомпанировал звездам тогдашней эстрады: Майе Кристалинской, Гелене Великановой, Маргарите Суворовой. Попутно писал новые песни и исполнял их в самых разных аудиториях. В частности, им были написаны следующие произведения: "Сгорая, плачут свечи" (1962), "Хрупкое сердце" (1963), "Очарована - околдована", "След любви" (обе - 1964) и др.

В 1965 году Звездинского призвали в армию. Тогда же он вторично имел неприятности с законом. Однажды он получил телеграмму от родных, в которой ему сообщали, что его мать тяжело больна. Звездинский обратился к командованию воинской части, в которой он служил, с просьбой предоставить ему отпуск. Однако командование посчитало, что болезнь матери не является убедительным поводом для предоставления солдату краткосрочного отпуска, и в просьбе Звездинскому отказало. И тогда он покинул пределы части без всякого разрешения. За это был объявлен дезертиром и привлечен к уголовной ответственности. Суд состоялся 19 октября 1966 года. По статье 255 "а" и 246 "а" УК РСФСР (побег из части, дезертирство) Звездинский был осужден к трем годам лишения свободы.

На свободу Звездинский вышел 18 мая 1969 года. Судимость ему погасили, и он вернулся в Москву. Вновь занялся творчеством. Одно время работал барабанщиком в вокально-инструментальном ансамбле "Норок", где в то время дебютировала еще совсем юная Ксения Георгиади, затем перешел в ансамбль "Веселые ребята". Однако быть все время на втором, а то и третьем плане Звездинскому вскоре наскучило, и он возобновил сольные выступления. К тому времени сочиненные им в начале 60-х песни уже распевало полстраны (в частности, в Союзе их исполнял Аркадий Северный, за границей - Вилли Токарев, Григорий Димонт и др.), так что почва для его возвращения была добротно унавожена. И Звездинский стал выступать как солист варьете в ресторане "Архангельское". На дворе стоял 1972 год. Однако его сольное творчество вскоре было прервано новым арестом.

В очередной раз Звездинского арестовали осенью 1973 года во время морского круиза Одесса - Батуми. Причем в том аресте участвовали сотрудники КГБ. Почему именно они? Дело в том, что Звездинский в то время крутил любовь с итальянкой, а подобные дела находились в компетенции органов госбезопасности. Итальянку отправили на родину, а Звездинского обвинили... в ее изнасиловании и 19 октября 1973 года впаяли новый срок - три года лишения свободы. Правда, отсидеть его полностью певцу не довелось - 15 января 1974 года он был освобожден от отбывания наказания в исправительно-трудовой колонии и направлен на стройки народного хозяйства на "химию". Там Звездинский проработал до 1976 года.

Вернувшись в очередной раз в Москву, Звездинский устроился в ресторан "Сосновый бор", где начал выступать с собственной программой.