После войны Френкель подался в Москву, поскольку настоящую карьеру можно было сделать только в столице. Однако прежде, чем он стал знаменитым, ему пришлось пройти через множество трудностей.

Вместе со своей женой Наташей и крохотной дочкой Ниной Френкель долгое время жил в тесной 15-метровой комнатушке московской коммуналки на Трубной площади, где из мебели были только две кровати, стол и огромный черный прокатный рояль, занимавший полкомнаты. Именно под этим роялем прошло детство дочери Френкеля.

Поскольку жена приглядывала за ребенком, Френкелю приходилось вертеться как белка в колесе, чтобы прокормить семью. Он устроился на две работы: днем ходил в комбинат Музыкального фонда, где работал корректором, а вечером «халтурил» в ресторанных оркестрах. Например, долгое время он играл в ресторане «Нева», что располагался на Пушкинской улице, рядом с проездом Художественного театра. К слову, работа в Музфонде сослужит ему хорошую службу. Через его руки пройдут сотни замечательных партитур, и это впоследствии поможет Френкелю стать прекрасным аранжировщиком. Многие классики советской эстрады будут считать за честь приглашать его в этом качестве для работы над своими произведениями.

К композиторскому творчеству Френкель вернулся в самом конце 50-х, то есть через 18 лет после своего дебюта с песней «Шел пилот по переулку». Видимо, Френкель понял, что накопившийся у него опыт требует выхода именно в этом виде творчества. Этому порыву способствовал также интерес к молодой поэзии, воплотившей чувства, умонастроения и надежды эпохи хрущевской «оттепели». Наконец, композиторство приносило неплохие деньги, в которых по-прежнему нуждался Френкель. В итоге в 1960 году вместе с известным композитором Марком Лисянским Френкель пишет песню «Годы», которая становится популярной. Именно последнее обстоятельство и подвигает Френкеля продолжать свои опыты на композиторском поприще. И вот уже через год имя Яна Френкеля узнает вся страна: его песня на стихи Михаила Танича «Текстильный городок» несется из всех репродукторов на улицах и радиоточек в домах, ее постоянно крутят на танцплощадках от Москвы до Владивостока:

В 1963 году Френкель пишет песню «Калина красная» на стихи Евгения Синицына, и с этой песней происходит удивительная история. Песня мгновенно становится популярной и отныне именуется народной, хотя у нее в ту пору имелись вполне конкретные авторы. Говорят, однажды с Френкелем на этой почве произошел курьезный случай. Он зашел в один из московских ресторанов, а тамошний оркестр исполнил «Калину красную», объявив перед исполнением, что «музыка и слова у песни народные». Френкель хоть и слыл человеком тщеславным, однако разубеждать оркестрантов не стал.

Стоит отметить, что Френкель творил свои шедевры в весьма непростых условиях – в тесной комнатушке, где и развернуться-то особо было негде. Но ему повезло в другом – с соседями. Там, конечно, были разные люди, но в одном они сходились – Френкеля они уважали. И когда он напевал мелодии новых песен поэтам по телефону, висящему в общем коридоре (была у него такая манера), никто из них не роптал. Все понимали – рождается будущий шлягер. То же самое происходило, когда композитор садился за рояль.

Слава Френкеля как прекрасного мелодиста заставила обратить на него внимание кинематографистов. И первые киноопыты Френкеля состоялись в 1962 году. Однако подлинный успех на этом поприще пришел к нему несколько лет спустя – во второй половине 60-х, когда на экраны страны один за другим стали выходить фильмы с его песнями, мгновенно становившимися шлягерами. И первым в этом списке фильмов стоит картина Павла Любимова «Женщины», в котором сразу два произведения Френкеля стали популярными: «Вальс расставания» (слова Константина Ваншенкина) и «Любовь-кольцо» (слова Михаила Танича).