Несмотря на то что Столяров в те годы считался звездой советского кино, его семья, в отличие от других знаменитых семей, жила довольно скромно. Они обитали в коммунальной квартире и не имели ни машины, ни дачи. Единственной частной собственностью Столярова было охотничье ружье. Поэтому иногда они всей семьей выезжали в какую-нибудь область: Новгородскую, Псковскую, Рязанскую — и жили в брошенных домах. Столяров с сыном с утра уходили на охоту и к вечеру неизменно приходили с добычей. Как вспоминает сын актера Кирилл Столяров:

«Отец ходил босиком, в простой рубахе и штанах. Помню, как-то деревенские мальчишки, с которыми я играл, спросили меня, почему отец не одевается как артист. На мой вопрос он ответил, что мог бы с тросточкой и при бабочке ходить по деревне, но не любит эту показуху, потому что он такой же, как и другие люди…

Да и дружил отец в основном с людьми простыми, не из мира искусства. Из актеров у него был только один друг — Борис Бабочкин. Они вместе ездили на охоту. Их дружба продолжалась всю жизнь…»

Киношный Чапаев был Козерогом-Котом (18 января 1904 года) и имел круглую гармонию со Скорпионом-Свиньей. Как написано в гороскопе: «У Скорпиона с Козерогом очень хорошие отношения. А про союз Свиньи и Кота можно сказать коротко: удачливость плюс проворство — успех в кармане».

В 1953 году, когда вышла очередная киносказка с участием Столярова — «Садко» Александра Птушко (19 апреля 1900 года, Овен-Крыса — гармония со Скорпионом-Свиньей по годовым знакам), — к артисту пришла и международная известность. На кинофестивале в Венеции он получил первую премию. Однако самого актера на тот фестиваль не послали: недоброжелатели отыгрались на нем за то, что долгие годы он был в числе любимых актеров Сталина (вождя к тому времени уже не было в живых). Но спустя год французский журнал «Синема» включил Сергея Столярова в список выдающихся актеров мирового кино, причем от Советского Союза в этом списке он был один. Этот факт лишний раз доказывал то, что слава Столярова зиждилась отнюдь не на поддержке Сталина, как об этом твердили недоброжелатели актера, а на объективных показателях — народной любви.

После успеха «Садко» на международном фестивале в доме у Столяровых стали появляться зарубежные гости. Они были, конечно, в шоке: звезда советского кино живет… в коммуналке. Но сам актер относился к этому спокойно. И когда жена в очередной раз стала уговаривать его пойти к начальству и попросить дать ему отдельную квартиру, сказал, как отрезал: «Я никуда не пойду. Люди, которые воевали, до сих пор живут в подвалах».

Сын Столярова Кирилл решил пойти по стопам отца и в 1954 году поступил во ВГИК. Родители в те дни были на гастролях в Днепропетровске, поэтому о решении сына ничего не знали. Когда вернулись в Москву и узнали, то промолчали. Лишь отец скупо заметил: «Ну-ну…» В 1955 году Кирилл снялся в первом своем фильме — «Сердце бьется вновь». Однако популярность пришла к нему только со второй картины — «Повесть о первой любви» (1957). В том же году Григорий Александров пригласил его в свою новую картину, которая вышла на экраны в 1958 году и носила название «Человек — человеку». После премьеры фильма были выпущены спичечные коробки с двумя профилями: исполнителей главных ролей в фильме Кирилла Столярова и Светланы Немоляевой (это был ее дебют в кино).