В 1743–1751 годах дворец претерпевает первую перестройку по проекту архитекторов А.В. Квасова и С.И. Чевакинского. Но уже к концу этой перестройки в процесс вмешивается величайший зодчий XVIII столетия Б.Ф. Растрелли. В 1752–1756 годах он практически заново перестраивает старый Царскосельский дворец. О впечатлении, производимом новым дворцом на современников, можно судить по преданию, записанному Павлом Свиньиным. «Когда императрица Елизавета приехала со своим двором и иностранными министрами осмотреть оконченный дворец, то всякий, пораженный великолепием его, спешил изъявить государыне свое удивление. Один французский посол маркиз де ла Шетарди не говорил ни слова. Императрица, заметив его молчание, хотела знать причину его равнодушия и получила в ответ, что он точно не находит здесь самой главной вещи – футляра на сию драгоценность».

В царствование Екатерины II дворец, из которого, как утверждают легенды, прорыты подземные ходы ко всем основным парковым павильонам, становится ее любимой загородной резиденцией. Однако серьезных изменений дворец уже не претерпевает. Более того, сохранилось предание об отказе государыни вторично золотить крышу Царскосельского дворца. В свое время на внутреннюю и наружную отделку дворца израсходовали более шести пудов золота. В народе про дворец рассказывали чудеса, уверяя, будто вся крыша его золотая. Карнизы, пилястры, кариатиды действительно позолотили. На ослепительно белой, луженого железа крыше стояла золоченая деревянная балюстрада, украшенная такими же деревянными золочеными фигурами и вазами. Но уже через несколько десятилетий позолота в значительной степени утратилась и требовала восстановления. После некоторых колебаний Екатерина отказалась от больших расходов, и позолоту частично закрасили, частично заменели бронзой. Но в народе сложилось предание, что не скупость государыни послужила тому причиной. Говорили, что ослепительный блеск золота в солнечную погоду не однажды вызывал панику и ложную тревогу. С криками «Пожар!» конные и пешие, светские и военные, опережая друг друга, спешили ко дворцу и затем, смущенные невольным обманом, расходились по домам и казармам. Потому то, говорится в легенде, заботливая императрица и велела снять позолоту. Впрочем, по другой версии легенды, сама государыня, взглянув однажды на крышу дворца, пришла в ужас и едва не закричала: «Пожар!», да вовремя опомнилась. После этого курьеза будто бы и приказала императрица закрасить позолоту краской.