Согласно дошедшим до нас источникам, предки художника были родом из селения Кольбордоло неподалёку от Урбино, где его прадед по имени Пьеро, или Перуццоло, имел небольшое поместье и занимался оптовой торговлей зерном. В 1446 году тиран соседнего Римини Сигизмунд Малатеста, чей пращур хромой Джанчотто упоминается Данте и Боккаччо, напал во главе папского войска на земли урбинского герцогства, сжёг дотла Кольбордоло и другие селения в округе. Лишившись в одночасье дома, всего нажитого трудом, Перуццоло с семьёй был вынужден бежать в Урбино под защиту его крепостных стен. Обосновавшись там, он на первых порах занялся с сыном Санте мелочной торговлей, открыв москательную лавку на улице Санта-Маргарита.

Довольно распространённое в тех краях как мужское, так и женское имя Санте со временем превратилось в родовую фамилию Санти. Рафаэль латинизировал её, как было принято тогда в образованных кругах общества, и превратил в Санцио, но очень редко ею пользовался, да и не было в том никакой нужды. Достаточно было произнести одно лишь имя Рафаэль, чтобы сразу всем становилось ясно, о ком идёт речь.

После смерти Перуццоло его оборотистый сын Санте с разросшейся семьёй переехал в 1463 году в собственный дом, приобретённый за 240 дукатов на одной из центральных улиц Контрада дель Монте, круто поднимающейся на вершину холма, сплошь заросшего кедрами и каштанами. Ныне это улица Рафаэля, сохранившая свой прежний почти не тронутый временем средневековый облик. Так уж повелось, что здесь рядом с церковью Святого Франциска, украшенной ажурной колокольней, селились в основном ремесленники и торговцы — люди среднего достатка. Седловина между двумя холмами называлась Piana di Mercato, здесь располагался рынок, нынешняя площадь Республики, куда съезжались торговцы из ближайших городов и деревень.

Ниже в глубоком овраге образовалась обширная площадь Mercatale на месте бывшей строительной площадки с подъездными путями, проложенными при возведении главного дворца для герцога. Сегодня площадь отдана под стоянку автотранспорта и экскурсионных автобусов. Оттуда туристы и гости города могут подняться на лифте и оказаться в самом центре Урбино.

Менее крутой противоположный холм Поджио был облюбован высшим духовенством, знатью, местными интеллектуалами и разбогатевшей буржуазией, которая считала для себя зазорным жить бок о бок с лавочниками и ремесленниками. Это различие ощущается и по сей день, хотя Урбино несколько изменился и помолодел, став крупным учебным и научным центром с построенным в начале 60-х годов прошлого века современным университетским городком на холме Капуцинов. Теперь, куда ни глянь, всюду в городе шумная студенческая молодёжь и нескончаемые толпы разноязыких туристов, чей поток немного стихает в зимние месяцы. По прошествии веков родной город художника выглядит на удивление молодым, как молод в нашем сознании сам Рафаэль, о котором мы судим по его бессмертным творениям, а посещая Урбино, лишний раз убеждаемся, что гений родился в нужном месте.

Вероятно, дела у деда художника Санте ди Перуццоло пошли в гору, и вскоре он приобрёл соседний смежный дом. Оба строения имели общую разделительную стену брандмауэр. Однако купленный дом был ниже прежнего, так как улица Контрада дель Монте круто спускается вниз к рыночной площади, а высота строений была строго регламентирована. В нижнюю половину Санте перевёл свою мелочную лавку с выходящим прямо на улицу каменным прилавком.