Замок Жизор действительно некоторое время находился в руках тамплиеров. Впрочем, история его начинается гораздо раньше — в IX столетии. Река Эпт, на которой стоит замок, на протяжении нескольких столетий служила рубежом между французскими и английскими владениями в Нормандии. По обеим её сторонам было выстроено множество замков, наиболее важным из которых был Жизор. Он занимает стратегически важный пункт на вершине холма, господствующего над долиной Эпта. Через Жизор пролегали две дороги из Парижа в Руан: по реке и по суше.

Столь выгодно расположенный пункт вплоть до XV столетия оставался яблоком раздора. В 945 году французский король Людовик IV был вынужден отдать Жизор англичанам. В 1066 году другой французский король, Филипп I, отбил его у Вильгельма Завоевателя, но, увы, ненадолго. В 1087 году преемник Вильгельма Завоевателя, английский король Вильгельм II Рыжий полностью перестраивает Жизор; насыпает искусственный холм высотой 14 м и возводит на его вершине деревянные укрепления. В 1090 году новым владельцем замка становится рыцарь Тибо де Пайен — племянник Гуго де Пайена, основателя ордена тамплиеров. Так в первый раз судьба Жизора пересекается с судьбой знаменитого ордена…

При Тибо де Пайене замок начал перестраиваться в камне. Холм был подсыпан и увеличен; на его вершине выросла внушительная, октагональная в плане цитадель. Перестройкой руководил архитектор Роберт Беллем, которому помогал другой зодчий, Лефруа, много работавший по заказам тамплиеров (в частности, он построил орденские замки в Беллеме и Ноже-ле-Ротруа, оба — с подземными капеллами, подобными той, что якобы видел в Жизоре кладоискатель Ломуа). А в 1128 году, когда замок уже был готов, в нём побывал и сам основатель ордена тамплиеров Гуго де Пайен. Рассказывают, что именно здесь, в Жизоре, знаменитый аббат Бернард Клервоский (1090–1153), сидя под сенью старинного вяза, собственноручно написал устав ордена тамплиеров.

В 1119 году в Жизоре в присутствии папы римского Каликста II состоялась встреча королей Англии и Франции Генриха I и Людовика VI. На обратном пути в Англию корабль, на борту которого находились английская королева и единственный сын Генриха I, затонул. Сам король Генрих погиб у стен Жизора в 1135 году, убитый выстрелом из лука.

В 1144 году Жизором овладел французский король Людовик VII. Желая прекратить многолетнюю вражду между Англией и Францией, архиепископ Кентерберийский Томас Бекетт начал в 1155 году переговоры на предмет заключения династического брака: принцу Генриху, сыну английского короля Генриха II Плантагенета, и принцессе Маргарите, дочери Людовика VII, предстояло, войдя в пору совершеннолетия, стать мужем и женой. В приданое за невестой Людовик VII отдавал замок Жизор, а пока будущие супруги не достигли совершеннолетия, замок переходил в попечение рыцарей ордена тамплиеров.

В 1161 году бракосочетание юных принца и принцессы наконец состоялось, и Жизор перешёл в собственность английской короны. Король Генрих II завершил строительство замка. В том же 1161 году Людовик VII и Генрих II подписали в стенах Жизора договор о союзе, оказавшийся — как часто бывало в те времена — весьма кратковременным. В 1180 году новым королём Франции стал Филипп II Август, и давняя вражда двух стран возобновилась.

В окрестностях Жизора король Филипп-Август и английский принц Ричард (будущий король Ричард Львиное Сердце) устраивали тайные встречи, интригуя против Генриха II (овладев троном, Ричард Львиное Сердце первое время сохранял добрые отношения с Филиппом-Августом). В 1188 году в Жизоре архиепископ Гийом Тирский в присутствии Филиппа-Августа и английского короля Генриха II призвал европейских монархов к Третьему крестовому походу.