Александр договорился с коммунами гибеллинских городов, что в случае появления у них нового господина их свободы останутся неприкосновенными. Однако претендентам обещал прямо противоположное.

Наиболее реальным кандидатом на роль правителя Южной Италии на тот момент казался младший сын Генриха III Английского двенадцатилетний Эдмунд. В 1256 г. договор между папой и английским королем был заключен. В обмен на сицилийскую корону для сына Генрих обязывался бросить войска на юг Италии и отдать в папскую казну 135 541 марку. Это было за пределами возможного для Англии. Светские аристократы с возмущением отказали королю в поддержке.

Мобилизовав все силы и сделав множество долгов, Генрих собрал сумму, более чем вдвое меньшую, чем требовал папа. В письме в Рим он просил понтифика снизить требования и удовлетвориться тем золотом, которое имелось в наличности.

Папа был в ярости. С упорством слабого человека он решительно не желал уступать Генриху. В случае нарушения договора он угрожал анафемой королю и интердиктом государству. Однако он уже получил от Англии шестьдесят тысяч марок и не собирался их возвращать. 18 декабря 1258 г. папа издал буллу, отменяющую пожалование Сицилийского королевства принцу Эдмунду.

С утратой политических средств духовный авторитет папы терял свое обаяние и доходность. Александр считал политических противников врагами Церкви, еретиками, преследование которых поручалось инквизиции. Однако когда он наложил интердикт на Болонью, жители этого города остались к нему совершенно равнодушными.

Не оправдывалась и надежда найти вместо Гогенштауфена более послушного императора. Императорский трон в Германии пустовал более девятнадцати лет.

Пока продолжались эти торги, Манфред господствовал в Италии. Он был незаурядным человеком — ярким и талантливым, с развитым чувством чести и мощным темпераментом. Хроники расположенных к нему историков, и что особенно значимо — большинства представителей противоположного лагеря, восхваляют его честность, справедливость и утонченность; все отмечают его блестящий ум, называют его несущим радость, покровителем искусств и литературы. Доблестный прославленный герой, на поле боя он испытывал радость стратега. Даже враги не могли поставить ему в вину более, нежели леность, нерешительность и влюбленность в вымысел о собственном величии.

Непрерывная вооруженная борьба за власть над Сицилией и недоброжелательность жителей Вечного города вынуждала папу находиться за его пределами. Своим местопребыванием Александр IV выбрал Ананьи и уже никогда надолго не возвращался во враждебный Рим. Там римский сенатор Бранкалеоне заключил с Манфредом, который был теперь полным господином Сицилийского королевства, союз в целях уничтожения гвельфской партии. Затем в публичном воззвании он оповестил римлян о карательном походе против Ананьи; эта «родина папы», как он ее называл, должна была покориться сенату или быть стертой с лица земли. Родственники Александра бросились с мольбой к ногам папы, так что он принужден был снизойти до просьбы о пощаде перед грозным сенатором.

В следующем году непостоянные римляне изгнали из города Бранкалеоне и впустили папу, но он всегда предпочитал непредсказуемому Риму спокойный Ананьи. Там папа принимал послов христианских государей, представителей духовенства, монашеских орденов.

В 1256 г. состоялась встреча папы с Альбертом Великим. Этот доминиканский монах, магистр теологии, происходил из немецкой графской фамилии. Одним из первых церковных деятелей он понял, что проникновение античного мышления в область культуры Западной Европы нельзя остановить и что, наоборот, следует использовать философскую мудрость Античности для обоснования и подкрепления христианства.