Но римляне остались верны папе, которого сами избрали, и вскоре Климент III вынужден был укрыться в Тиволи, так и не получив в этот раз тиары.

Двинувшись на помощь своему ставленнику, в 1081 г. король приступил к Вечному городу. Римляне были готовы сражаться за Григория VII, и Генриху пришлось отступить. Та же ситуация повторилась в следующем году. Немецкий поход спровоцировал феодальный мятеж в Апулии, а капуанский князь Жордан I (князья Капуи традиционно играли важную роль в политической борьбе вокруг папского престола) принёс присягу императору. По призыву Григория VII в Италию спешно вернулся с Балкан Роберт Гвискар; не дожидаясь прихода нормандской армии, император снова отступил. Климент III остался в Тиволи, продолжая угрожать Риму.

Третий поход Генриха IV против папы (1083) чуть было не стал для Григория VII роковым. Имперская армия захватила Ватикан с собором Св. Петра и утвердилась на правом берегу Тибра. Григорию VII удалось укрыться в укреплённом замке Св. Ангела в левобережной части Рима, которая сохранила ему верность. Попытка короля собрать Собор для примирения противоборствующих пап закончилась безрезультатно: Григорий VII не соглашался на присутствие на Соборе отлучённых им епископов, а император, в свою очередь, не допустил к участию явных сторонников Григория.

Положение папы продолжало ухудшаться. Его противодействие плану проведения Собора вызвало в начале 1084 г. всеобщее движение заговорщиков в Риме, к которому присоединились даже тринадцать кардиналов.

Генрих решил сразить врага политическим актом, совершенным в самом Вечном городе. С этой целью он собрал своих римских сторонников, нобилей и епископов. Григорию было предложено явиться на Собор; когда же он отказался, его объявили низложенным. Затем, исполнив все установленные формальности, Собор провозгласил папой Виберта.

В Вербное воскресенье Виберта отвели в Латеран, и ломбардские прелаты посвятили его в сан римского епископа. Затем в базилике Св. Петра после слабого сопротивления сторонников Григория Климент возложил на Генриха и его супругу Берту императорские короны. В пределах Рима и городской территории распоряжения Климента почти не встретили сопротивления, и с той поры судебные акты стали помечаться понтификатом этого папы. Он учредил свой сенат из кардиналов и вместо семи латеранских епископов назначил своих людей. Антипапа сумел не только укрепить позиции в Италии и Германии, но и на время добиться послушания в Англии, Венгрии и Хорватии. Кардиналы пользовались схизмой, чтобы активизировать собственное участие в управлении Церковью.

Соотношение сил соперничающих первосвященников постоянно менялось: если удача была на стороне Григория, Климент удалялся в Равенну.

В перипетиях нескончаемой борьбы Григорий был снова осажден императором в Риме. Римляне, которые так долго оставались ему верны, на этот раз не собирались проливать за него кровь. Запертый в замке Св. Ангела папа в отчаянье призвал на помощь своего вечного защитника Роберта Гвискара. Тот, сознавая опасность, которая грозила ему самому в случае низложения Григория, скоро явился в сопровождении тридцати тысяч пехотинцев и шести тысяч всадников. В эту армию, прибывшую на защиту Римской церкви, входило несколько отрядов мусульман. За измену законному папе Гвискар отдал мятежный город на разграбление своим солдатам. Рим подвергся всем ужасам резни и насилий. Римляне ответили бешеным сопротивлением. Свирепые воины Гвискара предали Вечный город безжалостному разорению и подожгли деревянные постройки. Когда пожар прекратился и битва стихла, перед глазами Григория открылась картина Рима, превращенного в дымящееся пепелище. Сожженные церкви, разрушенные улицы, тела убитых римлян явились безмолвным обвинением папы. Ему пришлось отвести взгляд, когда перед ним проходили сарацины, гнавшие в свой лагерь толпы связанных римлян.