У короля имелись куда более интимные причины ненавидеть министра, который, как никто другой, помог ему взойти на английский трон. И дело заключалось не только во властно-проповеднической манере Кларендона себя держать, открыто попрекая самого сюзерена тем, что тот ведет беспутную жизнь и совершенно не занимается государственными делами; куда сильнее огорчило Карла известие о том, что Кларендон убедил мисс Стюарт — фрейлину и предполагаемую фаворитку короля — втайне выйти замуж за герцога Ричмонда. В «развеселой шайке-лейке» его, разумеется, тоже терпеть не могли. Бекингем в присутствии короля передразнивал жесты и походку канцлера, используя вместо Кларендоновой трости кочергу. Канцлер же не скрывал презрения к собственным гонителям — и ограничивался лишь этим. Меж тем ему начали предъявлять изрядное количество обвинений: он-де специально женил короля на бесплодной женщине, чтобы его собственная дочь, герцогиня Йоркская, смогла когда-нибудь стать королевой; он сдал Дюнкерк французам исключительно ради личного обогащения; он не постеснялся при возведении собственного дома воспользоваться камнями частично разобранного собора Святого Павла.

Пока герцог Йорк болел оспой, Палата общин отрешила канцлера от должности по обвинению в государственной измене и передала этот вердикт на утверждение в Палату лордов. Аристократы, тоже ненавидя Кларендона, еще сильнее, однако же, не доверяли третьему сословию, поэтому отрешение через Палату лордов не прошло. Однако сильное меньшинство, возглавленное Бекингемом и Бристолем и включающее в себя Рочестера, выступило с протестом на вето, наложенное палатой. Меж тем Кларендон поддался на уговоры короля покинуть пределы страны для того, чтобы устранить опасный антагонизм между двумя палатами парламента. И это — последнее — доказательство его верности королю было воспринято как безмолвное признание собственной вины — и вдогонку добровольному изгнаннику полетел указ, навсегда лишающий его права пребывать на территориях, находящихся под властью английской короны.

Его падение вызвало бурю ликования у тех, кого Ивлин назвал «людьми и ледьми любви», тогда как Пепис обозначил их куда конкретнее: «Бэб Мэй, леди Каслмейн и вся эта развратная свора». Изгнание Кларендона вдохновило Рочестера на написание самой неудачной из его сатир:

За короткое время, прошедшее с тех пор, как старый канцлер отечески поцеловал Рочестера в стенах Оксфорда, молодой человек прошел долгий путь.

Но злейшим — и вместе с тем самым «любимым» — врагом Рочестера стал граф Малгрейв, Джон Шеффилд, позднее герцог Бекингемшир (не путать с герцогом Бекингемом — постоянным собутыльником Рочестера). Эта вражда стала частью общей литературной политики той эпохи и в конце концов, по слухам, привела в 1678 году к нападению на Драйдена. Но между вероломной атакой на Кларендона и началом вражды с Малгрейвом Рочестер впал во внезапную ярость; подобные вспышки впоследствии случались все чаще и чаще по мере того, как приходило в упадок его здоровье. 17 февраля 1669 года Пепис написал:

Вчера король ужинал в голландском посольстве; после ужина выпили, и вся компания чрезвычайно развеселилась. Среди прочих там были весьма достойный человек лорд Рочестер и балагур Том Киллигрю, выходки и грубые шутки которого в конце концов настолько разозлили Рочестера, что он на глазах у короля ударил обидчика в ухо. Инцидент, конечно, стал величайшим оскорблением для собравшихся, потому что король не только видел это, но и стерпел; более того, уже простил Рочестеру безобразие, потому что сегодня утром вышел на прогулку в сопровождении нескольких господ, одним из которых был все тот же Рочестер; таким образом, сам король, водясь с этим грубияном, покрыл себя несмываемым позором; а как воспринял происшедшее Том Киллигрю, я не знаю.