В 1634 г., когда финансы страны были расстроены, Оливарес начал переговоры с иудеями Леванта и Африки, с тем чтобы какому-то количеству из них разрешили вернуться в страну для обеспечения ее финансового процветания. По его плану им должно было быть предоставлено право жить в специальном квартале в Мадриде.

После этого, однако, инквизиция потребовала отставки Оливареса, поскольку воплощение «сумасбродных фантазий» этого человека могло бы привести к умалению истинной веры. Хотя Филипп и подчинялся воле Оливареса, но он не мог не считаться с инквизицией, тем более что его мучила совесть за свои грехи и он хотел загладить их. План Оливареса не осуществился.

В другом случае Оливарес потребовал несколько дел лиц, арестованных инквизицией. Великий инквизитор не соглашался на это, но Оливарес употребил всю свою власть и добился своего — Великому инквизитору пришлось уступить. Получив дела, королевский фаворит сжег их и освободил арестованных.

По одной из версий, у Оливареса даже был план вовсе упразднить инквизицию, но религиозный король на это бы никогда не пошел.

Инквизиция же не могла не помнить, что этот человек причинил ей столько хлопот.

В 1627 г. король Филипп тяжело заболел (придворные считали даже, что он смертельно болен). Его маленькая дочка скончалась, а королева была снова беременна. Однако Оливарес не верил в то, что королева может родить здорового ребенка. Враги Оливареса, самым влиятельным из которых был Карл, старший брат короля, воспользовавшись болезнью Филиппа, стали интриговать, чтобы избавиться от всесильного фаворита. Но король выздоровел, и Оливарес восторжествовал над своими противниками. Филипп, как обычно в таких случаях, был полон чувства раскаяния в своих грехах. У него было много незаконных детей, и некоторые из них достигли высокого положения и почестей. Самым любимым был дон Хуан Австрийский, здоровый и красивый мальчик. К тому же король очень любил его мать, актрису Марию Кальдерой, которая, будучи религиозной, хотела, чтобы Филипп поскорее оставил ее и она ушла бы в монастырь. После того как родился дон Хуан, Мария упросила короля разрешить ей стать монахиней, на что он неохотно согласился из любви к ней и ее сыну.

Но через полгода после этого родился законный сын Филиппа, наследник престола Бальтазар-Карлос.

Оливарес завоевал также и ненависть королевы — за то, что он потакал любовным интригам короля, и за то, что не допускал ее до политических дел. С рождением же Бальтазара-Карлоса, который оказался вполне жизнеспособным мальчиком, позиции королевы очень усилились, а она была далеко не единственным врагом временщика.

Всесильный министр считался виновным в ссоре между инквизицией и королевскими судьями, в росте преступности в столице, в начавшейся войне с Францией. Однажды некий дворянин Луханес в придворной церкви встал на колени перед королем, умоляя его избавить страну от Оливареса. Беднягу Луханеса объявили сумасшедшим, он был заключен в тюрьму. А потом умер при загадочных обстоятельствах. Сразу появились слухи, что с ним разделался королевский фаворит. Число врагов Оливареса еще возросло, когда он представил при дворе двадцативосьмилетнего Фелипе де Гусмана, которого объявил своим сыном, и даже потребовал для него руки дочери герцога Фриаса, коннетабля Кастилии (на что последний вынужден был согласиться). Ропот против Оливареса усилился. Он не мог найти денег на войну, Португалия вышла из-под испанского контроля, деньги обесценились, а в Мадриде были арестованы многие королевские подданные, которые не могли или не хотели платить налоги. Теперь у Оливареса было слишком много врагов — королева, придворные, народ, инквизиция.

Испания терпела поражения на море и на суше, и король сам решился стать во главе армии.

Оливарес противился этому. Но король на этот раз не послушался своего министра. Регентшей стала королева, которая вовсе не жаловала Оливареса, а последний присоединился к королю в военном походе.