Ульоа увлекся амурными делами и завел себе постоянную любовницу, которой позволял вмешиваться в судебные дела инквизиции. Он бродил по улицам (не в одежде духовного лица, а в роскошном наряде) в поисках приключений, путался с проститутками, участвовал в драках. Однажды, когда муж одной из его любовниц застал его со своей женой, Ульоа, объявив мужу, что он — инквизитор, пригрозил ему, что в случае попыток устроить скандал он попадет в руки инквизиции. Другой муж в подобных обстоятельствах оказался решительнее: он убил свою жену и угрожал инквизитору местью, несмотря на его положение в обществе. Произошел большой скандал.

Не меньше, чем женщинами, Ульоа интересовался деньгами. Особый интерес он проявлял к Гуанкавеликским рудникам, где добывали ртуть, и немалые суммы, вместо испанской казны, попали в карман главного инквизитора.

На его поведение поступало столько жалоб, что испанское правительство отправило в Перу инспектора Хуана де Прадо, наделив его необходимыми полномочиями для такого расследования. Вице-король ожидал Прадо как своего союзника, но тот, прибыв в Перу, казалось, был более склонен стать на сторону проверяемого им инквизитора.

В то самое время Джон Дрейк, кузен Фрэнсиса Дрейка, и Ричард Фарелл попали в плен после кораблекрушения и, как еретики, предстали перед трибуналом инквизиции. Вице-король Перу увидел в этом прекрасный случай разузнать побольше об английском флоте и пожелал сам допросить пленников. Но Ульоа утверждал, что эти пленники инквизиции могут быть переданы вице-королю только с разрешения правительства Испании. Это не устраивало вице-короля Виллара, так как на рассмотрение дела требовался почти год, а сведения были ему нужны немедленно. Вскоре имела место ложная тревога. Поступили сведения, будто к берегам Перу приближается английский флот. Виллар приказал мобилизовать войско для защиты колонии. Однако Прадо и Ульоа, обеспечив безопасность инквизиции, распорядились, чтобы военные не подчинялись приказу вице-короля. Вдвоем они фактически лишили его реальной власти, и сам Виллар понимал, насколько бесполезна борьба в такой ситуации, когда инквизиция сильнее, чем государство. Прадо по-прежнему поддерживал Ульоа, и однажды, когда один его кредитор (это был священник) выдвинул иск против инквизитора о возврате денег, именно Прадо велел арестовать несчастного истца, добился лишения его сана и четырехлетнего заключения в тюрьму, причем узник умер от дурного обращения.

Однако дружба Прадо и Ульоа прекратилась так же внезапно, как и возникла. Прадо словно вдруг вспомнил, зачем его послали в Перу, и стал рассматривать многочисленные свидетельства против своего бывшего друга. В результате инспектор выдвинул против Ульоа 216 обвинений.

Всплыло и дело о рудниках, когда сам инквизитор, его брат и один из друзей получили концессии на весьма льготных условиях, так как Ульоа запугивал должностных лиц. В свою очередь, инквизитор начал собирать материал на Прадо, обвиняя его в темных финансовых махинациях.

В итоге испанское правительство приказало Прадо немедленно вернуться в Испанию; в отношении Ульоа были признаны 118 из 216 обвинений, он был лишен должности на пять лет и должен был вернуться в Испанию на суд Великого инквизитора.

Прадо отослал в Мадрид проект некоторых реформ, и часть из них были признаны полезными, так что их автору разрешили остаться в Перу; однако прежде получения разрешения он уже отплыл в Испанию согласно прежнему приказу. Ульоа не спешил выполнить приказ вернуться. Однако 4 февраля 1594 г. в Перу прибыл лиценциат Ордоньес-и-Флорес, чтобы занять место инквизитора, и Ульоа отправился в долгое путешествие по стране, по пути выдавая себя по-прежнему за инквизитора и пугая людей.

О его поведении свидетельствует случай с сыном судьи Диего Ванегасом.