Русское общество, которое, как известно, большей частью негативно относилось ко всем царским министрам, сразу же откликнулось на это назначение несколькими сатирическими стихами, ходившими по рукам. В одном из них, названном «Антон Горемыка», все предыдущие министры внутренних дел выводились как «горемычные души». Заключительная строфа содержала едкий каламбур: «Да, обманчивой надежде, / Говорю тебе, не верь, /Горе мыкали мы прежде, /Горемыкин и теперь». По иронии судьбы Горемыкин в числе официальных лиц года присутствовал на торжествах по случаю коронования императора Николая II в мае 1896 года, закончившихся, как известно, Ходынской катастрофой.

На посту министра внутренних дел Иван Аоггинович оставался в течение пяти лет, но эти пять лет изменили его до неузнаваемости. По словам С. Ю. Витте, Горемыкин до назначения министром был человеком «довольно либерального направления», но, вступив в должность, «под влиянием свыше, боясь себя скомпрометировать, начал вести довольно реакционную политику».

О взглядах Горемыкина писали и другие мемуаристы. Вот мнение В. И. Гурко, служившего в то время в Государственной канцелярии: «Прослужив в течение долгих лет в Сенате, правда не по судебному, а по второму, так называемому крестьянскому, департаменту, Горемыкин невольно впитал в себя приверженность к законности и отрицательное отношение к административному произволу. По природе, несомненно, умный, тонкий и вдумчивый, с заметной склонностью к философскому умозрению, он считался не только либералом, так как по личным связям принадлежал к либеральному сенаторскому кружку, но даже сторонником, конечно, платоническим, толстовского учения. Выдающейся чертой характера Горемыкина и его умственного настроения, чертой, с годами все больше в нем развивавшейся, было ничем невозмутимое спокойствие, очень близко граничившее с равнодушием». Годы, когда Горемыкин был министром внутренних дел, были для Российской империи нелегкими. Министерству пришлось бороться с так называемыми неурожайными бедствиями и в связи с этим значительной миграцией крестьян. В 1896 году Горемыкин был вынужден даже создать особое Переселенческое управление в системе Министерства внутренних дел. Были учреждены установления по крестьянским делам Акмолинской области и временные положения о крестьянских начальниках Тобольской, Томской, Енисейской и Иркутской губерний. При нем были несколько ужесточены законы об ответственности губернаторов за совершенные преступления по должности, утверждены нормативные уставы сельских пожарных дружин и потребительских обществ. Во все эти вопросы Иван Логгинович вникал досконально. При Горемыкине министру юстиции Н. В. Муравьеву удалось «урвать» (выражение С. Ю. Витте) у Министерства внутренних дел Главное тюремное управление. Причем сделано это было в обход Государственного совета.

В 1896 году Министерство внутренних дел непосредственно отвечало за проведение первой переписи населения Российской империи. По результатам переписи население России составило 129 млн жителей, из них только 13 % приходилось на городское население, а общий годовой прирост тогда составлял Г млн 600 тыс. человек.

Будучи министром, Горемыкин продолжал участвовать в комиссии по пересмотру судебных уставов, в которую он был включен еще в свою бытность в Министерстве юстиции. Что же касается политических вопросов, здесь он фактически продолжал политику своего предшественника И. Н. Дурново, отличавшуюся особой жесткостью.