В первой половине 1882 года Горемыкин состоял в комиссии по выработке правил о выкупе наделов в помещичьих имениях великороссийских и малороссийских губерний, решал и другие вопросы по так называемому крестьянскому делу. Здесь очень пригодился ему опыт, накопленный им в бытность его в Царстве Польском.

С 18 июня 1882 года в чине тайного советника Иван Логгинович был назначен членом консультации, учрежденной при Министерстве юстиции. Одновременно на него были возложены обязанности товарища обер-прокурора первого департамента Правительствующего сената, входящего в отделение по крестьянским делам. Благодаря энергии и трудолюбию он успевал многое – неоднократно исполнял обязанности обер-прокурора, участвовал в различных комиссиях и комитетах, в частности в работе Особого совещания для рассмотрения дел об административной высылке.

В феврале 1884 года Горемыкин занял место обер-прокурора второго департамента Правительствующего сената. Грамотного юриста и добросовестного чиновника нещадно эксплуатировали, привлекая одновременно ко множеству дел. Он одновременно исполнял обязанности обер-прокурора первого департамента и председателя хозяйственного комитета при нем, заведовал обер-прокурорскими делами первого общего собрания Сената, входил от Министерства юстиции в Особую комиссию при Государственном совете, созданную для «всестороннего обсуждения способов кодификации Особого приложения к законам о состояниях», а также в другую особую комиссию, но образованную уже при Министерстве внутренних дел, – эта занималась разработкой вопросов «о мерах к прекращению наплыва иностранцев в западные окраины», но и это еще не все. Горемыкин как опытный специалист подготовил и издал Сборник решений Правительствующего сената по крестьянским делам (1889 год). Следующим был солидный Свод узаконений и распоряжений правительства об устройстве сельского населения и учреждений по крестьянским делам, к нему прилагались разъяснения, содержащиеся в решениях Правительствующего сената и в постановлениях и распоряжениях высших правительственных учреждений в двух томах (1891 год). Этот Свод представлял большую ценность для практических судебных и прокурорских работников и выдержал за несколько лет пять изданий, каждый раз пополняясь новыми материалами. Свод узаконений хорошо раскупался и принес его составителю немало денежных дивидендов.

27 ноября 1891 года Горемыкин становится товарищем министра юстиции (министром тогда был Н. А. Манасеин), с 1894 года – сенатором и управляющим межевой частью на правах товарища министра. В апреле 1895 года он покидает Министерство юстиции и переходит в Министерство внутренних дел на должность товарища министра, оставаясь при этом сенатором. Этим назначением он был обязан обер-прокурору Святейшего синода К. П. Победоносцеву, который рекомендовал его императору, хотя сам министр И. Н. Дурново предпочел бы видеть на этом месте других кандидатов. Карьера продолжает складываться блестяще – спустя полгода Горемыкин становится управляющим Министерством внутренних дел, а 6 декабря 1895 года, опять же с помощью Победоносцева, его утверждают в должности министра внутренних дел.

Как происходило это назначение, рассказал в своих воспоминаниях С. Ю. Витте, в то время министр финансов, а впоследствии – председатель Совета министров: «– А что вы думаете по поводу назначения Горемыкина? – спросил меня государь. Я ответил, что Горемыкина я сравнительно очень мало знаю, ничего о нем определенного сказать не могу, но что вообще Горемыкин производит на меня впечатление человека порядочного, причем добавил, что, по всей вероятности, Константин Петрович (Победоносцев. – Авт.