Здесь он проработал до августа 1933 года и добился впечатляющих результатов в вербовочной работе, включая «своих людей» в спецслужбах и выходы на главарей РОВС Кутепова и Миллера. За успешную работу во Франции Ф. Карин был награжден вторым нагрудным знаком «Почетный чекист».

Из служебной аттестации за 1933 год, подписанной начальником ИНО ОГПУ А.Х. Артузовым: «Тов. Карин Федор Яковлевич, член ВКП(б) с 1919 года, работник ВЧК-ОГПУ с 1919 года… один из наиболее опытных и квалифицированных руководителей разведки в условиях подполья… Считаю тов. Карина в первом десятке лучших организаторов-разведчиков СССР».

По возвращении в Москву в сентябре 1933 года Ф. Карин был назначен начальником 1-го отделения ИНО ОГПУ, занимавшегося ведением разведки в США и Европе. Ему было присвоено звание старшего майора госбезопасности, что соответствовало армейскому званию генерал-майор. В связи с приходом к власти в Германии Гитлера и возросшей опасностью войны новому начальнику ведущего отделения внешней разведки предстояло реорганизовать работу «легальных» и нелегальных резидентур, прежде всего в Германии, с таким расчетом, чтобы на постоянной основе получать упреждающую информацию о планах и намерениях нацистов, в том числе о подготовке ими к войне. Эту задачу Ф. Карин решал успешно. Под его руководством были созданы «запасные площадки» германской нелегальной резидентуры ОГПУ в соседних странах. В случае осложнения обстановки в Германии предполагалось организовать с их помощью работу по третьему рейху.

В связи с возросшей нацистской угрозой в мае 1934 года Политбюро ЦК ВКП(б) рассмотрело вопрос о координации деятельности Разведывательного управления РККА, Иностранного и Особого отделов ОГПУ. Решением ЦК партии начальник ИНО ОГПУ А.Х. Артузов был назначен по совместительству заместителем начальника Разведывательного управления Красной Армии. Ему было предложено в месячный срок проанализировать работу военной разведки и разработать меры по устранению недостатков, прежде всего многочисленных провалов военных разведчиков. При назначении на этот пост А. Артузов в качестве единственного условия оговорил право взять с собой в Разведывательное управление РККА около двадцати сотрудников ИНО ОГПУ. Просьба была удовлетворена. Ф.Я. Карин был переведен в военную разведку и назначен на должность начальника ее 2-го отдела, занимавшегося ведением разведывательной работы в странах Востока. Ему было присвоено звание комкора, что соответствовало воинскому званию генерал-лейтенант.

В июне 1934 года А. Артузов подготовил подробный доклад на имя Сталина, в котором были проанализированы причины провалов военной разведки в Европе. Они объяснялись низкой дисциплинированностью сотрудников Разведупра, пренебрежением правилами конспирации, нежелательным использованием коммунистов европейских стран в работе «легальных» и нелегальных резидентур. Выводы А. Артузова были одобрены Сталиным, который распорядился «навести должный порядок» в работе резидентур военной разведки. По указанию начальника Разведупра Я.К. Берзина Ф. Карину было поручено проанализировать работу резидентур своего отдела, в которых также произошло несколько провалов, и принять меры по улучшению их работы.

Однако в феврале 1935 года по вине видного военного разведчика А. Улановского произошел очередной, весьма серьезный провал резидентуры Разведупра в Копенгагене. Расследование показало, что, несмотря на указания А. Артузова о недопустимости привлечения к разведработе местных коммунистов, пятеро связников резидентуры А. Улановского состояли в Компартии Дании. К тому же один из них являлся осведомителем полиции. Конспиративная квартира нелегального резидента была взята полицией под наблюдение. Вскоре датские спецслужбы, организовав засаду, арестовали на ней сразу троих резидентов Разведупра из других европейских стран, прибывших к А.