После окончания учебы И. С. Конев назначается командиром 72-го стрелкового полка 24-й Самаро-Ульяновской Железной стрелковой дивизии, а затем возглавляет 50-й Краснознаменный им. К. Е. Ворошилова стрелковый полк 17-й стрелковой дивизии. На этом завершился этап военной карьеры Конева, связанный с военно-политической работой. Теперь ему предстояло проявить себя уже в новом качестве, на командной стезе. Он, вспоминая о своей пятилетней деятельности в должности командира полка, отмечал:

«…Самым решающим звеном в становлении командира является полк. Полк учит, полк воспитывает, полк по-настоящему готовит кадры. Комполка – организатор боя, он обязан правильно использовать артиллерию, полностью и до отказа дать огонь, а не штык, использовать танки, использовать поддержку саперов и даже авиацию, запросив решения высших инстанций. Он хозяин на поле боя, в организации боя. Вот кто такой командир полка, вот почему я с большим желанием пошел на эту должность. Командовал полком пять лет. Многие говорили, что «засиделся», предлагали всякого рода должности, намекали, иногда даже иронизировали… Я решительно от всего отказывался. Я учил полк и учился у полка. Проводил занятия сам, очень сложные, продолжающиеся непрерывно, днем и ночью, с выходом в поле, с отрывом от базы, учил полк маршам и походам, боевой стрельбе и тактике, взаимодействию, и сам одновременно учился».

В данном случае Конев не погрешил против истины. В должности командира полка он проявил недюжинные способности организатора боевой подготовки войск. В его первой командирской аттестации отмечалось: «Инициативен, энергичен, решительный командир. Требователен. Целеустремлен. Пользуется деловым авторитетом». Были, конечно, и сложности в службе. Не всегда шло все гладко, особенно в вопросах устройства быта подчиненных, укрепления воинской дисциплины, обучения командного состава.

В 1932 г. И. С. Конев получил возможность снова повысить свою теоретическую подготовку, теперь уже на полноценном курсе Военной академии им. М. В. Фрунзе. В это время в Красной армии ускоренными темпами осуществлялась техническая реконструкция, которая опиралась на форсированную индустриализацию государства, милитаризацию его экономики, подчинение целям обороны всех социальных программ. В постановлении ЦК ВКП(б) «О состоянии обороны СССР» от 15 июля 1929 г. требовалось создать современную военно-техническую базу для обороны страны. В соответствии с первым пятилетним планом развития РККА (1929—1933 гг.) предусматривалось полностью перевооружить армию и флот новейшими образцами военной техники, создать новые технические рода войск (авиацию, бронетанковые войска) и специальные войска (химические, инженерные и др.), повысив их удельный вес в системе Вооруженных Сил. Кроме того, намечалось модернизировать старое оружие и военную технику, моторизовать пехоту, кавалерию и артиллерию, осуществить массовую подготовку технических кадров. По численности войск Красная армия должна была не уступать вероятным противникам на главном театре военных действий – Западном, а по технике – быть сильнее противника по трем решающим видам вооружения, а именно самолетам, артиллерии и танкам.

В результате реализации этих планов начиная с 1932 г. в войска в возрастающих количествах стали поступать новые системы оружия и военной техники. Сухопутные войска получили усовершенствованный станковый пулемет «максим», модернизированную трехлинейную винтовку С. И. Мосина образца 1891—1930 гг., а затем новые ручные, зенитные, танковые и авиационные пулеметы. На вооружение артиллерии поступили 45-мм противотанковая пушка, новые дальнобойные и скорострельные 122-мм и 152-мм пушки, 76-мм зенитная пушка, 203-мм гаубица и 82-мм миномет. Это позволило увеличить огневую мощь стрелковых и кавалерийских соединений более чем в два раза.