Первое, чем ему пришлось заниматься — организация обороны Мадрида. Уже в начале ноября войска мятежников вышли на ближние подступы к испанской столице. 6 ноября бои шли уже на окраинах города. Военные советники торопились организовать оборону. А 8 ноября в городе появилась первая из Интернациональных бригад, организованных Коминтерном. Франкистам так и не удалось взять город.

Неоценим вклад советников специалистов Красной Армии в оборону Мадрида. Кто еще мог подсказать «милисианос», как построить в условиях миллионного города долговременную оборону со стрелковыми окопами полного профиля, с правильно расположенными орудиями и пулеметами. И разумеется, советники не только учили, но и учились, строя оборонительные рубежи на подступах к Мадриду — показывая мадридцам, как следует вгрызаться в камень, как и где возводить проволочные заграждения, как и где готовить секторы обстрела. Откуда испанцам, не воевавшим целую вечность, было знать, что на один погонный километр фронта нужно около четырех тонн колючей проволоки и около двух тысяч мин и фугасов! Требовалось немедленно переключить заводы столицы на производство всего необходимого для фронта, и в этом важнейшем деле на помощь защитникам Мадрида также приходили совьетикос. Действительно, как сражаться в условиях нехватки всего необходимого, интервенции и блокады, лучше командиров Красной Армии научить не мог никто.

Из Мадрида Берзин отправился в Валенсию, город, куда из осажденного Мадрида переехала столица Испанской республики. Обстановка была сложной, а надо было разобраться в ней досконально, чтобы советы военного советника были правильными. Вот когда ему пригодились навыки работы в военной разведке! Главный советник занимался многим. Он выезжал на фронт, налаживал руководство войсками и обеспечение армии. Ну и, конечно, любимое его детище разведка, на сей раз республиканская. Испанцы, в отличие от многих предыдущих кадров Берзина, не имели опыта подпольной и конспиративной работы, их нужно было учить всему с самого начала. А еще труднее было наладить грамотное использование разведывательной информации в республиканских штабах.

В районах, занятых франкистами, развивалось партизанское движение. Диверсанты-интернационалисты взрывали мосты и поезда, устраивали засады и нападали на гарнизоны. В Валенсии была создана школа Красный партизан, где под руководством Берзина проходили подготовку диверсионные группы и отряды от 8 до 40 человек. И при каждом таком отряде тоже был советник, а фактически руководитель отряда. Отряды сочетали диверсии и разведку. Позднее испанский опыт был использован во время Великой Отечественной войны, в том числе и самими испанцами, которые оказались в Советском Союзе.

Из этих отрядов и групп был вскоре сформирован специальный 14-й армейский корпус, подчиненный Генеральному штабу. В корпусе было четыре дивизии, в каждой из них — по три-четыре бригады, или отряда, по 150 — 200 человек. Одна дивизия базировалась в Каталонии, три в центре: в Андалусии, Эстремадуре и на Центральном фронте.

Занимался Берзин в Испании, как уже говорилось, разведкой, а особенно контрразведкой. Испания была буквально наводнена резидентами и агентами франкистской, немецкой, итальянской разведок. Радио Саламанки ежедневно в 9.45 передавало для пятой колонны шифрованные указания. Совместно с республиканской разведкой и особым отделом по борьбе со шпионажем генерал Гришин ведет привычную войну разведок. В восьми километрах от Валенсии, в Рокафоре, организовывает станцию радиоперехвата.

Немало старых товарищей встретил в Испании Берзин. Военным атташе был В. Е. Горев, а его заместителем — Д. О. Львович, командиром 14-й Интернациональной бригады — К. К. Сверчевский, военными советниками — X. И. Салнынь, И. Г. Старинов, Л. К. Бекренев, А. И. Эмильев и другие.

В мае 1937 года Берзина, главного военного советника и заместителя командующего войсками ОКДВА (он попрежнему числился на этой должности), отзывают в Москву.