23 июня 1941 года, в связи с началом Великой Отечественной войны, П. В. Баранов был мобилизован в действующую армию. Первое время в звании военного юриста 2-го ранга (присвоено 18 сентября 1941 года) он служил помощником военного прокурора Ленинградского фронта. На него были возложены обязанности по судебному надзору и кадрам. С ними он справлялся вполне удачно, что явилось основанием для выдвижения его на более высокий пост. В апреле 1942 года Павел Владимирович стал заместителем военного прокурора 8-й армии Волховского фронта, а в августе того же года ему досрочно присвоили звание военного юриста 1-го ранга. Хорошо разбираясь в конкретных делах, Баранов всегда оказывал военным следователям конкретную помощь, а нередко и сам бывал на передовой и занимался расследованием наиболее важных дел, проявляя в боевой обстановке мужество и смелость. Военный прокурор 8-й армии военный юрист 1-го ранга Грейсер был очень доволен своим заместителем.

В октябре 1942 года командование армией сочло возможным рекомендовать Баранова на самостоятельную работу — военным прокурором. Однако с этим предложением не согласился военный прокурор Волховского фронта бригадвоенюрист Деев. Он считал, что Баранов «преувеличивает свою подготовку и свои способности, болезненно реагирует на замечания» и не добился улучшения следствия в прокуратуре армии. Хотя замечания Деева и были признаны обоснованными, тем не менее в Главной военной прокуратуре пришли к выводу, что положительные качества Баранова явно перевешивают все его недостатки и самолюбие, и он вполне может справиться с обязанностями военного прокурора армии. 16 ноября 1942 года он был назначен исполняющим должность военного прокурора 10-й армии Западного фронта.

3 апреля 1943 года приказом заместителя народного комиссара обороны СССР генерал-лейтенанта А. Щербакова, в соответствии с постановлением Государственного комитета обороны СССР от 4 февраля 1943 года «О введении юридическому составу Красной Армии персональных воинских званий», П. В. Баранову было присвоено звание подполковника юстиции.

Павлу Владимировичу приходилось часто бывать в соединениях, частях и подразделениях передовой линии, где он проводил большую работу среди личного состава войск по укреплению дисциплины и воинского порядка в войсках. Особенно активен он был в период наступательных боев, в связи с чем его наградили орденом Отечественной войны 1-й степени.

12 августа 1943 года П. В. Баранов был утвержден прокурором 10-й армии. Менее чем через год, 5 мая 1944 года, он уже военный прокурор 2-го Белорусского фронта (утвержден в должности 1 июня 1944 года). 16 августа того же года приказом народного комиссара обороны СССР И. В. Сталина Павлу Владимировичу было присвоено воинское звание полковника юстиции. В характеристике, выданной ему в это время, значилось, что борьбу с преступностью он проводил организованно, систематически изучал и обобщал данные о преступности и осуществлял через командование и подчиненных прокуроров мероприятия, приводившие к сокращению таких преступлений, как дезертирство, членовредительство, хищения военного имущества. Благодаря стараниям военного прокурора значительно улучшилась работа органов дознания и следствия, да и сама надзорная деятельность.

В мае 1944 года и. о. военного прокурора Румянцев написал в характеристике Баранова, что в период наступательных операций тот успешно проводил большой важности работу по устранению недостатков в деле материального обеспечения войск, пресечению и предупреждению отрицательных явлений среди личного состава. За этими скупыми строчками стояла напряженная жизнь военного прокурора фронта, требующая полной самоотдачи, высокой дисциплины и ответственности.

После окончания Великой Отечественной войны, в июле 1945 года, вследствие расформирования 2-го Белорусского фронта, П. В. Баранов был назначен исполняющим должность военного прокурора Северной группы войск, а 30 декабря утвержден.