В детстве Павел Баранов не сумел получить сколько-нибудь системного образования. Он рано начал работать — с 14 лет. Первое время был курьером-рассыльным в мастерских Витебского губернского совнархоза. В 1920 году стал учиться в фабрично-заводском училище, где получил квалификацию электромонтера. Тогда же он вступил в комсомол, по призыву которого некоторое время находился в частях особого назначения (ЧОН). Затем Витебский горком комсомола направил его на работу в губполитпросвет, там он был библиотекарем. В 1922–1923 годах Павел Баранов работал подручным электромонтера на автобазе в Витебске. В эти годы пытливый и любознательный юноша сумел без отрыва от производства получить аттестат о среднем образовании. В то время стране нужны были квалифицированные кадры, поэтому многих молодых людей комсомол направлял на учебу. Среди них оказался и Павел Баранов. В 18-летнем возрасте с мандатом губкома он поступил во 2-й Ленинградский политехнический институт. Учеба оказалась кратковременной. Не прошло и года, как он оставил студенческую скамью. В автобиографии Павел Владимирович писал, что его отозвали на комсомольскую работу. Он стал секретарем комсомольской организации на Ленинградском госзаводе № 4. Одновременно работал электромонтером.

В 1925 году Баранов оставляет Ленинград и по комсомольской мобилизации отправляется в Петрозаводск. Там некоторое время он был культоргом от горкома комсомола, а затем — комсомольским вожаком на Онежском заводе. Впоследствии он стал секретарем Петрозаводского горкома комсомола.

В 1927 году П. В. Баранов вернулся в Ленинград, где вначале занял должность заведующего отделом Северо-Западного бюро ЦК ВЛКСМ, а позднее — Ленинградского обкома комсомола. Однако аппаратная служба не вполне удовлетворяла его, и он стал усиленно добиваться направления на какую-либо хозяйственную работу. Вскоре нашлась подходящая должность на заводе «Эталон», где он становится заместителем директора. В течение трех лет Баранов исправно выполнял многообразные хозяйственные функции, пока партия не призвала его на более горячий пост. В январе 1931 года 25-летний Павел Баранов, не имевший юридического образования и каких бы то ни было практических навыков в области права, был направлен на работу в органы прокуратуры и сразу же занял должность прокурора Дновского района Ленинградской области. Работа на новом месте давалась трудно. На него навалилась масса неотложных дел, с которыми и опытный юрист с трудом мог бы разобраться. А тут еще всяческие политические кампании: сев, хлебозаготовки и т. п. В такой обстановке трудно было обойтись без ошибок. Вскоре молодой и еще неопытный прокурор получил свое первое партийное взыскание — выговор, объявленный за то, что не «уследил» за судьей, которая устроила волокиту с рассмотрением уголовного дела, связанного с весенним севом. Однако эта «осечка» в самом начале прокурорской карьеры не помешала ему успешно продвигаться по службе. Вскоре его энергию и напористость по достоинству оценили в прокуратуре Ленинградской области и взяли на работу в аппарат. Так он стал помощником областного прокурора. А еще через два года (в 1934 году) он был назначен прокурором Кировского района.

У Павла Владимировича было все данные для того, чтобы быстро продвигаться по служебной лестнице: ум, настойчивость, крепкая хватка, требовательность к себе и подчиненным. Главное, чего ему не хватало — это специальных знаний. И он стал учиться. Свое правовое образование он пополнил на годичных курсах права при ленинградском отделении Комакадемии и в Ленинградском институте совправа, где экстерном сдал экзамены (причем блестяще) за половину курса.