Пегова из академии взяли в аппарат ЦК партии. Он работал ответственным организатором отдела руководящих партийных органов, которым заведовал Георгий Максимилианович Маленков. Пегов понравился Маленкову и быстро получил самостоятельную работу. Восемь лет он был первым секретарем Приморского крайкома.

В 1947 году Пегова вернули в Москву в аппарат ЦК — заместителем начальника управления по проверке партийных органов. В этом управлении Сталин собрал опытных провинциальных секретарей, перед которыми открылась дорога к партийному олимпу. На следующий год Пегов получил должность заведующего отделом легкой промышленности ЦК, а в 1950 году он возглавил важнейший отдел партийных, профсоюзных и комсомольских кадров. Иначе говоря, Пегов стал главным партийным кадровиком. Через эту должность прошли и Маленков, и Ежов.

На последнем при Сталине XIX съезде партии Пегов тоже стал секретарем ЦК по кадрам и кандидатом в члены президиума ЦК, но лишился этих должностей сразу после смерти вождя. Когда Маленков, Берия, Булганин, Молотов и Хрущев делили власть, для Пегова места не осталось.

Его переместили на безвластный пост секретаря Президиума Верховного Совета СССР, а в 1956 году перевели на дипломатическую работу. Семь лет Николай Михайлович провел послом в Иране, который в те годы не играл сколько-нибудь заметной роли в мировой политике.

В 1964 году Пегова перевели в Алжир, где шла беспрерывная борьба за власть. Профессиональный партийный аппаратчик с трудом поспевал за поворотами событий. Известный дипломат Валентин Михайлович Фалин был в те годы руководителем группы советников при министре иностранных дел. Он дважды в день должен был докладывать Громыко о всех важнейших событиях. Он сообщил, что посол в Алжире допускает серьезные ошибки. Громыко недовольно буркнул:

— Больше эту тему не поднимайте.

На следующий день в министерство поступили еще более тревожные сведения — посол Пегов оказался в оппозиции к новому руководству Алжира. Фалин доложил об опасности осложнений в советско-алжирских отношениях.

Выслушав его, министр снял очки и спросил:

— Вам что, устного указания мало? Пегова не трогать. Странный вы человек…

Но требующие немедленной реакции телеграммы продолжали приходить из Алжира. Когда Фалин положил очередную шифровку на стол министру, Громыко прочитал и сказал:

— Я посоветуюсь с членами политбюро.

Через несколько часов было принято решение назначить Пегова послом в Индию. Причем ему предписывалось немедленно сдать дела и вылетать в Москву.

Пегов был свояком члена политбюро Михаила Андреевича Суслова. В 1973 году Громыко пришлось взять Пегова заместителем в министерство. А когда Суслов стал вторым человеком в партии, он вернул родственника на партийную работу. В октябре 1975 года Пегов стал заведовать отделом по работе с загранкадрами и выездам за границу, которым так долго руководил бывший начальник разведки Панюшкин.

Когда Дроздов приехал в Москву в отпуск и пришел с докладом к председателю КГБ, Андропов признал:

— В деле с Шевченко ты был прав. Это наша вина. Наказывать тебя за него никто не будет.

Юрий Владимирович сообщил Дроздову, что заведующий отделом ЦК Пегов жаловался на него:

— Что между вами произошло?

Выслушав Дроздова, сам позвонил Пегову, чтобы уладить конфликт с могущественным заведующим отделом. После смерти Суслова и Брежнева Андропов, став Генеральным секретарем, сразу же, в декабре 1982 года, отправил Пегова на пенсию…

Громыко потом спросил Дроздова, почему он не обратился к нему относительно Шевченко. Дроздов ответил, что не решился беспокоить министра, а его заместители и Трояновский были своевременно информированы.

Андрей Андреевич не любил спецслужбы. У него был неприятный опыт общения с резидентами. В июне 1952 года Громыко с поста первого заместителя министра отправили послом в Англию.