Будучи женат, Александр Васильевич женился в начале 1720-х годов вторично — на двадцатилетней вдове Дарье Васильевне Скуратовой (урожденной Кондыревой). В отдаленных от столицы местах двоеженство, хотя и противное государственным и церковным законам, не было редкостью. Уже беременная, молодая жена узнала о существовании первой супруги мужа. Отправившись к ней, Дарья Васильевна со слезами упросила ее уйти в монастырь, чтобы узаконить брак.

Дарья Васильевна родила пять дочерей и сына — Григорий был третьим ребенком в семье. Она дожила до того времени, когда сын стал первым лицом государства. С портрета, написанного в староста, смотрит суровое лицо с крупным носом и острым подбородком. Черты лица грубее, чем у сына, но считалось, что он на нее похож.

Ее третьей беременности сопутствовали хорошие приметы: чижевские старожилы впоследствии уверяли, что она во сне видела, как солнце с неба упало к ней на живот.

Счастье, однако, было омрачено клеветой.

После рождения наследника к хозяину, в числе других гостей, приехал с поздравлениями его двоюродный брат Сергей Потемкин, сообщивший, что Григорий — не его сын. Причины, побудившие оклеветать Дарью Васильевну, вполне прозаичны: Сергей Потемкин хотел унаследовать имение Александра Васильевича. Видимо, подозрение пало на Григория Матвеевича Кисловского — одного из московских родственников, гостившего у Потемкиных незадолго до рождения сына и ставшего его крестным отцом.

Александр Васильевич подал прошение о расторжении брака и признании Григория незаконным ребенком. Дарья Васильевна в ужасе обратилась за помощью к Кисловскому. Тот приехал из Москвы и едва урезонил ревнивого старика.

Усадьба Потемкиных Чижево находилась на маленькой речке Чиво — в нескольких часах езды на лошадях от Смоленска: в 350 верстах от Москвы и 837 верстах от Петербурга.

Деревянный одноэтажный дом Потемкиных стоял на небольшом холме. Баня, где родился Григорий, наверное, была единственной подсобной постройкой.

О раннем детстве Потемкина неизвестно ничего, но, надо полагать, оно не очень отличалось от детства других мелких дворян. Вот характерное воспоминание дальнего родственника Потемкина, Льва Николаевича Энгельгардта — по его собственному рассказу, он провел свои детские годы, бегая с дворовыми мальчишками босиком, в крестьянской рубахе: «Физически мое воспитание сходствовало с системою Руссо, хотя бабка моя не только [не] читала сего автора, но едва ли знала хорошо российскую грамоту».

Григорий был наследником имения и единственным, кроме отца, мужчиной в семье. Можно себе представить, как его баловали мать и сестры. Привыкший свободно чувствовать себя в женском обществе, он называл себя баловнем судьбы.

В 1746 году семидесятичетырехлетний Александр Васильевич скончался. Дарья Васильевна, вторично овдовевшая в сорок два года, осталась одна с шестью детьми в затруднительном положении. Взрослый Потемкин будет безрассудно расточителен — отличительная черта тех, кто, достигнув высот, помнит о прошлых материальных невзгодах.

У Дарьи Васильевны не было связей в Петербурге, зато имелись родственники в Москве, и скоро вся семья отправилась в белокаменную.

Первым впечатлением Григория от древней столицы, вероятно, стали ее колокольни. Москва была полной противоположностью Санкт-Петербургу, новой столице Петра Великого. Если Северная Венеция являлась окном в Европу, то Москва хранила память о древней Руси. Иностранцы, считавшие единственным цивилизованным местом Европу, неприязненно отзывались о первопрестольной русской столице: «Что особенно безвкусно и отвратительно в облике Москвы, так это ее церкви — квадратные массивы разноцветных кирпичей с позолоченными шпилями».