Месть Павла не заставил себя долго ждать. Сенатским указом он уволил Дашкову от всех занимаемых ею должностей. Родные советовали княгине затаиться и тихо сидеть в Троицком в надежде, что о ней не вспомнят. Но нервная нетерпеливая натура Екатерины Романовны рвалась в Москву.

Вскоре к ней прибыл курьер с сообщением воли императора: немедленно отправиться на жительство в новгородское имение сына. Теперь Екатерина Романовна ехала в ссылку. За матерью последовала только дочь, Анастасия. Биографы Екатерины Романовны, не расположенные к авантюристке и мотовке Щербининой, стараются как бы не замечать этого поступка немолодой женщины, а ведь на нее, в отличие от матери, немилость императора не пала, и Анастасия могла остаться дома. Почему же она не бросила мать? Мы уже говорили, что, не смотря на все поверхностное несходство, мать и дочь были в чем-то очень похожи, в трудную минуту Анастасия оказалась способна позабыть об обидах, которые их разделяли.

Захолустная деревня, до которой Екатерина Романовна с трудом добралась, тесный сельский дом с грубыми деревянными стенами, скудная обстановка — вот все, что теперь окружало княгиню. Заняться было решительно нечем. По приказанию Павла I, перья и бумагу у Дашковой отобрали. Что может быть хуже для пишущего человека? За окном вереницей проходили ссыльные — зрелище при нервном расстройстве пожилой женщины почти невыносимое. Однажды среди них княгиня увидела своего дальнего родственника, молодого офицера, его бледное грязное лицо судорожно подергивалось — это было последствие пыток, которым подвергли несчастного за неосторожные слова об императоре. Впору было вспомнить о временах блаженной памяти «матушки Екатерины»: за проступок куда более серьезный Хитрово отправили в родовое имение, а его товарищей просто отставили от службы. При Екатерине II государственных преступников тоже ссылали в Сибирь, разница была в том, что считалось преступлением.

Мало кто из исследователей обращает внимание, что, попав в трагические обстоятельства, Дашкова не искала помощи там, где казалось бы могла на нее рассчитывать. Она ни разу не обратилась к собственному сыну, а ведь Павел Михайлович был у нового императора в большой милости. Его не блестяще складывавшаяся до сих пор карьера пережила бурный взлет, в 1798 г. он стал военным губернатором Киева, затем предводителем дворянства московской губернии. В отличие от Анастасии, Павел как будто не вспоминал о матери. Видимо, с избранной Екатериной Романовной воспитательной «системой» дела обстояли далеко не так благополучно, как ей казалось долгие годы.

Разрыв между сыном и матерью произошел еще при жизни Екатерины II. Едва вырвавшись из-под опеки Дашковой, Павел Михайлович, тогда еще молодой офицер, неожиданно женился, не сказав княгине ни слова. Его поспешные, необдуманные действия больше походили на месть, желание шокировать свою строгую мать, с самого детства неотступно контролировавшую каждый его шаг. Княгиня была действительно оскорблена, в качестве невестки ей предлагалась дочь небогатого откупщика. Биографы Дашковой, часто пишут, что Екатерина Романовна очень щепетильно относилась к своему высокому происхождению и поэтому не приняла брак сына. При этом редко вспоминается, что матерью самой Екатерины Воронцовой была вовсе не светская высокородная дама, а дочь купца Сурмина, и Дашкова не имела морального права ставить сыну в упрек совершенный им мезальянс.

Екатерине Романовне помогло заступничество императрицы Марии Федоровны и фаворитки Павла I — Екатерины Ивановны Нелидовой. Эти две женщины, порой забывая о ревности, старались вместе сдержать гнев императора и помочь опальным. Уступив их просьбам, Павел очень неохотно разрешил княгине вернуться в Троицкое и безвыездно жить там. Ссылка Екатерины Романовны кончилась после гибели Павла в 1801 г. Она снова смогла приезжать из имения в старую столицу и по долгу жить в своем великолепном каменном доме на Большой Никитской (ныне здание консерватории).