Наиболее глубоко и серьезно Карамзин обсуждает тему отношений к свету с Дмитриевым. Из их переписки сохранились только письма Карамзина, но и по ним можно судить, что Дмитриева очень интересовали успехи друга в свете и он давал ему в этом плане советы. По поводу каких-то новых предложений или возможностей занять высокую государственную должность Карамзин писал Дмитриеву: «Невольная или лучше сказать естественная, благоразумная скромность удаляет меня от всяких льстивых мечтаний самолюбия». В другом письме, говоря о поверхностном знакомстве с находящимися в настоящее время в фаворе у двора вельможами, он заключает свой рассказ, решительно закрывая эту тему: «Вообще могу сказать, что я не имею здесь никакой связи с так называемыми свежими людьми; это мне не честь, но и не бесчестье. Я ленив, горд смирением и смирен гордостию. Суетность во мне есть, к сожалению, но я искренно презираю ее в себе, и еще более, нежели в других: следственно, она, по крайней мере, не сведет меня с ума. Более нежели когда-нибудь, в искренние минуты чувствую свою ничтожность. — Прости, милый друг! Будь здоров и спокоен. Всего более желай мне того, чтобы Катерина Андреевна родила благополучно». (Карамзина была беременна сыном Николаем, который родился в конце июля 1817 года.)

Карамзин не обольщался искренностью и постоянством императорской благосклонности к нему. Он сомневался в них, когда весной 1816 года приехал в Царское Село и получил поздравление с приездом от вдовствующей императрицы: «Увидим, так ли любезен будет государь: едва ли!»; «Я не видел императора и едва ли увижу. Мы расстались, по-видимому, с двором. Бог с ним!» Однако император, не приближая Карамзина к себе, оставался любезен; правда, Карамзин, бывая по праздникам с поздравлением во дворце, лишь однажды (об этом он сообщил брату) услышал от царя «несколько приятных слов». Прекрасно улавливающие придворные веяния, симпатии и антипатии слуги сделали вывод, что император совсем охладел к историографу, и соответственно изменили свое отношение к нему. Приехав в мае 1817 года в Царское Село, Карамзин узнал, что живописец, поновляя роспись в предназначенном для него китайском домике, нарисовал панно, на котором изобразил муз и знаменитых русских историков — летописца Нестора, князя М. М. Щербатова, автора семитомной «Истории Российской от древнейших времен», и поместил Карамзина в треугольной шляпе, каким видел его прогуливающимся по парку. Начальник Царскосельского дворцового управления и полиции генерал Захаржевский, увидя картину, рассердился и приказал замазать все фигуры. На следующий год он вообще поселил в домике Карамзина некоего Фролова. Потребовалось вмешательство царя, чтобы домик был возвращен историографу.

Однако 1817 год в жизни Карамзина отмечен не только огорчениями и припадками меланхолии. Оказавшись в условиях, для него непривычных, вынужденный жить в сильной, агрессивной, требующей полного подчинения своим обычаям и жестоко карающей ослушников среде, он отстаивал право на свой образ жизни, свою мораль, свои убеждения, свой стиль поведения — и отстоял его. У одних он вызывал уважение, другие сочли за лучшее примириться и принять его условия взаимоотношений, третьи, у которых оставалось по отношению к нему чувство зависти и вражды, вынуждены были ограничиться распространением мнения, что историограф чудаковат и не так уж умен, как о нем говорят. Отзвук последнего П. А. Вяземский услышал много лет спустя после смерти Карамзина. «Один из придворных, — вспоминает Вяземский, — можно сказать, почти из сановников, образованный, не лишенный остроумия, не старожил и не старовер, спрашивает меня однажды: „Вы коротко знали Карамзина.