Д. В. Дашков написал сатирическую кантату — «похвалу» Шаховскому:

П. А. Вяземский вспоминает: «Все наше молодое племя закипело и вооружилось». Писались эпиграммы, пародии. В конце концов, молодые друзья Карамзина и Жуковского организовали общество, на заседаниях которого вели разговоры о литературе, подвергая осмеянию взгляды и произведения членов «Беседы». Д. Н. Блудов сочинил шуточный разговор на литературную тему неких «безвестных людей» на постоялом дворе в Арзамасе. Сочинение понравилось, и тогда общество решили назвать «Арзамасское общество безвестных людей», а на ужин, которым заканчивалось каждое заседание, подавать жареного гуся, потому что Арзамас славился гусями.

Членам Арзамасского общества давались прозвища по героям баллад Жуковского: сам Жуковский получил прозвище Светлана, Д. Н. Блудов — Кассандра, А. Ф. Воейков — Дымная Печурка, А. А. Плещеев — Черный Вран, Н. И. Тургенев, — Варвик, Д. В. Дашков — Чу, С. П. Жихарев — Громобой, Ф. Ф. Вигель — Ивиков Журавль, А. И. Тургенев — Эолова Арфа, М. Ф. Орлов — Рейн, К. Н. Батюшков — Ахилл, H. М. Муравьев — Адельстан, П. А. Вяземский — Асмодей, А. С. Пушкин — Сверчок и т. д., а членам «Беседы» дали общее наименование — халдеи.

Многих из арзамасцев Карамзин знал по Москве, с ними он чувствовал себя легко и свободно. Он посетил несколько заседаний Арзамасского общества, на одном из которых ему вручили диплом, хотя и написанный в шутливом тоне, но свидетельствующий о любви и уважении к нему арзамасцев. Ему было присвоено звание «природного арзамасца» без прозвища. Бывали арзамасцы и у него. Вяземский вспоминает, что как-то «Карамзин читал молодым приятелям своим некоторые главы из „Истории государства Российского“». После этого вечера В. А. Жуковский писал И. И. Дмитриеву в Москву: «У нас здесь праздник за праздником. Для меня же лучший из праздников: присутствие здесь нашего почтенного Николая Михайловича. Здесь все жаждут его узнать, и видеть его в этом кругу так же приятно, как и быть с ним в его семье: он обращает в чистое наслаждение сердца то, что для большей части есть только беспокойное удовольствие самолюбия. Что же касается до меня, то мне весело необыкновенно об нем говорить и думать. Я благодарен ему за счастие особенного рода: за счастие знать и (что еще более) чувствовать настоящую ему цену. Это более, нежели что-нибудь, дружит меня с самим собою. И можно сказать, что у меня в душе есть особенное хорошее свойство, которое называется Карамзиным: тут соединено все, что есть во мне доброго и лучшего. Недавно провел я у него самый приятный вечер. Он читал нам описание взятия Казани. Какое совершенство! И какая эпоха для русского появление этой „Истории“! Какое сокровище для языка, для поэзии, не говорю уже о той деятельности, которая должна будет родиться в умах. Эту „Историю“ можно назвать воскресителем прошедших веков бытия нашего народа. По сию пору они были для нас только мертвыми мумиями, и все истории русского народа, доселе известные, можно назвать только гробами, в которых мы видели лежащими эти безобразные мумии.