Само название романа уже содержит в себе литературную реминисценцию, а точнее реминисценции, отсылая к «черным» романам, и прежде всего к «Замку Отранто» Горация Уолпола и к «Замку в Карпатах» Ж. Верна. Над своим первым романом Грак работал в то же время, что и Андре Бретон над «Границами без границ сюрреализма» (1937), в которых, продолжая мысль своего Манифеста 1924 г., восхищался черным романом, интерпретируя жанр как аллегорию истории. Очевидно, косвенным образом Грак соотносил и свой Аргольский замок с теми замками, о которых Бретон мечтал в обоих манифестах.

Коллизия романа отчетливо напрашивается на параллель с романом Гете «Избирательное сродство» (в каком-то смысле можно говорить, что «Замок Арголь» есть черная версия гетевского романа, действие которого также происходит в замкнутом пространстве поместья). Собственно то, что в романе определено как «большая игра», которая разыгрывается Герминьеном и в которой Гейде, влекомая то к одному, то к другому герою, сама играет роль катализатора, слишком уж напоминает закон избирательного сродства (attractiona electiva), открытый в 1775 г. шведским химиком Тоберном Бергманом, быстро ставший поэтической находкой и использованный затем Гёте в одноименном романе в качестве этической параболы. Не случайно, что весь механизм очарования, страсти, завороженности постоянно передается у Грака посредством образов, заимствованных из физики и химии. Так, роли героев с самого начала оказываются заданными в соответствии с законом притяжения; души их соприкасаются, словно под воздействием электрического заряда и т. д.

Вообще же весь текст романа переполнен тайными и явными аллюзиями и реминисценциями: помимо уже упомянутых Вагнера, Бретона, Эдгара По, мы находим здесь Дюрера, Бодлера (чего стоит одна парафраза его «Сплина», порождающая собственно граковский образ слившихся воедино «короля пик и дамы треф»), Фрица Ланга (описание морского побережья в «Замке Арголь» явно напоминает сцены «Носферату»), М.Ю. Лермонтова (мотив одинокого паруса, который ни героям, ни читателю так и не дано увидеть в море, омывающем древний край Сторван). Культурная память романа включает и обширное философское знание: от Плотина до немецкого идеализма и Гегеля, которое в основном остается побочным рассказу, но являет собой гарантию исключительных интеллектуальных способностей персонажей.

Обратим внимание и на особый принцип цитирования в романе: реминисценция никогда не возвращает к целому цитируемого произведения, она остается изолированной от его основного здания. Цитата есть прежде всего языковое явление, и лишь в последнюю очередь к ней может примешиваться желание воссоздать контекст. При этом Грак в своем первом романе, играя с аллюзиями и литературными отсылками (как он будет делать это и в позднейших произведениях), поддерживает преимущественно книжной памятью и сам сюжет (в этом — уже исключительная особенность «Замка Арголь», не свойственная его более поздним романам). Таким образом, «страстное усвоение культурного фонда становится открывающимся сезамом». Граковское письмо предполагает наличие общей памяти у автора, читателя и самого произведения. И, как пишет Мишель Мюра, «тому, кто не прошел через французскую среднюю школу, трудно прочувствовать Грака. В этом он похож на Стендаля. Потому что чуть пародийное использование языка, витающее в его прозе, — это то, что усваивается именно в лицее».