Канцлер был старичок небольшого роста, очень живой и весёлый, в сущности очень эгоистичный и очень походил на Тьера. Он был весьма воздержан, хотя любил хорошо поесть; до обеда, который был всегда изысканный, он ничего не ел, только выпивал поутру и в три часа дня по рюмке малаги с бисквитом. Он сам заказывал обед и знал, из чего делается каждое кушанье.

Однажды на маленьком интимном обеде у датского посланника барона Нессена, на котором я был вместе с графом Нессельроде, он обратил внимание на пюре из дичи и тотчас записал карандашом в свою записную книжку способ его приготовления. Этот рецепт был послан его повару, который хранил, как драгоценность, этот любопытный автограф».

Относительно повара министра был хорошо информирован другой его современник — В. П. Бурнашёв. Он рассказывает, как однажды князь А. В. Долгоруков, тоже большой гурман, обедая у Нессельроде, сильно впечатлился гурьевской кашей и просил Карла Васильевича прислать к нему своего повара, чтобы тот выучил варить кашу его француза. Каково же было удивление князя, когда в присланном к нему поваре он узнал своего забытого крепостного Алёшку, когда-то отданного на выучку на кухню к Нессельроде. Алёшка уже носил звание «мосье Алексис, premier officier de bouche de son Excellence Mr le comte Nesselrode» — об этом торжественно доложил Алексею Васильевичу его французский камердинер! Сердце князя ревниво взыграло, чувства зависти и крепостника соединились в нём в злобный замес, и он приказал «мосье Алексису» остаться, пообещав ему платить порядочно, но всё-таки не так порядочно, как французу, которого он тут же прогнал прочь. С того дня отношения Нессельроде с Долгоруковым перестали быть сердечными. Интересно, у кого теперь хранятся собственноручные автографы министра с его рецептами?

Внук канцлера оставил такой портрет деда: «Ему было 76 лет, но он казался на десяток лет моложе… Седые волосы, разделённые пробором, были ещё довольно густы. Бакенбарды обрамляли лицо, делая его более длинным, черты же резкими. Нос крупный, орлиный… взгляд одновременно пристальный и улыбающийся под круглыми стёклами очков в серебряной оправе. Уголки несколько великоватого рта во время беседы приподнимались в язвительной улыбке. Голос ясный, звонкий, вибрирующий и ещё молодой. Руки тонкие и очень ухоженные, хотя и имевшие следы частых приступов подагры. Ступня маленькая и красиво изогнута».

Граф Карл Васильевич рано ложился спать и рано вставал и не увлекался никакими излишествами. Никогда не курил и не выносил табачного запаха и дыма. Всю жизнь имел прекрасный аппетит и здоровый желудок. Знал толк в кушаньях и винах, за модой не следовал, «показывая уважение к ушедшему времени». По натуре был общителен, любил компании и дамское общество, был завсегдатаем салона императрицы Александры Фёдоровны. Устраивал и у себя музыкальные вечера, на которых блистала его племянница Мария, даровитая пианистка, ставшая известной в Европе под именем Калержи. Нессельроде любил музыку, предпочитал слушать итальянские и немецкие оперы, но на спектаклях часто засыпал под убаюкивающую музыку оркестра рядом с министром двора графом А. В. Адлербергом (1818–1888).

Главный дипломат России увлекался цветоводством, обладал прекрасной оранжереей, в которой находилась гордость его коллекции — редкие камелии. Выращивал он и фрукты к столу, и овощи, и любил удивить ими гостей. Не будучи русским дворянином, упорно стремился к получению княжеского титула (как Меттерних!), но ограничился титулом графа.

Укрепить своё положение в русском обществе ему сильно помогла женитьба в 1812 году на дочери влиятельного министра финансов Д. А. Гурьева, «изобретателя» гурьевской каши. Супруга Мария Дмитриевна была женщина полная и высокая, и Карл Васильевич казался при ней «карманным» мужем. Но брак был счастлив, они нежно любили друг друга и своих детей Дмитрия, Елену и Марию.