14 января 1848 года в его жизни произошло важное событие: он вступил в брак с совсем юной, семнадцатилетней дочерью помещика Смоленской губернии Надеждой Филаретовной Фроловской, которая стала ему верной опорой и поддержкой на всем их совместном жизненном пути. Брак этот был счастливым; свидетельством тому стали и их одиннадцать детей, воспитанию которых Надежда Филаретовна отдавала все свои душевные силы и энергию.

Продвижение Карла Федоровича по службе шло медленно. Работа в казенном ведомстве, буквально сковывавшая чиновничьей рутиной по рукам и ногам любую инициативу, мало удовлетворяла энергичного инженера. Однако он вряд ли бы самостоятельно решился порвать с казенной службой, опасаясь поставить семью в трудное положение, если бы его жена решительно не настояла на его уходе.

В 1860 году фон Мекк по настоянию жены оставил государственную службу, чтобы заняться предпринимательской деятельностью. Это был смелый и во многом рискованный шаг, сыгравший, впрочем, решающую роль в дальнейшей судьбе их семьи.

Уход Карла Федоровича со службы совпал с началом развертывания в стране широкого железнодорожного строительства.

Попытки постройки первых казенных железных дорог в России в 30–40-е годы XIX века не увенчались успехом. Строительство шло крайне медленно, увязая в чиновничьей рутине. И тогда, чтобы провести в жизнь программу широкого железнодорожного строительства, в стране было принято решение опереться на частную инициативу. Решающими в судьбе железнодорожного предпринимательства явились Указ императора Александра II от 27 января 1857 года о создании в России сети железных дорог и утвержденные осенью 1857 года договора о передаче казенной Варшавско-Венской железной дороги и прав на строительство связанных с ней ветвей и новых железных дорог в руки частной компании.

Начало предпринимательской деятельности К. Ф. фон Мекка было связано со строительством линии Москва — Коломна Обществом Саратовской железной дороги. Это было одно из первых обществ с широким участием представителей отечественного капитала. Образовано оно было в 1856 году. Инициатором создания общества стал генерал-адъютант С. А. Юрьевич. Акционерами общества были Великие князья Александр, Владимир и Алексей и даже наследник-цесаревич Николай Александрович, а также многие придворные лица. Проект железной дороги оказался настолько привлекательным, что вызвал интерес и за рубежом. В состав учредителей вошел вице-президент Совета бельгийских железных дорог, почт и телеграфа Брауэр де Гогендорп. Уже после утверждения 17 июля 1859 года устава общества в число его учредителей были приглашены также московские коммерсанты К. Т. Солдатенков, Ф. М. Вогау, Г. А. Марк и представители фирмы «Братья Сапожниковы».

Главным директором был избран бельгиец Брауэр де Гогендорп, главным секретарем — Павел Григорьевич фон Дервиз. Правление общества «помещалось в Москве, в Кривом переулке, в доме Мейера». Финансовую основу общества составил гарантированный правительством акционерный капитал в 45 миллионов рублей серебром, и оно взяло на себя обязательство построить в течение шести лет одноколейную дорогу от Москвы до Саратова через Коломну, Рязань, Моршанск длиной в 725 верст.

Строительство линии Москва — Коломна началось 11 июня 1860 года.

Первый участок дороги Москва — Коломна, протяженностью в 117 верст, был построен очень быстро, всего за два года. Большая заслуга в успешном окончании строительства принадлежала фон Мекку. Здесь он впервые в полной мере проявил свои способности организатора и инженера, а также честность и обязательность в ведении дел. Он постоянно говорил, что «честность в расчетах — это тоже коммерция».

Тем не менее после ввода первого участка дороги дальнейшее ее строительство было приостановлено ввиду отсутствия средств, а в 1863 году обанкротившееся общество было ликвидировано.