Бланк сразу же приступил к первоначальному строительству. Он использовал современные по тем дням дренажные работы. Каналы под землёй непосредственно сообщались с Москвой-рекой и давали возможность проводить строительство без опасения наводнений. Западный квадрат был возведён в короткие сроки, и Екатерина, посетившая строительство, была благосклонна к архитектору, соорудившему прекрасный дворец для подкидышей.

Однако сколько ни бился Бецкой, денег на осуществление его главной идеи было всё меньше и меньше. Хоть и пытался он привлечь к попечительству самых знатных и богатых вельмож своего времени, хоть и тратил на строительство большие суммы из собственного кошелька, хоть и выдавала ему Екатерина суммы из государственной казны, но размах сооружения дома был столь велик, что денег постоянно не хватало.

К руководству строительством Бецкой привлёк внука известного уральского заводчика Никиты Демидова — Прокофия Акинфиевича Демидова. Сам Прокофий писал Бецкому:

«Покорнейше прошу в своё сообщество меня принять. На приготовление материалов, на наем работников и прочее вношу до ста тысяч рублей».

Это было большим подспорьем для Бецкого, метавшегося по вельможам с просьбами о деньгах для Воспитательного дома. Демидов действительно прислал двести тысяч рублей ассигнациями да ещё решил взять на своё содержание Коммерческое училище, выделив для этого капитал в двести пять тысяч рублей.

Но в желании Демидова была и своя горькая правда: он полностью отстранил архитекторов, хозяйничал на строительстве и, самое главное, воровал свои же собственные деньги, выделенные им для Воспитательного дома.

Ив 1782 году строительство фактически прекратилось, хотя до полного возведения зданий было ещё далеко. Демидов слишком затянул всё дело, он так и не возвёл восточный квадрат, предназначенный для девочек-подкидышей, да к тому же ещё и задолжал громадные суммы опекунскому совету. Бецкой обратился к Екатерине с просьбой погасить из государственной казны долги умершего к тому времени Демидова, и императрица согласилась удовлетворить просьбу Бецкого.

В конце концов были выстроены только главное здание, западный квадрат с двухэтажной пристройкой да восточная часть окружного строения. Однако уже с завершением строительства главного здания Воспитательный дом начал функционировать и принимать подкидышей из города. Потом сюда стали привозить подкинутых малышей и из других городов...

Но Воспитательный дом замышлялся как государственное учреждение, и деньги на его строительство и содержание должны были выделяться из государственной казны. Россия же вела изнурительную турецкую войну, грозила взятием Петербурга и Швеция, катастрофические суммы расходовал Потёмкин на обустройство южных провинций и создание Черноморского флота, и Екатерина просто не могла себе позволить тратиться ещё и на народное образование. Бецкой довольствовался подаяниями богатых людей, но известно, что чем богаче человек, тем он скупее, и подаяния были мизерными.

Он следил за судьбой детей-подкидышей и споем Воспитательном доме, но все известия о нём были крайне неутешительными.

В первый же год приёма подкидышей, 1764-й, сюда привезли и принесли пятьсот двадцать три ребёнка. К концу года из них умерло четыреста двадцать четыре.

В следующем году в дом приняли только девяносто трёх малышей, из них умерли пятьдесят девять. Каждый год зачислялись сюда подкидыши. Но отсутствие должной медицинской помощи и сколько-нибудь квалифицированных нянь приводило к печальному исходу. Да и детей доставляли или уже брошенными прямо на улице, уже простудившимися или же с признаками сильных заболеваний.