Замок стоял на высокой горе близ старинного города Любеча, бывшего одной из ключевых крепостей в верховьях Днепра. Несколько месяцев строил князь свой замок. Он прислал сюда лучших каменщиков, плотников, кузнецов из своих сел и городов. Тяжкой повинностью легло строительство замка на любечан. От них требовались телеги с лошадьми, землекопы и другие работники. Надзор за строительством князь поручил своему любечскому огнищанину.

Все строительство размещалось на площади в тридцать пять на сто сажен с небольшим (одна сажень = 2,1 м ). Стены любечского замка состояли из огромных дубовых бревен, которые укладывались в могучие срубы и забивались глиной. Эту глину притискивали к стенам тяжелыми колодками, которые едва поднимали четверо человек. Между срубами вкапывали в землю сторожевые башни из камня и дубовых бревен.

Въехать или войти на гору можно было лишь по крутому подъему, обращенному в сторону города. Здесь-то и были построены въездные ворота, перед которыми через ров строители перекинули подъемный деревянный мост. За воротами въездной башни шел узкий проезд вверх, огороженный с обеих сторон поднимающейся уступами крепостной стеной. А дальше шли главные ворота крепости и начиналась основная крепостная стена. Если бы враги сумели овладеть первыми воротами и ворваться внутрь прохода, им пришлось бы продвигаться к основным воротам крепости под ударами обороняющихся, которые располагались на уступах стены по обеим сторонам прохода, а дальше они наткнулись бы на могучие бревна основной стены.

Следующие ворота с двумя башнями, стоящими по бокам от них, пройти тоже было непросто. Выход внутрь замка шел через глубокий и длинный крытый проход с тремя заслонами, каждый из которых, опускаясь, мог преградить путь врагам. Проход кончался небольшим двориком, где размещалась замковая стража. Отсюда был ход на стены. На этом дворике располагались каморки с очагами для обогрева стражи в холодное время. В стенах, огораживающих дворик, было прорезано множество отверстий — клетей, в которых хранились различные съестные припасы — вяленая и сушеная рыба, мед, вина, зерно, крупы. В глубине дворика стражи стояла самая высокая, массивная четырехъярусная башня замка — вежа. Если бы враг все-таки прорвался через замковую стражу, ему пришлось бы миновать на пути к княжескому дворцу эту башню. В ее глубоких подвалах располагались ямы — хранилища зерна и воды. Только миновав вежу, можно было попасть к клетям с едой, заделанным в стене, только через нее шел путь внутрь замка. Именно в этой башне жил огнищанин — управляющий замка. За вежей шел парадный двор, ведущий к княжеским хоромам. На этом дворе стоял шатер для дворцовой стражи. Отсюда же был проложен тайный спуск к стене.

Сам дворец князя весьма походил на настоящую крепость. Он был трехъярусный, с тремя высокими теремами. В нижнем ярусе находились печи, жилье для челяди, клети для всяких запасов. Во втором ярусе располагались княжеские хоромы. Здесь были выстроены широкие сени для летних сборов и пиров, рядом находилась гридница, где могли поместиться за столами до ста человек. Около дворца была срублена небольшая церковь с кровлей, крытой свинцовыми листами. С плоских крыш дворца можно было по бревенчатым скатам спуститься прямо на подходящие вплотную замковые стены.

Замок был приспособлен для мощной и долговременной обороны. Вдоль его стен, кроме клетей с припасами, стояли вкопанные в землю медные котлы для горячей смолы, кипятка, которые опрокидывали на врагов, идущих на приступ стен крепости. Из дворца, из церкви, а также от одной из клетей в стене шли подземные ходы, уводившие в стороны от замка.