«Мы были заняты работой по строительству форта для защиты гавани; когда его возведут, он будет средних размеров, а пока построен лишь наполовину. Но мы решили приложить к тому сердце и руку и, по-возможности, завершить его. В нем находятся батарейные пушки, привезенные из Англии, и те, что были взяты в Санта-Марте; всего установлено 20 пушек».

14 января того же года полковнику Хамфри было приказано «идти с его полком на помощь капитану Хьюзу». Солдаты полка доставили из Спаниш-Тауна в Пойнт-Кагуэй сто палаток «со всеми необходимыми вещами и принадлежностями к ним». Однако, увы, «все они оказались бесполезными». Кое-кто улизнул назад в Спаниш-Таун, многие солдаты умерли, так что в итоге пришлось привлечь к работам в форте военных моряков.

В марте 1656 года капитан Маартен ван Алфан из полка Хамфри получил приказ сменить капитана Хьюза; последний вернулся в Спаниш-Таун, где ему поручили следить за починкой восьмидесяти бочек. Эти бочки хотели задействовать для доставки извести с «большой земли» на Пойнт. Приготовлением извести постоянно занимались два человека — мастер Томас Гиббонс и помогавший ему рабочий. В апреле к ван Алфану прислали помощника — «пиротехника» Николаса Кина, которого в 1657 году (когда на Пойнте начали раздавать землю) назначили также землемером. В дальнейшем Кин отвечал за ремесленников и рабочих в форте, а ван Алфан — за солдат полка Хамфри, расквартированного в Пойнт-Кагуэе.

На территории форта решено было построить круглую башню, и с этой целью на соседний пляж было выгружено много камней, доставленных с холмов Порт-Хендерсона. К концу апреля 1656 года башня уже имела высоту пять футов, а «большой форт» был «почти завершен». Его соорудили в виде простого прямоугольника, в центре которого возвышалась упомянутая башня; орудийные площадки, расположенные по периметру, представляли собой простые дощатые настилы и песчаные насыпи с открытыми выходами. Форт оставался таким до 1662 года.

За активностью англичан на Пойнте внимательно следили испанцы. 3 апреля 1656 года дон Кристобаль Арнальдо де Исасси, возглавлявший испанские партизанские силы на Ямайке, сам видел с наблюдательного пункта на холме Порт-Хендерсона «восемнадцать судов, стоявших на рейде в гавани» и «около восемнадцати домов на мысе Кайо-де-Карена, а внутри гавани — семь крытых соломой хижин». Он добавляет, что «не увидел маленький форт на мысе… потому что он, должно быть, был низким». На недатированной испанской карте (примерно 1655–1656 годов) показаны двадцать домов на островке Кайо-де-Карена, а также форт, который выглядит скорее проектом в форме восьмиконечной звезды, чем реальным прямоугольным укреплением.

О наличие «домов» в Пойнт-Кагуэе в этот период нет упоминаний в журнале Эдварда Дойли. Возможно, там могли стоять грубо сколоченные дома приватных лиц; кроме того, для офицеров, находившихся на косе во время строительства форта, могли соорудить более комфортабельное жилье, чем палатки простых солдат. Не исключено также, что моряки, занимавшиеся кренгованием судов, построили на мысе склады для хранения нужных материалов.

Укрепление, сооружавшееся на косе усилиями трех десятков ремесленников и полусотни солдат, получило название Форт-Кромвель; впервые оно было зафиксировано в документах, датированных октябрем 1656 года. Одновременно укреплялись Пэссидж-Форт и Сантьяго-де-ла-Вега (Спаниш-Таун).

Самое ранее упоминание о городе, заложенном на Пойнте, сделал генерал-лейтенант Уильям Брейн в июле 1657 года: «Здесь, на косе этой гавани, уже положено прекрасное начало городу, который желательно построить при малых затратах… Я рассчитываю на то, что здесь будут находиться все наши магазины и торговля, каковые вскоре сделают его процветающим местом».