Когда в августе 1660 года в Пойнт-Кагуэй пришли известия о реставрации монархии и возведении на трон Карла II (по-английски — Чарлза II), полковник Дойли тут же переименовал Форт-Кромвель в Форт-Чарлз (первое упоминание нового названия было зафиксировано в его журнале в ноябре).

В сентябре 1660 года состояние дел в Пойнт-Кагуэе было кратко описано капитаном Томасом Линчем:

«[Город] … расположен на крайнем конце мыса, в нем насчитывается около 200 домов, все они построены англичанами, с несколькими общественными домами и тем, в котором постоянно проживает генерал-лейтенант, а также домами, где хранятся все товары для флота и армии.

В этом городе проживают все купцы, иностранцы и моряки, поскольку он является средоточием торговли и наиболее здоровым местом на острове; здесь находят убежище все военные корабли, которые посещают данное место, и из-за этого домá здесь такие дорогие, что обычный дом в этом городе ежегодно обходится в 40 или 60 ф. ст.

На крайнем углу мыса, со стороны моря, имеется круглая башня, построенная из извести и камня, в которой установлены 15 пушек, включая полные пушки, полупушки и полукулеврины из бронзы. Возле этой башни находится здание прочного и правильного форта… способного вместить до 60 орудий. Но он возведен лишь в виде площадки и только со стороны моря, хотя обошелся в 2000 ф. ст. Примерно в миле отсюда в направлении земли намечено строительство форта и оборонительной линии, тянущейся от гавани до моря, чтобы защищать город от любого покушения со стороны суши…».

Форт-Кромвелю, переименованному в Форт-Чарлз, уделялось особенно большое внимание в 1660-е годы. В ноябре 1662 года около сорока человек были наняты для завершения площадок вокруг башни, и к концу декабря они сделали «площадку в виде полумесяца, повернутую к морю», и установили на ней одно орудие и три полупушки. В начале следующего года военный корабль «Грейтгест» доставил лафеты и снаряжение для пушек в форте. К 1664 году первоначальный план форта — с башней в центре — был, видимо, заменен другим: с полубастионами на востоке и западе и разновидностью реданта на северной стороне. Между 1664 и 1666 годами работы велись по этой обновленной схеме, и к 1667 году они были полностью завершены. Центральная башня с тех пор использовалась лишь как склад, а около 36 пушек были установлены на валах, окружавших ее.

На другой стороне города палисады около 1665 года заменили каменной стеной — с бойницами и центральной башней, вооруженной шестью пушками. Согласно одному отчету, эта башня сначала называлась Лэндвард-форт. Завершение возведения этой линии способствовало тому, что Порт-Ройял был надежно защищен как с востока, так и с запада.

Нетрудно заметить, что первыми жителями Пойнт-Кагуэя были солдаты, моряки и гражданские лица, занятые управлением делами. Пока суда стояли на якоре в гавани, команды отдыхали в городе и готовились к будущим походам. На берег выгружали грузы, привезенные из Англии, с Малых Антильских островов или из североамериканских колоний. Многие военные суда привозили с собой оружие, амуницию и порох, которые тут же забирали на склады. Питьевую воду для кораблей доставляли шлюпками из Рока, расположенного в нескольких сотнях ярдов к западу, — теперь там находится Рокфорт.

Выше уже отмечалось, что флибустьеры стали активно использовать Порт-Кагуэй в качестве своей базы с 1657 года, когда им были выданы первые каперские свидетельства против испанцев. Генерал-майор Уильям Брейн в письме, отправленном из Кагуэя в апреле 1657 года, упоминает о голландском флибустьере Герритсзооне, у которого он купил по дешевке (всего за 40 ф. ст.) приз водоизмещением 60 т. Желая отблагодарить голландца за такую щедрость, Брейн позволил ему «транспортировать 20 тонн кубинского табака» в Англию. Табак, безусловно, был захвачен у испанцев. Герритсзоон доставил его в метрополию на судне «Саксес» (командир — Захарий Браун), но на таможне весь груз был тут же конфискован.