Двумя годами позже его отозвали оттуда и передали ему командование Фортом Принца Уэльского, комендантом которого он оставался вплоть до 1782 года, когда крепость была атакована французскими военными кораблями. У французов было четыреста матросов, а у Хирна — всего тридцать девять солдат и офицеров. Выбора не оставалось — пришлось сдаться. В качестве пленника его отвезли во Францию, а после выкупа он снова через год принял командование крепостью.

Последний раз он побывал в Англии в 1787 году, а в 1792-м умер от водянки — в возрасте сорока семи лет.