Жан Лафит родился в семье эмигрантов из Испании. Младший из восьми детей, он практически не помнил своей матери. Та умерла, когда ему не исполнилось и трех лет. Все вопросы, связанные с воспитанием многочисленных детей мадам Лафит, взяла на себя бабушка Жана. Испанка еврейского происхождения, она имела очень прогрессивные взгляды на воспитание.

Они жили в небольшом поместье близ столицы Гаити Порт-о-Пренс. Отец занимался продажей изделий из кожи. Бизнес шел достаточно хорошо, поэтому о проблемах с деньгами в семье не знали. У Жана было трое братьев и четыре сестры. Впрочем, по-настоящему близок он был только с Пьером, который был старше Жана на два с половиной года. Все остальные братья и сестры были старше на слишком большой срок, чтобы поддерживать дружеские отношения.

Пьер и Жан росли непоседливыми и любознательными детьми. Учиться оба любили, но и подшутить над приходящими преподавателями были горазды. Главными героями мальчишек тех лет были знаменитый король Гаити Анри Кристоф и чернокожий лидер гаитянской революции Туссен-Лувертюр.

Именно пример Туссена пробудил в Жане и Пьере желание учиться. Туссен был наглядным примером того, как чернокожий человек, коих в те годы не очень-то уважали, способен возглавить революцию за права рабов.

Когда Жану было четырнадцать, а его брату Пьеру соответственно шестнадцать лет, их отправили на остров Мартиника в частный лицей. Здесь они получили глубокие познания в области гуманитарных наук. По окончании школы они решили продолжить обучение в университете Сен-Круа, где начали изучать философию.

«Мой брат Пьер и я грезили о торжестве свободной Испанской Америки. Вдобавок ко всему мой брат Александр стал моряком, а затем и капитаном торгового судна. Он рассказывал нам о своих недавних путешествиях на Кубу, в Мексику и Южную Америку. Рассказывал о странных обычаях туземцев. Все эти истории настолько очаровали нас, что вскоре мы и сами захотели стать моряками. Вдобавок ко всему прочему, мы были еще достаточно молоды для начала морской карьеры» (Журнал Жана Лафита).

Забросив обучение в университете, они с Пьером твердо вознамерились стать моряками. Брат Александр их поддержал, а вот бабушка была в ужасе от открывающихся перспектив. Тем не менее остановить Жана и Пьера уже ничто не могло. Вместе со своим дядей, у которого было небольшое двухмачтовое судно и каперское свидетельство, они отправились в свое первое плавание.

Привыкнуть к образу жизни моряков оказалось непросто, но Жан и Пьер отступать были не намерены. День за днем они наряду с обычными моряками драили палубу и держали вахту. Увидев такую настойчивость, их дядя вскоре растаял и стал все чаще делать племянникам поблажки.

Через пару дней они увидели на горизонте небольшое испанское судно. Оно явно шло с Кубы к берегам Испании. То есть было доверху набито товаром. Каперское свидетельство было чем-то вроде морской индульгенции, разрешающей Лафитам грабить все испанские суда. Так почему бы и не воспользоваться этой возможностью? В конце концов быть пиратом куда интереснее, чем быть обычным моряком. Дядя предложение поддержал. Он и сам собирался поживиться товарами этого небольшого испанского суденышка. Поймав попутный ветер, они очень быстро настигли торговое судно.