Джэксон вымахал высоким, ловким, голубоглазым, веснушчатым парнем с непослушными волосами и столь же неспокойным характером, готовым ввязаться в драку по любому поводу. «Джэксон никогда не уступит», — вспоминал его приятель, утверждавший, что у него хватало сил «повалить его три раза из четырех», и он тут же жаловался, «что Джэксон никогда не останется лежать на земле».

Когда в 1780 году революция дошла до Уоксхауза, к ней примкнули братья Джэксон. По возрасту лишь Хью годился в солдаты, и он был убит в сражении. Тринадцатилетний Эндрю стал конным ординарцем, рассыльным, но участвовал и в случайных схватках. После одной стычки он и шестнадцатилетний Роберт были взяты в плен. Когда Эндрю отказался подчиниться британскому офицеру, приказавшему почистить его сапоги, офицер ударил Джэксона саблей, до костей поранив его левую руку и порезав голову; для порядка офицер нанес удар и Роберту. Во время последовавшего за этим инцидентом сорокамильного перехода никто не ухаживал за ранеными братьями Джэксон, и в результате парни захворали оспой. К месту заточения пробилась их мать, Элизабет Джэксон, и убедила британского командующего отпустить больных сыновей на ее попечение. Во время долгого перехода домой оба парня, вымоченные дождем, впадали в бред. Роберт умер, а Эндрю уцелел благодаря своей невероятной (а позднее и легендарной) выносливости.

Имея на руках единственного оставшегося в живых сына, миссис Джэксон отправилась в гавань Чарлстона, где на борту британского корабля-тюрьмы лежали в лихорадке два кузена Джэксонов, нуждавшиеся в уходе. И позже Эндрю получил узелок с одеждой матери и записку, извещавшую его, что она похоронена вместе с другими жертвами чумы в безымянной могиле. «Я почувствовал себя совсем одиноким», — вспоминал позже Джэксон.

Для тех, кто помнил его в те годы, Эндрю Джэксон, вырвавшись из тисков одиночества, стал «буйным, подвижным, боевитым, игравшим на скачках, в карты, озорным парнем… вожаком хулиганов…». Но озорство Джэксона не было бесцельным, ибо он был крайне честолюбив. Вскоре после смерти матери он оказался в Солсбери, Северная Каролина, где стал изучать право. В 1788 году после завершения обучения вместе со своим другом Джоном Макнейри он отправился в Западный район Северной Каролины (ныне Теннесси). Макнейри был избран судьей верховного суда района, а Джэксон занял пост прокурора.

В Западный район можно было попасть, лишь проехав по индейской территории. На Кумберлендской дороге в ста восьмидесяти милях от освоенных районов находилось поселение Нашвилл, где поселенцы жили в блокгаузах, защищавших их от враждебно настроенных индейцев. Это был развивающийся район — идеальная арена для молодого, неопытного, но старательного прокурора.

Эндрю Джэксон поселился в блокгаузе вдовы Донельсон, дочь которой, Рейчэл Робардс, разошлась со своим мужем. Чувственная красота Рейчэл привлекала внимание многих мужчин, но слишком ревнивый Льюис Робардс не терпел, когда восхищались его женой. Спустя несколько месяцев после того, как Рейчэл ушла от него, он приехал в дом Донельсонов, пытаясь добиться примирения, хотя и питал подозрения в отношении Эндрю Джэксона. Когда Джэксон узнал об этом, он вызвал Робардса на дуэль; тот отказался, и Джэксон покинул блокгауз. После этого Робардс и Рейчэл вернулись в Кентукки. Однако в 1790 году миссис Донельсон сообщила Джэксону, что ее дочь вновь хочет оставить мужа. Джэксон поехал в Кентукки, чтобы забрать Рейчэл и сопроводить ее обратно в Кумберленд.