Родился в Пуле (графство Дорсет). Когда ему было пять лет, его отец попал в тюрьму за мошенничество, что, по словам Ле Карре, повлияло на его склонность к детективам. Учился в школе сначала в Беркшире, в школе Сэйнт Андрю, потом в Дорсете. В 1948 году Ле Карре уехал в Швейцарию, где учился в Бернском университете, затем проходил военную службу в Австрии в составе Британского разведывательного корпуса. После военной службы учился в Оксфорде, который закончил в 1956 году. Там он сотрудничал с контрразведкой МИ-5. Два года Ле Карре преподавал французский и немецкий языки в Итонском колледже, а в 1958 г. начал работу в качестве штатного сотрудника МИ-5. В 1959 году он перешёл на работу в разведслужбу МИ-6, где работал последующие пять лет под дипломатическим прикрытием в ФРГ. Вначале он занимал должность второго секретаря посольства Великобритании в Западном Берлине, затем — консула в Гамбурге. В 1954 году он женился на Анне Веронике Шарп, развелся в 1971 году. В 1972 году он женился на Валерии Джейн Юстас. У писателя 4 сына (Симон, Стивен и Тимоти первого брака и Николас — от второго) и 12 внуков. После выхода в отставку он жил на Греческих островах, затем вернулся в Англию.
Первые литературные опыты начал делать еще в конце сороковых годов. В 1948 году даже выиграл школьный приз за лучшее английское стихотворение. В шпионских произведениях Ле Карре обходится без супергероев, без романтической окраски профессии секретного агента. Он рисует напряженный, но тусклый будничный мир работы спецслужб, мощное противостояние разведок, но без перестрелок и затянувшихся погонь. Самого Ле Карре отличает внимание не только к сюжету, но и к мельчайшим деталям характера героев, обстановки, общей атмосферы и т. п. Ле Карре опубликовал свой первый роман «Звонок покойнику» в 1961 году, работая на государственной службе. В связи с этим был вынужден взять псевдоним.
Бестселлером стал третья книга — «Шпион, пришедший с холода», после которого Ле Карре уволился из Министерства иностранных дел и посвятил себя литературному творчеству.
Побывал в России впервые в 1987 году. Работая над книгой «Сингл и Сингл», в 1998 году дважды посетил Грузию.