А. Н. Рыбаков (Аронов) родился 1 (14) января 1911 года в Чернигове в еврейской семье инженера Наума Борисовича Аронова и его жены Дины Абрамовны Рыбаковой.
С 1919 года жил в Москве, на Арбате, д. 51. Учился в бывшей Хвостовской гимназии в Кривоарбатском переулке. В этой же школе и в это же время учился Юрий Домбровский. Восьмой и девятый классы окончил в Московской опытно-показательной школе-коммуне (сокращенно МОПШКа) во 2-м Обыденском переулке на Остоженке. Школа возникла как коммуна комсомольцев, вернувшихся с фронтов гражданской войны.
По окончании школы работал на Дорогомиловском химическом заводе, грузчиком, потом шофёром.
В 1930 году поступил в Московский институт инженеров транспорта.
5 ноября 1933 года арестован и Особым совещанием коллегии ОГПУ осужден на три года ссылки по статье 58-10 (Контрреволюционная агитация и пропаганда). По окончании ссылки, не имея права жить в городах с паспортным режимом, скитался по России. Работал там, где не надо заполнять анкеты. С 1938 года по ноябрь 1941 года работал главным инженером Рязанского областного управления автотранспорта.
С ноября 1941 года по 1946 год служил в Советской армии в автомобильных частях. Участвовал в боях на различных фронтах, начиная от обороны Москвы и кончая штурмом Берлина. Последняя должность — начальник автослужбы 4-го Гвардейского Стрелкового корпуса, звание — гвардии инженер-майор. «За отличие в боях с немецко-фашистскими захватчиками» признан не имеющим судимости.
В 1960 году полностью реабилитирован.
А. Н. Рыбаков умер 23 декабря 1998 года в Нью-Йорке. Похоронен на Кунцевском кладбище в Москве.
Поэт, прозаик и эссеист Алексей Макушинский — сын Анатолия Рыбакова. Писательница Мария Рыбакова — внучка А. Н. Рыбаков
Анатолий Рыбаков был президентом советского ПЕН-центра (1989—1991), секретарём правления Союза писателей СССР (с 1991). Доктор философии Тель-Авивского университета.
С трудом из-за непривычности тематики пробившийся в советскую печать и сразу принесший Рыбакову огромную популярность роман Тяжелый песок (1978) повествует о жизни еврейской семьи в 1910-1940-х годах в одном из многонациональных городков Западной Украины, о яркой и всепреодолевающей любви, пронесенной через десятилетия, о трагедии "Холокоста" и мужестве Сопротивления. Это вершинное произведение писателя соединило все краски его художественной палитры, добавив к ним философичность, тягу к историческому анализу и мистическую символику (образ главной героини, прекрасной возлюбленной, затем жены и матери Рахили на последних страницах является как полуреальное олицетворение гнева и мести еврейского народа).
Основанный на личных переживаниях Рыбакова роман Дети Арбата (1987) и продолжающая его трилогия Тридцать пятый и другие годы (кн. 1, 1988; кн. 2 - Страх, 1990; кн. 3 - Прах и пепел, 1994) воссоздает судьбы поколения 1930-х годов, стремясь раскрыть механизм тоталитарной власти. Среди других произведений писателя - повесть Неизвестный солдат (1970) и автобиографический Роман-воспоминания (1997). Анатолий Рыбаков - лауреат Государственных премий СССР и РСФСР.