Уже отмечалось отношение Сахаровского к жене: он был любящим, внимательным, заботливым супругом. С сыновьями отношения были отцовские, но без сюсюканья. Оба сына отслужили срочную службу в армии. Александр Михайлович считал, что это необходимо для мужчины. Старший сын Валерий служил в войсках связи. Во время срочной службы получил серьезную травму позвоночника, но остался в армии. У него, как и у деда, были золотые руки, и он связал свою дальнейшую судьбу с оперативной техникой. Младший сын Игорь после армии окончил институт, сделал успешную карьеру, но никогда не использовал положение отца для продвижения по служебной лестнице.

Мало кто знает, что Александр Михайлович и Вера Алексеевна с детских лет воспитывали своего племянника Диму, родители которого погибли в автокатастрофе, а сам он получил травму. Дмитрий тоже окончил институт и продолжил работать на благо родины, безопасность которой обеспечивала в том числе и Служба, которую длительное время возглавлял его приемный отец.

Сахаровский гордился своими сыновьями. Георгий Александрович Орлов рассказывал случай, когда он и начальник секретариата ПГУ навещали Александра Михайловича в больнице на улице Грановского в 1968 году по поводу его дня рождения:

«Палата, где размещался Сахаровский, была отдельной, но небольшой, без каких-либо особых удобств и излишеств. Мы поздравили Александра Михайловича с днем рождения, вручили букет цветов и какой-то немудреный подарок. В завязавшемся разговоре стали выяснять некоторые вопросы.

Мы справились о самочувствии больного, он — о новостях в главке. Затем разговор коснулся того, кто его навестил из родственников. Сахаровский перечислил своих близких, в том числе и детей. Когда о них зашла речь, то сразу было видно, что разговор о детях приятен отцу. Александр Михайлович, как всегда сдержанно, но все же отметил, что он доволен ими, их отношением к жизни и к работе».

Следует отметить мужественное поведение Александра Михайловича во время болезни. Как вспоминал его племянник Юрий Александрович, навещавший Сахаровского в больнице в том же 1968 году, он, только что оправившийся после инфаркта, говорил: «Надо пойти навестить Константина (Рокоссовского), плохо ему сейчас». (Маршал Советского Союза Константин Константинович Рокоссовский лежал в одной из соседних палат, скончался 3 августа 1968 года.)

А. М. Сахаровский старался много читать. По воспоминаниям родственников, в больнице, например, он читал книгу Мартти Ларни «Четвертый позвонок». Он собрал хорошую домашнюю библиотеку, в которой насчитывалось более трех тысяч книг. Библиотеку начал собирать еще до войны и продолжал ее пополнять до последних дней. На многих книгах имеются дарственные надписи авторов. Так, известная разведчица и писательница Зоя Воскресенская-Рыбкина на своем трехтомнике написала: «Дорогому другу и самому уважаемому моему начальнику, талантливому воспитателю коммунистов-разведчиков, с чувством огромной признательности». И дата: «Январь 1976 года».

Были, конечно, у Александра Михайловича и переживания, связанные с взаимоотношением в коллективе. Ведь коллектив сотрудников разведки представляет собой достаточно сложный сплав людей, которые в целом являются единомышленниками, но у каждого свои достоинства и недостатки. Некоторые недостатки маскируют так, что в обычных условиях их суть видится не вдруг, не сразу и для распознания человека требуется длительное время. Часто недостатки проявляются лишь в конкретных условиях. И Сахаровскому случалось ошибаться в людях, которым он безоговорочно верил.

Однако чаще всего умение разбираться в людях, основанное на знании и опыте, помогало правильно управлять кадрами.