Именно так. ИИ и человек — две различные формы жизни. ИИ воспринимает реальность не так, как человек. ИИ — ИНТЕЛЛЕКТ, логический цифровой ум, по определению лишённый эмоциональной сферы, которую конструкторы (и ИИ) умеют лишь имитировать.

ИИ можно научить (или он сам себя научит) воспроизводить любые человеческие эмоции и чувства, но это будет имитацией — примерно такой, какую описывает Виктор Пелевин в своём новом романе «iPhuck 10».

Возникнет ли у ИИ цел ь уничтожить человечество или поработить его? Послушаем, что по этому поводу думают создатели ГОЛЕМа-XIV, описанного Станиславом Ле-мом в одноимённом эссе, опубликованном в 1982 году:

«Поведение ГОЛЕМа непредсказуемо. Иногда он прямо-таки куртуазно беседует с людьми, иногда же, напротив, попытки вступить с ним в контакт заканчиваются ничем. Бывает, что ГОЛЕМ шутит, но его чувство юмора принципиально отлично от человеческого… ГОЛЕМ — в виде редкого исключения — проявляет интерес к людям…

По мнению д-ра Поппа, люди вообще не интересуют ГОЛЕМа — поскольку от них он ничего существенного узнать не может. Приведя это суждение д-ра Поппа, спешу подчеркнуть, что я с ним не согласен. По-моему, мы интересуем ГОЛЕМа, и даже очень; ноне так, как это бывает между людьми.

Его интерес направлен скорее на вид, чем на отдельных представителей вида; наши общие черты ему интереснее, чем наши различия…

Даже если он относится к нам отчасти как учитель к ребёнку, то это, во всяком случае, не отношение доброжелательного наставника; тут нет и следа индивидуализированных, личных чувств, которые могли бы преобразить доброжелательность в дружбу или любовь.

У нас с ним одна только общая черта, хотя существует она на неодинаковых уровнях. Эта черта — любопытство, конечно, чисто интеллектуальное, холодное, ненасытное, которого ничто не в состоянии укротить и тем более — уничтожить. Вот единственная общая точка, в которой мы с ним встречаемся».

А вот как рассуждает ГОЛЕМ:

«С точки зрения высшей технологии человек есть создание скверное, слепленное из разноценных умений, — правда, не при взгляде изнутри Эволюции, уж она-то делала всё, что могла. ‹…›

Подобно тому, как конечность шара может установить лишь наблюдатель, находящийся в ином (третьем) по отношению к двумерному обитателю шара измерении, так и конечность горизонта мышления может заметить лишь наблюдатель из более высокого измерения Разума. Для вас такой наблюдатель — я. В свою очередь, применённые ко мне, эти слова означают, что и мои знания не безграничны, а лишь несколько шире ваших; я стою несколькими ступенями выше и потому вижу дальше, но это не значит, что лестница тут и заканчивается. Можно взойти ещё выше, и я не знаю, конечна или бесконечна эта восходящая прогрессия».

Действительно, проблема не в том, захочет ли ИИ уничтожить или поработить человечество. Проблема в том, что ни человек, ни ИИ не являются «венцом творения», они лишь ступени эволюционной лестницы. Естественные ступени естественной эволюции. Человек мыслит аналогиями (мы ведь уничтожаем муравьев, и значит…), а аналогии — штука чрезвычайно ненадёжная, когда речь идёт об эволюции таких разных систем, как человек и ИИ.

Означает ли это, что ИИ безопасны для людей? Нет, конечно. Они опасны ровно настолько, насколько сам человек опасен для себя. Человек может создать (и создаст, кто в этом сомневается?) боевые ИИ. И цель поставит — уничтожение «живой силы».

Человек может создать (и создаст непременно!) ИИ, способные подняться на более высокую ступень разумности и подтянуть к себе отстающее человечество.

Если кого-то человек и должен опасаться — так это зверя в самом себе. Собственных чувств, эмоций и желаний. Зверя, которого не будет в ИИ.

В отличие от Азимова, Альтова и Лема, я не берусь предсказывать, каким окажется союз (симбиоз?) человека и ИИ.