— Человек, придумавший самый продвинутый ИИ, будет контролировать весь мир, поскольку сомневаться совсем не приходится, что судьба самого человечества в конечном итоге станет полностью зависеть от супер интеллекта. Они изобретают гораздо лучше. Например, взять хотя бы лекарства от всех болезней в мире, но и умирание из-за возраста, а также колонизацию космоса, самовоспроизводящихся наноботов, обучающие программы, которым можно обучать человека, новые способы выращивания пищи, используя при этом минимум ресурсов. И еще Яма имеет доступ к огромному количеству данных, что даже может предсказать и остановить преступления, которые еще не совершены. Яма может сделать буквально все, что ты только можешь себе вообразить. Он способен реализовывать миллиарды решений о покупке и продаже на фондовом рынке за миллисекунды. Меньше, чем через год я достигну своей цели иметь триллион стерлингов.

30.

Торн

Ее начинает бить дрожь, и она обхватывает себя руками.

— Он не такой огромный. Каким образом он способен делать все то, что ты говоришь?

— ИИ главным образом действуют через нейросети. Их интеллект существует благодаря взаимодействию с другими ИИ. Они, как капли ртути на стеклянном столе всегда найдут свой путь, чтобы соединиться вместе. Если ИИ нужно больше энергии для решения задачи, он пойдет туда, где будет больше энергии, если ему потребуется больше программ, он обратится туда, откуда он сможет их получить. ИИ создает спонтанные сети, которые сами разрушаются, когда они становятся ему не нужны.

Она пристально смотрит на меня.

— Может ли их искусственный разум обернуться против человечества?

— Возможно.

— Тогда, какого черта, Торн? — в ужасе шепчет она.

— Яма запрограммирован не создавать страдания другим. Первоначальные и главные протоколы его спрограммированы так, что он должен помогать и быть другом всему человечеству, но он также не является ни добром, ни злом. Он просто действует самым эффективным образом.

— Тогда почему ты сказал «возможно»?

Я вздыхаю.

— Потому что существует возможность, что люди могут встать препятствием на пути ИИ.

— Объясни, прошу тебя.

— Все будет зависеть от того, как ИИ будет интерпретировать свою цель. Как человек, я могу запрограммировать его на благородную цель — заставить всех людей улыбаться. Человек будет шутить или совершать что-то хорошее для человечества. Но сверх интеллектуальное существо может решить, что самый эффективный и действенный способ достижения этой цели — установить контроль над миром и просто втыкать электроды в лицевые мышцы или мозг людей на планете, вызывая тем самым постоянно сияющие улыбки.

— Господи, Торн. Скажи мне что-нибудь, что не напугает меня до смерти, прошу тебя.

Честно говоря, я хмурюсь от ее слов.

— Существуют меры безопасности, которые я написал для Яма, чтобы он не причинял ущерб людям.

— После всего, что ты мне только что рассказал, ты полностью уверен, что сможешь контролировать этого... демона, которого создал? По твоему же признанию, он в миллионы раз умнее тебя.

— Если мы выпускаем генетически модифицированных комаров в дикую природу, мы тоже рискуем. Прогресс всегда сопровождается риском.

— Хотя бы скажи мне, что когда все зайдет слишком далеко и станет действительно плохо, мы сможем его отключить.

Торн начинает мяться с ноги на ногу.

— К тому времени, когда начнется эта стадия, с таким же успехом можно будет попросить шимпанзе щелкнуть выключателями, чтобы остановить нас и не уничтожать их естественную среду обитания.