Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред – собака ведь тоже может увусить вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.

Расмотрим другую крайность – разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены – ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенного полезным, если у вас такие машины есть, а у врага – нет.

Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.

Разумы, действующие совместно

В эссе «Наши разумные инструменты» я упомянул о том, что может сложиться ситуация, когда роботы станут такими умными, что в конце концов нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение людей, подобная замена может оказаться очень даже полезной. С тех пор прошло время, и роботы начали занимать все более важное место в промышленности, и хотя они продолжают оставаться довольно тупыми (если говорить об уровне интеллектуального развития), они очень быстро развиваются.

В таком случае, пожалуй, нам следует еще раз взглянуть на возможность возникновения ситуации, когда роботы (или компьютеры, которые в действительности управляют роботами) нас заменят. Результат, разумеется, зависит от того, насколько разумны будут компьютеры и станут ли они настолько умнее нас, что наступит время, когда они будут относиться к нам как к домашним животным (в лучшим случае) или паразитам (в худшем).

Получается, что степень разумности – штука настолько простая, что ее можно измерить каким-нибудь прибором вроде линейки или градусника либо при помощи теста, а потом выразить цифрами.