Однако, чтобы достичь этого, нам придётся изобрести и освоить новые технологии «выражения намерений». Для этого нам следует вырваться из оков старых, пускай всё ещё эволюционирующих языков программирования, пригодных только для описания процессов. Это может оказаться куда сложнее, чем звучит: мы всего лишь хотим указывать, что должно получиться, используя привычные выразительные средства, но это сопряжено с серьёзными опасностями.

Первая опасность заключается в самообмане. Заманчиво говорить себе во время составления программы, или написания эссе, или практически любого иного занятия, что «я знаю, чего хочу, только не могу это достаточно чётко сформулировать». Однако эта концепция отражает чрезмерно упрощённое представление о себе, помещающее собственную личность куда-то в глубины собственного сознания в виде чистой незамутнённой сущности, обладающей чистыми и однозначными желаниями, намерениями и целями. Такой дофрейдистский образ служит оправданием наших частых проявлений амбивалентности; мы убеждаем себя, что уточнение наших намерений – это всего лишь вопрос приведения в порядок связей между нашими внешними и внутренними личностями. Проблема в том, что мы просто не устроены таким образом, как бы нам ни хотелось обратного.

С другой опасностью мы сталкиваемся, когда пытаемся избежать ответственности за понимание того, как именно наши желания будут исполнены. Давать слугам слишком большую свободу выбора всегда рискованно, программируем мы их или нет. Ведь чем шире спектр доступных им действий, ведущих, как мы думаем, к требуемым результатам, тем выше вероятность побочных эффектов. Мы можем просто не успеть вовремя понять, что наши цели неверно поняты, в точности как в классических историях о Фаусте, ученике волшебника или обезьяньей лапе У.У.Джекобса.

Но основная опасность исходит от жадных и ленивых руководителей, которые наконец-то смогут сделать последний шаг: разработать программы достижения целей, ориентированные на самостоятельный рост и усложнение, применяющие самообучение и эволюционные методы, которые станут дополнять и расширять их возможности. Это было бы чрезвычайно заманчиво, не только для усиления власти, но и просто ради облегчения человеческих усилий по осознанию и формулировке наших собственных желаний. Если бы сказочный джинн предложил вам исполнить три желания, не попросили бы вы первым делом: «Скажи мне, чего же я хочу больше всего?»

Проблема в том, что с настолько могущественными машинами достаточно малейшей случайности или небрежного проектирования, чтобы они поставили собственные цели прежде наших, пускай даже и с благими намерениями защитить нас от нас самих, как у Джека Уильямсона в романе «Со сложенными руками», или для нашей защиты от неожиданного врага, как в «Колоссе» Денниса Джонса, или потому что построенная нами машина, как ЭАЛ у Артура Кларка, сочтёт нас недостойными миссии, которую мы же на неё и возложили, или – как Почтарь у самого Винджа, который выводит сообщения на телетайп, потому что не может позволить себе тратить время на человекоподобную симуляцию – просто предпочтёт преследовать собственные цели.

А как же быть с последним и окончательным вопросом, поставленным в финале «Истинных Имён»? Возможно ли, что человек на самом деле построит себе второе, большее Я внутри машины? Достижимо ли такое?

Будь это так, подобные симулированные люди оказались бы во всех смыслах равны своим человеческим прототипам; стали бы они подлинными продолжениями этих реальных людей? Или только новыми, искусственными личностями, похожими на оригиналы только структурным сходством? Что если позволить симуляции стареющей Эритрины, неизмеримо усовершенствованной, жить в своём новом доме, более роскошном, чем оставленный ею Провиденс? Допустим, что она по-прежнему согласится разделить свою обитель с Роджером – не стоит лишать продолжение романтической линии – и две эти грандиозные сущности полюбят друг друга? Спрашивается: что эти сверхсущества смогут разделить со своими прототипами? Чтобы ответить на этот вопрос, нужно сначала понять, кем же эти личности были прежде.