Элиезер Шломо Юдковский — американский специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание Дружественного ИИ. В неакадемических кругах больше известен как автор фанфика «Гарри Поттер и методы рационального мышления» под эгидой Less Wrong.

Меня всегда удивляли умные люди, верящие в вещи, кажущиеся мне абсурдными. К примеру, генетик и директор Национальных институтов здоровья Фрэнсис Коллинс верит, что Иисус восстал из мёртвых. Теоретик ИИ Элиезер Юдковский верит, что машины… Но лучше я дам слово ему самому. В 2008 я брал у него интервью на Bloggingheads.tv, но ничего хорошего из этого не получилось, поскольку я решил, что он был последователем гуру сингулярности Рэя Курцвейла. Но Юдковский ни за кем не следовал и никогда не учился в колледже. Он упрямый и оригинальный теоретик интеллекта, как человеческого, так и искусственного. Его работы (к примеру, эссе, помогшее мне понять, или давшее иллюзию понимания, теоремы Байеса) источает высокомерие самоучки, острые грани которого не были зашлифованы формальным образованием – но в этом есть часть его очарования. Даже когда он раздражает вас, Юдковский забавен, свеж, провокационен. Для подробностей его биографии смотрите его личный сайт или сайт Института исследования машинного интеллекта, в основании которого он участвовал. И почитайте это интервью с бонусом в виде комментариев от его жены Брийены.

Хорган: Когда на вечеринке вас спрашивают, чем вы занимаетесь, что вы отвечаете?

Юдковский: Зависит от мероприятия. «Я специалист по теории принятия решений», или «Сооснователь Института исследования машинного интеллекта», или, если это вечеринка другого типа, рассказываю о моих художественных произведениях.

Х: Какой ваш любимый фильм про ИИ и почему?

Ю: ИИ в фильмах стандартно ужасен. Ex Machina подошёл настолько близко к исключению из этого правила, насколько этого вообще можно ожидать.

Х: Полезность колледжа переоценена?

Ю: Я бы удивился, если бы его полезность была недооценена, учитывая социальные требования к тому, чтобы окончить его. Насколько я знаю, нет причин не верить экономистам, считающим, что колледж превратился в некий «престижный товар», и что попытки увеличить объём студенческих займов просто увеличили стоимость колледжа и бремя студенческих долгов.

Х: Почему вы пишете художественные рассказы?

Ю: Если перефразировать комиксы Wondermark: «Сначала я пытался этого не делать, но это не сработало».

Кроме того, серьёзная литература передаёт знания, а художественная – опыт. Если вы хотите понять доказательства формулы Байеса, я могу использовать диаграммы. Если вы хотите почувствовать, как это – использовать логику Байеса, мне надо написать историю, в которой это делает персонаж.

Х: Религиозны вы в каком-нибудь смысле?

Ю: Нет. Когда вы делаете ошибку, вам нужно избежать искушения уйти в защиту, попытаться найти какую-то точку зрения, с которой вы хотя бы немножечко правы. Гораздо мудрее сказать: «Ой», признать, что вы не были даже немножечко правы, проглотить горькую пилюлю целиком и продолжать жить. Именно так человечество должно относиться к религии.

Х: Если бы вы стали «Королём мира», что было бы наверху в вашем списке дел?

Ю: Я однажды писал: «Проверка на либертарианца работает так: представьте, что вы получили власть; о чём вы подумаете в первую очередь – о законах, которые примете, или о законах, которые отмените?» Я не на 100% либертарианец, поскольку не все мои хотелки выражаются в отмене законов и ослаблении ограничений. Но я представляю о том, как я бы попытался сделать мир, в котором какой-нибудь безработный человек мог бы предложить вам подвезти вас до работы, получить $5 за 20 минут езды, и с ним из-за этого ничего плохого не случилось бы. Ему не нужно было бы лишаться страховки по безработице, регистрировать разрешение на ведение бизнеса, терять медстраховку, проходить аудит, просить юриста удостоверить соответствие его работы правилам Управления по охране труда, и т.п. У него просто прибавилось бы $5.

Я бы попытался вернуться к состоянию, в котором нанять работника было бы так же просто, как в 1900-м году. Возможно, сейчас есть смысл в неких мерах безопасности, но я бы попытался создать такую безопасность, которая не сдерживает человека и не плодит бумаг в результате простого возвращения человека в экономику.

Я бы попытался сделать всё то, о чём давно уже кричат умные экономисты, и чего не делает ни одно государство. Заменить налоги на инвестирование и прибыль налогами на потребление и недвижимость. Заменить минимальную оплату труда отрицательными налогами на зарплату. Установить для центробанков политику таргетирования номинального ВВП и перестать поддерживать структуры, «слишком большие, чтобы разориться». Требовать, чтобы во время патентных судебных разбирательств проигравшая в суде сторона оплачивала судебные издержки [следуя т.н. английскому правилу – в отличие от американских законов, по которым каждая из сторон по умолчанию занимается своими издержками сама – прим. перев.] и вернуть длительность авторских прав к 28 годам. Устранить препятствия для строительства домов. Скопировать медстраховку у Сингапура. Электронное правительство у Эстонии. Заменить комитеты и сложные процессы принятия решений конкретными индивидуумами, принимающими публично задокументированные решения, и несущими за это ответственность. Проводить контролируемые эксперименты с различными вариантами управления странами и принимать во внимание их результаты. Я могу часами продолжать список.

Всё это может не иметь значения через две сотни миллионов лет. Но номинальные активы, полученные в результате экономического бума, могут сослужить хорошую службу, пока я пытаюсь выяснить, что же мы будем делать с искусственным интеллектом. Очевидная вещь – Манхэттенский проект где-нибудь на острове, с оплатой на основе соревнования между крупнейшими хедж-фондами, в котором люди смогут исследовать проблему обобщённого искусственного интеллекта без того, чтобы публикация результатов их работы автоматически приближала бы конец света. И если только мы не примем, что у меня есть волшебные способности или принципиально несвергаемый режим, я не вижу, как любой закон, который я бы принял, задержал бы приближение ИИ достаточно сильно на планете, где компьютеры распространены повсеместно.

Но всё это всё равно можно считать невозможным мысленным экспериментом и в реальной жизни вероятность осуществления такого эксперимента нулевая.

Х: Что такого хорошего есть в теореме Байеса?

Ю: Ну, например, она очень глубока. Поэтому на такой вопрос сложно ответить кратко.

Я мог бы ответить, что теорему Байеса можно назвать вторым законом термодинамики для познания. Если вы сделали вывод о том, что вероятность некоего предположения составляет 99%, будь то наличие молока в супермаркете или антропогенная причина глобального потепления, значит, вы обладаете комбинацией из достаточно хороших априорных вероятностей и достаточно надёжных доказательств. Это не требование нормативов, это закон. Точно так же, как автомобиль не может ехать, не рассеивая энтропию, вы не сможете получить хороший образ мира, не выполняя процесс, в котором где-то внутри существует байесовская структура, даже если вероятности не используются в процессе непосредственно.

Лично я думаю, что главное, что может предложить нам Байес – это существование правил, железных законов, определяющих, работает ли способ размышления для разметки реальности. Мормонам рассказывают, что они узнают истинность Книги мормонов благодаря ощущению жжения в сердце. Консервативно примем априорную вероятность Книги мормонов как один к миллиарду. Затем оценим вероятность того, что Книга мормонов не истинна, и кто-либо испытал ощущения жжения в сердце после того, как ему сказали, что этого нужно ожидать. Если вы понимаете формулу Байеса, мы сразу же поймёте, что малая вероятность доказательства несоизмерима с малой вероятностью гипотезы, которую пытаются доказать с его помощью. Не нужно даже придумывать конкретные цифры, чтобы понять, что они не сходятся – как обнаружил Филип Тетлок в своём исследовании "сверхпредсказателей", они часто знали формулу Байеса, но редко давали определённые цифры. В каком-то смысле вас тяжелее обмануть, если вы поймёте, что есть некая математика, при помощи которой можно точно определить силу доказательства и понять, достаточно ли его, чтобы преодолеть малую вероятность гипотезы. Нельзя просто придумывать что-нибудь и верить в это, потому что это так не работает.

Х: Впечатляет ли вас гипотеза Байесовского мозга?

Ю: Я думаю, что некоторые люди, спорящие на эту тему, говорят о разных вещах. Спрашивать, является ли мозг байесовским алгоритмом, это всё равно, что спрашивать, работает ли Honda Accord на тепловом двигателе Карно. Если один человек говорит: «Каждый автомобиль – это термодинамический процесс, требующий топлива и рассеивающий паразитное тепло», а другой человек слышит: «Если построить диаграмму цикла Карно и показать её механику, он должен согласиться с тем, что она похожа на внутренности Honda Accord», тогда ярые споры неизбежны.

Некоторые люди очень обрадуются, вскрыв двигатель внутреннего сгорания, обнаружив в нём цилиндры и заявив: «Уверен, что они преобразовывают тепло в давление и помогают двигать автомобиль вперёд!». И они будут правы, но другие люди скажут: «Вы фокусируетесь на единственном компоненте гораздо большего набора частей автомобиля. Каталитический конвертер тоже очень важен, а его нет на ваших диаграммах цикла Карно. А иногда у нас работает кондиционер воздуха, работающий строго противоположно тому, как по вашим словам работает тепловой двигатель».

Не думаю, что будет удивительно, если я скажу, что люди, свысока говорящие: «Вы явно незнакомы с современными автомобилями; вам нужен целый набор различных методов, чтобы построить мотор, типа свечей и каталитических конверторов, а не только эти ваши термодинамические процессы», упускают ключевой уровень абстракции.

Но если вы хотите знать, можно ли считать мозг буквально байесовским, а не устройством, совершающим познавательную работу, чью природу мы можем понять при помощи байесовских методов, то я могу ответить на ваш вопрос: «Нет, конечно». В этом «двигателе» возможно и есть несколько байесовских «цилиндров», но очень многое там будет выглядеть так же странно, как ремни безопасности и кондиционер воздуха. Но эти дополнения не изменят того факта, что для правильного определения яблока на основе сенсорных доказательств нужно сделать нечто, что по сути можно интерпретировать, как результат индукции, способной понять концепцию яблока и обновляться на основе доказательств, отличающих яблоки от не-яблок.

Х: Можно ли быть слишком рациональным?

Ю: Можно попасть в т.н. «Долину плохой рациональности». Если до этого вы были нерациональны в нескольких вещах, балансировавших друг друга, тогда если вы станете рациональным, вам может стать хуже, чем было раньше. Чем больше вы становитесь рациональным, тем хуже вам может становиться, если вы неверно выберете первоначальное направление для применения ваших навыков.

Но я бы не рекомендовал слишком сильно заботиться о такой возможности. По-моему, люди, которые рассказывают о том, как можно хитроумно быть нерациональным, это придурки. Сложно придумать реалистичную, не притянутую за уши жизненную ситуацию, в которой можно решить быть иррациональным, и исход которой вам ещё неизвестен. В реальной жизни лучше говорить себе правду и не умничать.

Возможно, что идеальный представитель байесовского мышления несовместим с интересной и полной развлечений жизнью. Но это явно не такая большая проблема, как наша склонность к самоуничтожению.

Х: Как ваша точка зрения на сингулярность отличается от мнения Курцвейла?

Ю:
• Я не думаю, что к ИИ можно применять закон Мура. ИИ – проблема программная.
• Не думаю, что первый сверхчеловеческий интеллект появится от слияния машин с людьми. Уже сто лет прошло с появления автомобилей, а мы только сейчас пробуем сделать экзоскелет для лошади, и обычная машина всё равно быстрее.
• Не думаю, что первый сильный ИИ будет основан на алгоритмах из нейробиологии, так же как самолёты не были основаны на птицах.
• Не думаю, что слияние нано-, инфо- и биотехнологий возможно, неизбежно, хорошо определено или нужно.
• Думаю, что с 1930 по 1970 год изменений было больше, чем с 1970 по 2010.
• Думаю, что в развитых странах продуктивность стагнирует.
• Думаю, экстраполяция закона Мура на технологический прогресс, якобы предсказывающая всё, что будет после появления ИИ умнее человека, очень странная вещь. ИИ умнее человека рушит все ваши графики.
• Некоторые аналитики, к примеру, Иллка Туоми, считают, что закон Мура сломался в начале 2000-х. Не уверен, что могу возразить.
• Единственный технологический порог, интересующий меня, находится там, где ИИ обретает способность самоулучшаться. У нас нет графика, идущего к этому порогу, и непонятно, каков он будет (хотя он не должен сильно превышать уровень человека, поскольку человек разбирается в информатике), так что его наступление нельзя предсказать.
• Не думаю, что результат такого прогресса будет по-умолчанию хорошим. Думаю, его можно сделать хорошим, но над этим нужно будет серьёзно поработать, а ключевые фигуры в этом не заинтересованы. Говорить людям, что мы находимся на естественной траектории к великим и чудесным временам, будет ложью.
• Думаю, что «сингулярность» стало словом-чемоданом со слишком большим набором несовместимых значений и подробностей внутри, поэтому я перестал его использовать.

Х: Есть ли у вас вероятность стать сверхинтеллектуальным киборгом?

Ю: Закон конъюнкции вероятностей говорит, что P(A&B) <= P(A). Вероятность одновременного наступления событий A и В меньше, чем вероятность наступления одного события А. В экспериментах, в которых люди считают, что P(A&B) > P(A) для двух событий А и В, проявляется "ошибка конъюнкции" – к примеру, в 1982 году эксперты из Международного конгресса предсказаний назначили большую вероятность событию «Россия вторгается в Польшу и дипломатические связи с СССР распадаются», чем вероятность отдельного события «распада дипломатических связей с СССР», назначенная другой группой. Точно так же другая группа назначила большую вероятность событию «Землетрясение в Калифорнии приводит к наводнению, влекущему тысячи жертв», чем другая – вероятность событию «Где-то в Северной Америке происходит наводнение с тысячами жертв». Хотя внесение дополнительных деталей в историю однозначно делает её менее вероятной, оно делает её более правдоподобной. Для меня понимание этого факта, это как "мост ослов" для серьёзного футуризма – разница между тем, что вы тщательно взвешиваете каждое отдельное предположение, и выясняете, можете ли вы поддержать это уточнение независимо от всех остальных, и тем, что вы просто сочиняете чудесную и яркую историю.

Это всё я говорю в контексте ответа на вопрос: «Зачем вы приплетаете к этому такое уточнение, как киборг? Я не хочу быть киборгом». Нужно очень осторожно приплетать дополнительные детали к утверждениям.

Х: Есть ли у вас шанс на бессмертие?

Ю: Буквальное? Буквального бессмертия трудно достичь. Чтобы жить значительно дольше, чем несколько триллионов лет, нужно пересмотреть ожидаемую судьбу расширяющейся Вселенной. Чтобы жить дольше, чем гуголплекс, нужно, чтобы мы ошиблись по поводу основ физических законов, а не просто в деталях.

Даже если некоторые из необычных рассуждений окажутся правдой и наша Вселенная может порождать дочерние вселенные, это не даст нам бессмертия. Чтобы жить гораздо больше гуголплекса лет и не повторяться, вам нужны будут вычислительные машины с количеством элементов больше, чем гугол, а такая машина не поместится в сферу Хаббла.

И гуголплекс – это не бесконечность. Перефразируя Мартина Гарднера, число Грэма всё ещё довольно мало, поскольку большая часть конечных чисел гораздо больше его. Если хотите, чтобы вам снесло крышу, почитайте про быстрорастущие иерархии, и бесконечность всё равно будет дольше. Только очень странные и пугающие антропные теории позволят вам жить достаточно долго, чтобы наблюдать за остановкой самой долгоработающей машиной Тьюринга с сотней состояний.

Впрочем, не думаю, что с эмоциональной точки зрения мне захочется жить достаточно долго, чтобы узреть сотый номер в игре "охота на бобра-работягу". Я могу как-то сопереживать себе самому, прожившему сто лет с этого момента. Тот будущий я сможет сопереживать будущему себе ещё через сто лет. И возможно где-то в этой последовательности будет тот, кто столкнётся с перспективой прекращения своего существования, и он может сильно загрустить по этому поводу. Но я не уверен, что я могу представить себе этого человека. «Я хочу прожить ещё день. Завтра я тоже буду хотеть прожить ещё один день. Следовательно, я хочу жить вечно, доказано по индукции положительных целых чисел». Даже моё желание долгой жизни в физически возможной вселенной – это абстракция, порождённая индукцией. Не могу представить себя через триллион лет.

Х: Я описал сингулярность как эскапистскую и псевдонаучную фантазию, отвлекающую нас от изменения климата, войн, неравенства и других серьёзных проблем. Почему я неправ?

Ю: Потому, что вы пытаетесь предсказать эмпирические факты через психоанализ. Это никогда не сработает.

Допустим, мы доживём до появления ИИ, достаточно умного для того, чтобы он мог делать такую же работу по улучшению ИИ, которую делают люди. Он может подстраивать себя, программировать, придумывать новые алгоритмы. Улучшаться. Что будет дальше – он станет умнее, увидит ещё больше возможностей для улучшения, и быстро доберётся до очень высокого уровня? Или ничего особенного не случится?

Может случиться, что (А) самоулучшение на некую дельту сделает ИИ достаточно умным, чтобы он мог оглянуться назад и найти новое потенциальное улучшение размера к*дельта, где к > 1, и это будет повторяться достаточно много раз, чтобы привести к быстрому самоулучшению до уровня сверхинтеллекта. То, что Ирвинг Джон Гуд называл «взрывом интеллекта». Или же (В), к меньше единицы или все эти улучшения малы и не приводят к появлению сверхинтеллекта, или сверхинтеллект вообще невозможен, и вместо взрыва будет пшик. Что истинно, А или В? Если вы построите ИИ определённого уровня и он попытается это сделать, в эмпирическом реальном мире что-то произойдёт, и это событие будет определяться фактами, касающимися ландшафта алгоритмов и достижимых улучшений.

Нельзя получить надёжную информацию об этом событии из психоанализа людей. Это как пытаться запустить машину без горючего – то, о чём нам говорит теорема Байеса. Некоторые люди всегда будут эскапистами, вне зависимости от реальных значений скрытых переменных в информатике, так что наблюдение за некими эскапистами нельзя назвать строгим доказательством.

Это неправильное представление о природе рациональности – что рационально верить в то, что «гоблины в шкафах не существуют» потому, что вера в гоблинов из шкафа глупа, незрела, устарела, и в это верят только идиоты. Настоящий принцип рациональности – пойти и проверить в шкафу. Так что в тех вселенных, где гоблины живут в шкафах, вы будете верить в гоблинов, а во вселенных, где гоблинов в шкафах нет, вы не будете в них верить.

Сложно, но в принципе возможно попытаться заглянуть через приоткрытую дверь и спросить: «Что во Вселенной было бы другим, если бы нельзя было получать хороший доход с когнитивных инвестиций, то есть, ИИ, пытающийся улучшить себя, закончил бы не взрывом, а пшиком? Какие ещё факты были бы характерны для такой вселенной?»

Есть люди, утверждающие, что ИИ можно будет поднять только до уровня человека, поскольку мы и сами люди, а выше мы поднят него не сможем. Мне кажется, что если наша вселенная такова, то мы должны наблюдать уменьшение дохода от инвестиций в железо и ПО для компьютерных шахмат, превосходящих уровень человека – чего на самом деле не происходит. Кроме того, естественному отбору тогда не удалось бы создать человека, а мать Эйнштейна должна была быть потрясающим физиком, и т.д. и т.п.

Есть люди, утверждающие, что чем сложнее алгоритм, тем больше ему нужно подстроек, и что наш интеллект служит неким ограничением для этого процесса. Но это не сходится с антропологическими записями человеческого интеллекта; инвестиции в подстройку мозга и мутаций дают усиление когнитивных возможностей. Мы знаем, поскольку генетика говорит нам, что мутации с малым статистическим откликом не закрепляются при эволюции.

И гоминидам не потребовался экспоненциально больший мозг, чем у шимпанзе. И голова Джона фон Неймана не была экспоненциально больше, чем голова среднего человека.

С чисто практической точки зрения, аксоны человека передают информацию со скоростью в миллион раз меньшей, чем скорость света, и даже с точки зрения рассеивания тепла каждая синаптическая операция потребляет в миллион раз больше минимального теплового рассеивания необратимой бинарной операции при 300 Кельвинах, и так далее. Почему мы должны считать, что ПО мозга ближе к оптимуму, чем железо? Привилегия человеческого интеллекта состоит в том, что это наименьший уровень интеллекта, способный создать компьютер. Если бы было возможно создать компьютер с меньшим уровнем интеллекта, мы бы обсуждали это на меньшем уровне.

Но это не простой спор, и за детальным описанием я отправляю людей к одной из старых моих работ, «Микроэкономика взрыва интеллекта», которая, к сожалению, всё ещё служит лучшим источником информации. Но именно такие вопросы нужно задавать, чтобы, используя имеющиеся доказательства, рассуждать о том, увидим ли мы взрыв ИИ, при котором некое улучшение познавательных способностей, инвестированное в самооптимизацию, даст прирост, превышающий это улучшение.

Что касается по поводу возможностей и их цены:

Можно представить себе мир без взрыва интеллекта и без сверхинтеллекта. Или мир, где трюки, которые эксперты по машинному обучению будут использовать для контроля сверх-ИИ, подойдут для контроля людей и сверхчеловеческого режима. Или мир, где работает моральный интернализм, поэтому все достаточно продвинутые ИИ – добрые. В таких мирах вся работа и всё беспокойства Института исследований машинного обучения никому не нужны. И несколько москитных сеток было потрачено зря, и лучше было отдать их в фонд борьбы с малярией.

Также можно представить себе мир, в котором вы боретесь с малярией, боретесь и удерживаете выбросы углекислоты на должном уровне, или используете геоинженерные решения для нейтрализации уже сделанных ошибок. И всё это оказывается бесполезным, поскольку цивилизация оказывается неспособной решить проблему морали ИИ – и все дети, спасённые от малярии при помощи сеток, вырастают, только чтобы наномашины убили их во сне.

Я думаю, что люди, пытающиеся заниматься разумной благотворительностью, согласятся с тем, что мы не хотели бы жить ни в одном из этих миров. Вопрос лишь в том, какой из них более вероятен. Центральный принцип рациональности – не отвергать веру в гоблинов, поскольку это глупо и непрестижно, и не верить в гоблинов, потому что это здорово и красиво. Центральный принцип рациональности – какие наблюдаемые знаки и логические выводы помогут нам выбрать один из двух этих миров.

Я думаю, что первый мир маловероятен, а второй – вероятен. Я понимаю, что попытки убедить в этом других – это попытки плыть против течения веры в вечную нормальность. Веры в то, что только наша кратковременная цивилизация, существующая несколько десятилетия, и только наш вид, существующий всего мгновение по эволюционной и геологической шкалам, имеют смысл и обязаны существовать вечно. И хотя я считаю, что первый мир – это всего лишь оптимистичная мечта, я не считаю, что нужно игнорировать проблему, по поводу которой в будущем мы будем ударяться в панику. Миссия Института в том, чтобы сегодня проводить исследования, которые по мнению людей, живущих через 30 лет, должны были бы начаться 30 лет назад.

Х: Верит ли ваша жена Брийена в сингулярность?

Брийена: Если бы кто-то спросил меня, верю ли я в сингулярность, подняла бы бровь и спросила бы, верят ли они в автоматические грузовики. Это странный вопрос. Не знаю, каков будет первый флот автоматических грузовиков, или сколько им потребуется времени на замену существующей системы грузоперевозок. И я не то, чтобы верю в робогрузовики, я уверенно предсказываю, что беспилотные перевозки заменят современные перевозки с участием людей, поскольку именно в этом направлении мы идём, если не случится ничего реально странного. По той же причине я уверенно предсказываю и взрыв интеллекта. В других значениях слова «сингулярность» я не так уверена.

Ю: Брийена давала свой ответ, не видя моих ответов. Просто мы хорошо подходим друг другу.

Х: Можно ли создать сверхинтеллект, не понимая, как работает мозг?

Ю: В том же смысле, в каком вы можете делать самолёты, не понимая, как летает птица. Вам не нужно быть экспертом по птицам, но при этом для постройки самолёта нужно достаточно много знаний, получив которые, в принципе уже можно понять, как примерно птица парит или отталкивается от воздуха. Поэтому я пишу о человеческой рациональности – если достаточно далеко продвинуться в вопросе машинного интеллекта, нельзя будет не додуматься до некоторых идей о том, как думают люди.

Х: Чего может захотеть сверхинтеллект? Будет ли у них что-нибудь вроде сексуального желания?

Ю: Задумайтесь об огромном пространстве возможностей, о гигантской многомерной сфере. Это пространство видов разума, набор всех возможных когнитивных алгоритмов. Представьте, что где-то на дне сферы есть крохотная точка, обозначающая всех когда-либо живших людей. Это крохотная точка, поскольку у всех людей примерно одинаковый мозг, с корой, мозжечком, таламусом, и т.п. Некоторые люди не похожи на других, поэтому это может быть шипастая точка, но шипы будут того же масштаба, что и сама точка. Вне зависимости от вашей нейроатипичности, вы не будете работать на другом корковом алгоритме.

Спрашивать, «чего захочет сверхинтеллект» – это неправильный вопрос. Сверхинтеллекты – это не странное племя людей, живущих по ту сторону реки, и обладающих экзотическими обычаями. ИИ – это просто название всего пространства возможностей вне крохотной человеческой точки. Обладая достаточными знаниями, можно забраться в это пространство возможностей и достать оттуда ИИ, обладающий желаниями, которые можно описать человеческим языком хотелок, но не потому, что это будут естественные хотелки этих экзотических сверхлюдей, а потому, что вы выделили одну часть из пространства видов разума.

Касательно сексуальных желаний – если вы точно знаете, что делаете, вы решили основную проблему построения ИИ, стабильно хотящего определённые вещи в то время, как он улучшается, если вы решили основную проблему направления утилитарных функций ИИ на задачи, которые человеку кажутся обманчиво простыми, и ещё более сложную проблему построении ИИ при помощи определённого рода архитектуры, в которой имеют значения такие вещи, как «сексуальные желания» и «счастье от секса», тогда, возможно, вы сможете заставить ИИ смотреть на людей, моделировать их желания, извлекать ту их часть, что касается сексуального желания, и заставлять ИИ испытывать это.

Конечно, также можно, обладая хорошими познаниями в органической биологии и аэродинамике, построить самолёты, способные спариваться с птицами.

Но я не думаю, что братьям Райт стоило заниматься такими вещами на заре своей деятельности. В этом не было бы смысла.

Кажется более разумным решение проблемы проникновения в пространство разумов и извлечения оттуда ИИ, который не захочет разобрать нас на запчасти-атомы.

Х: Мне хочется думать, что сверхумные существа будут исповедовать ненасилие, поскольку они поймут, что насилие – это глупо. Наивен ли я?

Ю: Думаю, да. Дэвид Юм сказал бы вам, что вы совершаете типичную ошибку, применяя предикат «глупость» к ценностям или служебным операциям индивида. Действия, выборы, правила могут быть глупыми, если у вас есть какие-то предпочтения по поводу итоговых состояний мира. Если вы личность с мета-предпочтениями, которые вы не до конца вычислили, у вас может быть платформа, на которую можно опираться и называть определённые догадки по поводу объектных предпочтений «глупыми».

Максимизатор скрепок [мысленный эксперимент, демонстрирующий, как ИИ, изготовленный без злого умысла, может нанести вред человечеству – прим. перев.] не делает вычислительной ошибки, выбирая те случаи из возможных, в которых число скрепок получается максимальным. Он не находится внутри вашей платформы предпочтений, выбирая ошибочные действия, и он не находится внутри вашей платформы метапредпочтений, ошибочно выбирая предпочтения. Он вычисляет ответ на другой вопрос, а не на тот, который вы задаёте себе, вопрос «Что я должен сделать?». Максимизатор скрепок просто осуществляет действие, приводящее к наибольшему количеству скрепок.

Фатальный сценарий – это когда ИИ ни любит вас, ни ненавидит, поскольку вы сделаны из атомов, которые он может использовать для создания чего-либо ещё. Теория игр и проблемы кооперации в дилемме заключённых не проявляют себя во всех возможных случаях. К примеру, они не появляются, когда некий субъект настолько сильнее вас, что он может разобрать вас на атомы, когда вы хотите нажать кнопки «сотрудничать» или «изменить». А когда мы пройдём этот порог, то либо вы решили проблему создания чего-либо, что не хочет вам навредить, или вы уже проиграли.

Х: Решит ли сверхинтеллект трудную проблему сознания?

Ю: Да, и оглядываясь назад, ответ покажется нам позорно простым.

Х: Будет ли у сверхинтеллектов свобода воли?

Ю: Да, но у них не будет иллюзии свободы воли.

Х: Как выглядит ваша утопия?

Ю: Направлю ваших читателей к моей "Последовательности теории развлечений", поскольку я ещё не справился с написанием повести, действие которой происходит в развлекательно-теоретическом оптимальном мире.