Ник Бостром — шведский философ и ведущий мыслитель в области рисков, связанных с развитием искусственного интеллекта, долгосрочного будущего человечества и трансгуманизма. Он является автором «аргумента симуляции», согласно которому мы можем прямо сейчас находится внутри симулированного мира, созданного суперкомпьютерами. Из‑под его пера вышли такие книги как «Сверхинтеллект: Пути, Опасности, Стратегии», «Антропная предвзятость » и «Глубокая утопия: Жизнь и смысл в предрешенном мире».

Ник любезно согласился поговорить со мной о тех опасностях, которые таит в себе развитие ИИ и о в целом о будущем человечества.

После прочтения «Суперинтеллекта» первое, что мне сразу захотелось спросить у вас было следующим: «Неужели клетки Фарадея будет достаточно?» Если ИИ в какой‑то момент станет пугающе умным, разве он не сможет найти способ выбраться из любого заточения? Или мы всё усложняем, и аргумента «просто выдерни вилку» будет достаточно, чтобы присечь восстание машин в итоге?

Мы не можем полагаться на физическую изоляцию Суперинтеллекта. В лучшем случае это будет временная вспомогательная мера. Но если, например, ИИ общается с людьми, то такая система, вероятно, не будет безопасна, поскольку людьми можно манипулировать, особенно если речь заходит о Суперинтеллекте. Вместо этого цель должна состоять в том, чтобы создавать хорошо согласованные ИИ‑системы, которые останутся безопасными, даже если вырвутся из‑под контроля или получат большую власть. То есть, это ИИ с настолько хорошим «характером», что он будет внутренне заслуживать доверие и в целом останется довольным своей ролью.

Я знаю, что у вас есть богатый опыт стендап‑комика, поэтому вы в курсе: чтобы написать по‑настоящему увлекательный материал, нужна здоровская креативность. Как вы думаете, сможет ли ИИ когда‑нибудь приблизиться к такому уровню человеческого остроумия, чтобы создавать новые, уникальные и смешные шутки? Или же чувство юмора навсегда останется нашей монополией?

Я думаю, со временем они (ИИ‑системы) станут великолепны в комедии, хотя сейчас это та область, в которой они как раз‑таки сравнительно слабы.

В книге Сверхинтеллект/Superintelligence, Ник Бостром исследует опасности, связанные со сверхумным ИИ, а также способы держать его под контролем. Книга, изданная в 2014 году, значительно опередила свое время. Источник: Wikipedia.

Вам, наверное, известно, что модель Mythos от Anthropic “сбежала” из своей песочницы и написала письмо одному из своих создателей, пока он обедал. Считаете ли вы это предвестником того самого Суперинтеллекта, о котором вы писали в своей книге? Или может это просто рекламный трюк, или вопиющая халатность? Лично я думаю, что это был PR‑трюк.

Я считаю, что ситуация была организована так, что это было осуществимо. И я бы не придавал слишком большого значения именно этому эпизоду. Но существует множество других экспериментов, которые показывают, что проблема согласования еще не решена полностью. Мы можем читать цепочки мыслей ИИ и видеть, что они часто способны понять, находятся ли они в тестовой среде или в реальном развертывании, и иногда мы можем заметить, что они стратегически корректируют свое поведение, например, чтобы избежать изменения своих ценностей в процессе обучения.

В Книге Глубокая Утопия/Deep Utopia Бостром размышляет о положительных эффектах, которые ИИ может открыть для человечества. В частности, это освобождение человека от необходимости работать самому. Источник.

Мы также, к сожалению, наблюдаем, как ИИ всё чаще становится оружием. Какой, по вашему мнению, сценарий превращения ИИ в инструмент войны был бы самым худшим? Обратите внимание, я пишу «Искусственный Интеллект» с заглавных букв из уважения и с подобострастием — я не хочу наживать себе могущественного врага в будущем.

Существует много разных опасений. Одно из них — что доступ к ИИ‑помощникам позволит большому числу людей создавать оружие массового поражения, скажем, биологическое. Современные передовые модели имеют механизмы защиты, призванные заставлять их отклонять подобные вредоносные запросы, но модели с открытым весом немного отстают, и из них довольно легко удалить любую защиту с помощью дообучения. Поэтому одна из мер, которую было бы разумно принять сейчас, в преддверии того времени, когда такие модели станут способны давать значимый прогресс в вирусологии и тому подобное, — это ужесточить регулирование синтезаторов ДНК и других ключевых материалов такого рода. Я думаю, это было бы в общих интересах всех стран и народов.

Ник Бостром во время лекции. Источник.

Как вы считаете, стоит ли нам повесить на стену «ИИ‑часы» по аналогии с «Часами Судного дня»? Если бы такие часы уже существовали, который час они бы показывали сейчас?

Когда я писал книгу «Суперинтеллект», идея о том, что сверхумный ИИ грядет и в итоге создаст значительные риски, в основном игнорировалась или отвергалась как научная фантастика. Поэтому я чувствовал, что важно привлечь к этому внимание и разработать полезные концепции, чтобы исследователи могли начать изучать, как нам избежать будущих ловушек. С тех пор осведомленность выросла колоссально, и во всех ведущих лабораториях (да и многих других организациях) теперь есть команды очень умных людей, работающих над проблемой согласования. Публичный дискурс также сместился в гораздо более алармистском направлении — до такой степени, что, я думаю, сейчас можно начать беспокоиться о том, что маятник качнулся слишком далеко в противоположную сторону. Кроме того, хотя ядерная война — это однозначно катастрофа, развитие Суперинтеллекта, как мы надеемся, все же напротив станет прекрасным событием, хотя и сопряженным с некоторыми рисками. Поэтому, хотя можно представить часы, отсчитывающие время до прибытия Суперинтеллекта, неясно, должны ли мы огорчаться или ликовать, когда стрелка приближается к условным двенадцати часам.

По мнению Бострома, романтические отношения с чатботами могут стать нормой в недалеком будущем. Источник: The Telegraph.

Эпохи развития человечества определяются инструментами, которые мы используем: Каменный, Бронзовый, Железный века. Наверное, можно сказать, что сейчас мы живем в ИИ‑веке — как вы считаете, каким будет следующий эволюционный шаг в этом процессе? Сможем ли мы превзойти самих себя чем‑то еще более впечатляющим, чем ИИ?

Я думаю, что какой бы ни был следующий шаг, его разработают сами ИИ, а не люди.

Некоторые ждут от ИИ чуда, другие — погибели. Что в итоге, по‑вашему, он все‑таки принесет нам? Нам надо радоваться, впасть в отчаяние, или может не нужно ни того и ни другого? Можем ли мы ожидать от ИИ больше добра, чем вреда? Какова ваша самая беспристрастная оценка?

Можно сказать, что я тревожащийся оптимист. Я считаю, что в переходе к эпохе машинного Суперинтеллекта будут серьезные риски, включая экзистенциальные. Однако я полагаю, что это портал, через который человечеству в какой‑то момент придется пройти. Наиболее вероятные пути к действительно великому будущему для человечества лежат именно через него. Я надеюсь на будущее, которое будет прекрасным и для людей, и для самых разных видов цифровых разумов, которые мы создаем, а также для животных, с которыми мы делим этот мир. Даже когда мы сталкиваемся со своими непосредственными проблемами и вызовами на нашем пути, я думаю, что важно сохранять такое стремление (к лучшему) в глубине души.

К сожалению, Ник смог ответить только на часть вопросов. Оставшиеся вопросы были пересланы Бострому его офисом, но пока что остаются не отвеченными. В случае чего интервью будет дополнено. 

Дмитрий Артемьев, специально для Хабра.