Примечание переводчика: Йошуа Бенжио это один из самых авторитетных и цитируемых исследователей ИИ в мире. Он получил премию Тьюринга в 2018 году вместе с Джеффри Хинтоном и Яном Лекуном за развитие алгоритмов и теории искусственного интеллекта. Из этой троицы, Хинтон, как и Бенжио, тоже, кажется, сильно обеспокоен траекторией развития ИИ. Лекун наиболее оптимистичен и наименее озабочен. Завтра, в пятницу, Лекун вместе с Эндрю Нг проведут вебинар, на котором расскажут, почему они против идеи замедления развития систем, более мощных, чем GPT-4.

Недавно я подписал открытое письмо с просьбой замедлить развитие гигантских ИИ‑систем, более мощных, чем GPT-4, — тех, которые сейчас проходят тест Тьюринга и могут обмануть человека, заставив его поверить, что он разговаривает с человеком, а не с машиной.

Я счел подписание этого письма уместным, чтобы предупредить общественность о необходимости снижения темпов развития ИИ‑систем, которое сейчас происходит в ущерб принципу предосторожности и в ущерб этике. Мы должны уделить время чтобы лучше понять эти системы и разработать необходимые ограничения на национальном и международном уровнях для повышения защиты общества.

Такое неожиданное ускорение — я, вероятно, не подписал бы такое письмо год назад — требует от нас отступить на шаг назад, и именно поэтому мое мнение изменилось.

Нет гарантий, что в обозримом будущем кто‑то не создаст опасные автономные ИИ‑системы с поведением, отклоняющимся от целей и ценностей человечества. Краткосрочные и среднесрочные риски — манипулирование общественным мнением в политических целях, особенно через дезинформацию, — легко предсказать, в отличие от долгосрочных рисков — ИИ‑систем, которые представляют опасность, несмотря на цели, заложенные в них программистами, — и мне кажется важным изучить оба типа рисков.

С появлением ChatGPT мы стали свидетелями изменения отношения компаний, для которых давление коммерческой конкуренции увеличилось в десятки раз. Существует реальный риск того, что они устремятся к разработке этих гигантских ИИ‑систем, отбросив нормы прозрачности и открытой науки, которые они развили за последнее десятилетие исследований в области ИИ.

Существует срочная необходимость регулирования этих систем с целью обеспечения большей прозрачности и контроля над ИИ‑системами для защиты общества. Я верю, как и многие другие, что риски и неопределенность достигли такого уровня, что требуется также ускорение разработки наших механизмов регуляции, надзора и управления (governance).

Обществам требуется время для адаптации к изменениям, законам нужно время, чтобы быть принятыми, а регулятивные ограничения и нормы должны быть разработаны. Поэтому кажется важным быстро повысить осведомленность, поставить этот вопрос на больше радаров и стимулировать большую общественную дискуссию.

Я говорю об этом уже много лет, и я повторяю в этом письме, которое сосредоточено на регуляции и надзоре над огромными ИИ‑системами, большими, чем GPT-4, а не на ИИ в целом: вместо этого важно инвестировать государственные средства в разработку ИИ‑систем, посвященных общественным приоритетам, которые часто игнорируются бизнес‑сектором, таким как исследования в области здравоохранения или борьба с климатическими изменениями. Такое применение ИИ гораздо менее вероятно будет использовано во вред обществу, в отличие от универсальных систем, таких как GPT-4.

Нам нужно стимулировать усилия исследователей, особенно в области социальных и гуманитарных наук, потому что решения включают не только технический, вычислительный аспект, но и, прежде всего, социальные и человеческие соображения.

Мы должны продолжать борьбу за благополучие человечества и разработку полезных ИИ‑приложений, таких как те, которые направлены на решение климатического кризиса. Это потребует изменений на уровне каждой страны и принятия международных договоров. Мы смогли регулировать ядерное оружие в мировом масштабе после Второй мировой войны, и мы можем достичь аналогичного соглашения для ИИ.

Несмотря на то, что может показаться из письма, я оптимистичен, что технологии смогут помочь нам преодолеть великие вызовы, стоящие перед человечеством. Однако, чтобы им противостоять, нам нужно уже сейчас думать о том, как адаптировать наши общества или даже полностью их переизобрести.

Вот некоторые часто задаваемые вопросы об открытом письме. Мнения, выраженные в ответах, не обязательно разделяются всеми подписантами этого письма.

Почему вы подписали это открытое письмо?

Мы перешли критический порог: теперь машины могут разговаривать с нами и притворяться людьми. Эта власть может быть использована в политических целях в ущерб демократии. Разработка все более мощных инструментов чревата усилением концентрации власти. Будь то в руках нескольких человек, компаний или стран, это представляет опасность для демократии (что означает власть народу и, следовательно, противоположность концентрации власти), для уже и без того хрупкого глобального баланса безопасности и даже для функционирования рынков (которые нуждаются в конкуренции, а не монополиях).

Разве тон письма не слишком тревожен?

Никто, даже ведущие эксперты по ИИ, включая тех, кто разработал эти гигантские ИИ‑модели, не может быть абсолютно уверен, что такие мощные инструменты сейчас или в будущем не могут быть использованы катастрофическим для общества образом. Письмо не утверждает, что GPT-4 станет автономным — это было бы технически неверным — и угрожает человечеству. Вместо этого, очень опасным — и вероятным — является то, что люди с плохими намерениями или просто не осознающие последствия своих действий могут сделать с этими инструментами и их будущими версиями в ближайшие годы.

Будет ли это письмо достаточным, чтобы убедить технологических гигантов замедлиться?

Даже если надежда мала, стоит начать широкое общественное обсуждение. Потому что нам придется принимать коллективные решения в ближайшие годы, в том числе о том, что мы хотим делать с мощными инструментами, которые разрабатываем. Я даже подозреваю, что многие в этих компаниях надеются на регулирование, которое уравняет условия игры: начиная с ChatGPT, менее осторожные игроки имеют конкурентное преимущество и поэтому могут легче продвигаться вперед, снижая уровень осмотрительности и этического контроля.

Хватит ли шести месяцев паузы? Не тщетны ли эти усилия?

То же самое можно сказать о наших усилиях по борьбе с климатическими изменениями. Окружающей среде уже было нанесено много вреда, инерция нашей промышленной ткани упряма — не говоря уже о лоббистских группах — и усилия ученых и активистов в области климата по корректировке нашего коллективного курса (экономики), кажется, не работают. Стоит ли сдаваться? Конечно, нет. Всегда есть способы сократить будущий ущерб, и каждый шаг в правильном направлении может быть полезным.

Разве страхи перед ИИ-системами не научная фантастика?

Уже существует литература, документирующая текущий ущерб, который помогла бы минимизировать регуляция, от ущемлений человеческого достоинства, таких как дискриминация и предвзятость, до военного использования ИИ, например, автономных дронов‑убийц.

Следует ли прекратить разработку ИИ-систем вообще?

В письме говорится не об этом. Оно касается только систем, которые еще не разработаны и которые будут мощнее, чем GPT-4. Тем не менее, мне кажется очевидным, что мы должны принять определенное замедление технологического прогресса для обеспечения большей безопасности и защиты коллективного благополучия. Общество ввело строгие регулирования для химикатов, авиации, лекарств, автомобилей и т. д. Компьютеры, которые теперь оказывают огромное влияние на многие сферы нашего общества, на мой взгляд, заслуживают аналогичного подхода.

Почему вы подписали письмо вместе с людьми, у которых политические взгляды противоположны вашим?

Это открытое письмо на конкретную тему. Подписывая его, человек не одобряет все другие заявления подписантов. По вопросу о экзистенциальных и долгосрочных рисках для человечества я не согласен с многим из написанного по этому поводу («лонгтермизм«). Конечно, долгосрочные риски важны — и именно поэтому я выступаю за эффективное решение климатических проблем. Но эти риски должны быть сопоставлены с вероятностью их осуществления, и чем дольше временной горизонт, тем менее определенны эти риски. В сравнении с этим, ущерб, причиняемый живущим сегодня людям, не должен быть отброшен, потому что более краткосрочные риски гораздо более осязаемы. Так что я думаю, что мы должны рассматривать все риски, основываясь на их величине и оцененной вероятности, риски на разных временных горизонтах. И мы должны использовать разум и науку для оценки всего этого, не забывая о нашем сочувствии к живущим и страдающим сегодня людям.

Готово ли общество столкнуться с приходом этих новых и чрезвычайно мощных технологий?

Человечество сталкивается с несколькими глобальными кризисами, которые, вероятно, усугубятся: в области общественного здравоохранения, окружающей среды, военной и политической безопасности и стабильности, неравенстве и социальных несправедливостей и, конечно же, в области рисков, связанных с бесконтрольным развитием ИИ. Я сомневаюсь, что текущая организация нашего общества на национальном и глобальном уровнях является адекватной для преодоления этих вызовов [выделение переводчика]. На коротком горизонте, на мой взгляд, нельзя обойтись без регулирования. Я надеюсь, что на долгосрочную перспективу этого будет достаточно, но сейчас мы должны рассмотреть возможность того, что социальная организация общества, которая работала в прошлом веке, больше не адекватна перед лицом этих глобальных кризисов.