С появлением и развитием ИИ исследователи столкнулись с рядом этических вопросов, на которые сложно дать однозначный ответ. В научных кругах сейчас идут активные дискуссии по поводу того, что делать с OpenAI's GPT-4, является ли большая языковая модель важным шагом на пути к искусственному интеллекту общего назначения (AGI) и к чему приведет его создание.
IEEE Spectrum собрал опубликованные мысли и высказывания ученых по поводу больших языковых моделей (LLM), вероятности появления ИИ и риска цивилизационного хаоса, а мы перевели материал для читателей Хабра.
Мнения ученых по поводу LLM расходятся
Если вы опросите лучшие умы мира по основным вопросам, подобным этим, вы не получите ничего похожего на консенсус. Рассмотрим вопрос о последствиях GPT-4 для создания AGI. Среди специалистов по ИИ мнения варьируются от Элиезера Юдковски, который считает, что GPT-4 — это явный признак неизбежности появления AGI, до Родни Брукса, утверждающего, что мы не ближе к AGI, чем 30 лет назад.
По вопросу о том, что GPT-4 и его преемники могут посеять хаос в цивилизации, существует такое же разногласие. Одним из самых ранних прорицателей был Ник Бостром. Задолго до GPT-4 он утверждал, что когда AGI значительно превзойдет человеческие возможности, он, вероятно, найдет способы покинуть цифровой мир и методично уничтожить человеческую цивилизацию. На другом конце находятся такие люди, как Янн ЛеКун, которые отвергают подобные сценарии как фантастическую чушь.
Между ними находятся исследователи, которые беспокоятся о способности GPT-4 и будущих образцов генеративного ИИ вызвать серьезные нарушения в сфере занятости, усугубить предубеждения в современном обществе, а также породить пропаганду, дезинформацию и глубокую фальсификацию в массовом масштабе. Тревожно? Да, чрезвычайно. Апокалиптично? Нет.
Многие обеспокоенные эксперты по ИИ подписали в марте 2023 года открытое письмо лабораториям ИИ с просьбой немедленно приостановить «гигантские эксперименты с ИИ» на шесть месяцев. Письмо ничего не приостановило, но привлекло внимание широкой общественности и неожиданно сделало безопасность ИИ предметом обсуждений. Затем, в конце мая, целый ряд экспертов — от академиков и руководителей — подписали однословное заявление, которое призывало мир серьезно отнестись к риску «вымирания от ИИ».
Ниже мы составили своего рода оценочный лист, в ходе подготовки которого изучили новостные статьи, ленты соцсетей и книги, чтобы найти публичные заявления экспертов по ИИ, а затем использовали наше лучшее суждение, чтобы обобщить их убеждения и присвоить им позиции «да/нет/возможно».
|
Профессор, Массачусетский технологический институт | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Нет |
Основное мнение о будущем больших языковых моделей |
Большие языковые модели, такие как GPT-4, предлагают «огромное пространство возможностей», но даже самые лучшие модели сегодня не являются надежными или заслуживающими доверия, и потребуется много работы, чтобы устранить эти проблемы. |
Цитата |
«Больше всего я боюсь... вопросов правдивости и связности» . |
|
Генеральный директор, OpenAI | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
LLM — это важный шаг на пути к искусственному интеллекту, но это будет «медленный взлет», в ходе которого у нас будет время для устранения реальных рисков, которые несет в себе эта технология. |
Цитата |
«Будущие версии ИИ решат некоторые из наших самых насущных проблем, действительно повысят уровень жизни, а также найдут гораздо лучшее применение человеческой воле и творчеству». |
|
Профессор, Университет Вашингтона | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Нет |
Основное мнение о будущем больших языковых моделей |
Шумиха мощных корпораций по поводу LLM и их прогресса на пути к AGI создает нарратив, который отвлекает от необходимости регулирования, защищающего людей от этих корпораций. |
Цитата |
«Мы можем представить себе другое будущее, но для этого мы должны сохранять независимость от нарратива, проталкиваемого теми, кто считает, что AGI желателен и что LLM — это путь к нему». |
|
Профессор, Монреальский университет | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
Мы не готовы к распространению мощных инструментов ИИ. Опасность будет исходить не от того, что эти инструменты станут автономными, а скорее от военного применения и от неправильного использования инструментов, сеющего дезинформацию и дискриминацию. |
Цитата |
«Мы перешли критический порог. Машины теперь могут разговаривать с нами и выдавать себя за людей. Эта власть может быть использована в политических целях, в ущерб демократии». |
|
Профессор, Оксфордский университет | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Да |
Основное мнение о будущем больших языковых моделей |
Разумность — это вопрос степени, и сегодняшние LLM можно считать обладающими небольшой степенью разумности. Будущие версии могут иметь больше. |
Цитата |
«Вариации этих ИИ могут вскоре развить концепцию себя как сохраняющегося во времени, размышлять о желаниях, социально взаимодействовать и формировать отношения с людьми». |
|
Почетный профессор Массачусетского технологического института и соучредитель RobustAI | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
Появление больших языковых моделей и сопутствующий фурор мало чем отличаются от многих предыдущих подобных потрясений в технологии в целом и ИИ в частности. |
Цитата |
«В чем большие языковые модели хороши, так это в том, что они говорят, как должен звучать ответ, что отличается от того, каким должен быть ответ». |
|
Менеджер по исследованиям, Microsoft Research | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно (скорее всего, нет) |
Основное мнение о будущем больших языковых моделей |
GPT-4 обладает типом обобщенного интеллекта и демонстрирует гибкое понимание концепций. Но ему не хватает некоторых фундаментальных составляющих человеческого интеллекта, таких как память и способность к обучению. |
Цитата |
«Все те вещи, которые, как я думал, [GPT-4] не сможет сделать? Он, безусловно, смог сделать многие из них, если не большинство». |
|
Основатель, Лига алгоритмической справедливости | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
Хотя LLM вряд ли приведут к катастрофе цивилизации, но страх людей перед этой гипотезой может быть использован для замедления прогресса ИИ и решения насущных проблем ближайшего времени. |
Цитата |
«Честный вопрос: Если вы считаете, что провоцируете конец света, зачем продолжать свой нынешний путь?». |
|
Основатель, Исследовательский институт распределенного искусственного интеллекта | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
Обсуждение AGI — это намеренное отвлечение внимания от реальных и неотложных рисков, связанных с современными LLM. Ответственные компании нуждаются в нормативных актах для повышения прозрачности и подотчетности, а также для прекращения практики эксплуатации труда. |
Цитата |
«Конгрессу нужно сосредоточиться на регулировании корпораций и их практики, а не играть на их шумихе о “мощных цифровых умах”». |
|
Профессор, Калифорнийский университет в Беркли | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
Человеческий интеллект развился из нашего взаимодействия с миром природы. Маловероятно, что LLM станут разумными благодаря одному лишь тексту. |
Цитата |
«Что [LLM] позволяет нам сделать, так это взять все слова, весь текст, который люди написали за все время, и обобщить их таким образом, чтобы это было эффективно и позволило нам взаимодействовать. Я думаю, что это не новый вид интеллекта». |
|
Директор и соучредитель, Центр безопасности искусственного интеллекта | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Да |
Основное мнение о будущем больших языковых моделей |
Экономическое и стратегическое давление подталкивает компании, которые занимаются разработкой ИИ, к созданию мощных систем ИИ, которые невозможно надежно контролировать. Если исследование безопасности ИИ не станет всемирным приоритетом, человечеству грозит вымирание. |
Цитата |
«Если раньше исследователи ИИ говорили о “проектировании” ИИ, то теперь они говорят об “управлении” им. И даже наша способность управлять ускользает от нашего понимания, поскольку мы позволяем ИИ учить себя и все чаще действовать так, что даже их создатели не до конца понимают». |
|
Профессор, Университет Торонто | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
Технология LLM развивается слишком быстро. Она не должна развиваться дальше, пока ученые не будут уверены, что могут контролировать ее. |
Цитата |
«Еще совсем недавно я думал, что пройдет от 20 до 50 лет, прежде чем у нас появится ИИ общего назначения. А теперь я думаю, что пройдет 20 лет или даже меньше». |
|
Главный научный сотрудник, программа MindScope, Институт Аллена | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно |
Основное мнение о будущем больших языковых моделей |
GPT-4 и другие большие языковые модели превзойдут человеческие возможности в некоторых сферах деятельности и приблизятся к возможностям AGI, без понимания или сознания человеческого типа. |
Цитата |
«Что это показывает очень ясно, так это то, что существуют различные пути к интеллекту». |
|
Компьютерный ученый, предприниматель, автор, художник | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Нет |
Основное мнение о будущем больших языковых моделей |
Генеративный ИИ и чат-боты — это важный шаг вперед, потому что они предлагают пользователям выбор. Предлагая широкий спектр ответов, эти модели разрушают иллюзию «монолитной истины» Интернета и ИИ. |
Цитата |
«Эта идея превзойти человеческие способности глупа, потому что она создана из человеческих способностей. Это все равно, что сказать, что автомобиль может бежать быстрее, чем человек. Конечно, может, и все же мы не говорим, что машина стала лучшим бегуном». |
|
Главный специалист по искусственному интеллекту, Meta | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Нет |
Основное мнение о будущем больших языковых моделей |
GPT-4 сам по себе в чем-то ослепителен, но он не является особенно инновационным. И большие языковые модели в стиле GPT никогда не приведут к созданию ИИ со здравым смыслом и настоящим человеческим пониманием. |
Цитата |
«Усиление человеческого интеллекта машиной приведет к новому ренессансу или новой эпохе просвещения, вызванной ускорением научного, технического, медицинского и социального прогресса благодаря ИИ». |
|
Профессор, Нью-Йоркский университет | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно (?) |
Основное мнение о будущем больших языковых моделей |
Создание более мощных больших языковых моделей является необходимым, но недостаточным условием для создания AGI. |
Цитата |
«Еще предстоит проделать огромную работу по созданию машин, которые действительно смогут понимать окружающий мир и рассуждать о нем». |
|
Главный специалист по этике, Hugging Face | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Возможно (?) |
Основное мнение о будущем больших языковых моделей |
Нарративы, представляющие AGI как начало утопии или вымирания, одновременно способствуют шумихе и маскируют концентрацию власти в горстке корпораций. |
Цитата |
«Игнорировать активный вред прямо сейчас — это привилегия, которой у некоторых из нас нет». |
|
Профессор, Институт Санте-Фе | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Нет |
Основное мнение о будущем больших языковых моделей |
Возможности и опасности LLM слишком преувеличены. Мы должны больше думать о непосредственных рисках LLM, таких как дезинформация и проявление вредной предвзятости. |
Цитата |
«Мы, люди, постоянно подвергаемся риску чрезмерной антропоморфизации и чрезмерного доверия к этим системам, приписывая им полномочия, когда их нет». |
|
Профессор Массачусетского технологического института и президент Института будущего жизни | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Да |
Основное мнение о будущем больших языковых моделей |
Более мощные LLM и системы ИИ следует разрабатывать только после того, как исследователи будут уверены, что их эффект будет положительным, а риски — управляемыми. |
Цитата |
«Наше письмо ввело паузу; [заявление Центра безопасности ИИ] ввело вымирание. Теперь наконец-то может начаться конструктивный открытый разговор». |
|
. Президент, Фонд «Сигнал» | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Нет |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Нет |
Основное мнение о будущем больших языковых моделей |
LLM уже наносят серьезный ущерб обществу, отражая все предубеждения, присущие их обучающим данным. |
Цитата |
«Зачем нам нужно их создавать? Каковы побочные последствия развертывания этих моделей в контекстах, где они будут информировать о решениях людей?». |
|
Соучредитель, Научно-исследовательский институт машинного интеллекта | |
Является ли успех GPT-4 и других современных больших языковых моделей признаком того, что появление AGI возможно? |
Да |
Может ли AGI привести к цивилизационной катастрофе, если мы ничего не предпримем? |
Да |
Основное мнение о будущем больших языковых моделей |
LLM могут привести к AGI, а первый сверхразумный AGI по умолчанию убьет буквально всех на планете. И мы не на пути к решению этой проблемы с первой попытки. |
Цитата |
«Несогласованная работа на опасном уровне интеллекта убивает всех на Земле, и тогда мы не получаем возможности попробовать снова». |
Дискуссии ученых играют большую роль в развитии ИИ
Статья из IEEE Spectrum — это обзор мнений экспертов в области ИИ относительно потенциала больших языковых моделей (LLM) и возможности создания искусственного интеллекта общего назначения (AGI). Кто-то рассматривает AGI как неизбежный и потенциально катастрофический результат, другие отвергают такие сценарии как нереалистичные. Несмотря на отсутствие консенсуса по фундаментальным вопросам, дискуссии в научных сообществах будут играть и дальше решающую роль в развитии новых технологий и снижении потенциальных рисков от их внедрения.
Комментарии (5)
phenik
27.06.2023 15:05+1Алармистские настроения в основном у не специалистов по технологии ИНС, до конца не понимающих их возможностей и ограничений. Не понимаю поэтому боюсь. Потенциально угроза только от злонамеренного или не компетентного использования, как и любой достаточно сложной технологии. Пока в основном это база для нового поколения интеллектуальных ассистентов, и исследовательская база за агентов, включая воплощенных. Перспектива, имхо, как-то так видится.
vagon333
Согласен с фразой SÉBASTIEN BUBECK:
В ожиданни GPT со способностью накапливать контекст взаимодействия и обучаться.
Допускаю, что текущие сохраняемые GPT диалоги (chat) частично служат цели сбора простых вариантов контекста.
Kristaller486
А всё-таки, зачем GPT обучаться? Добавление некоторого количества данных в промт, few-shot, файн-тюнинг накрайняк решает 99,9% проблем, которые могут возникнуть от недостатка каких-либо знаний у модели. Контекст в 32 тысячи токенов располагает к этому, а вот какой-то вариант самообучения сложен в реализации, дорог в использовании и скорее вреден, чем полезен в отношении "знаний модели".
vagon333
Чтоб получить настоящего цифрового ассистента, со знанием вашей области интересов, ваших запросов и задач. Для более осмысленных ответов и предвосхищения событий.
Допустим, ваш цифровой двойник вместе с вами большую часть времени, анализирует получаемую информацию.
В этом случае он более полезный помощник (далее моя не очень широкая фантазия):
- вам пора отдохнуть
- вы перегружены и на гране срыва, нужно сторонняя помощь
- вы в поездке в город Н-ск и нужно продумать питание, отдых, встречи.
- вы заняты задачей Х и открыты к сотрудничеству.
Ассистент запрашивает занятых аналогичной задачей на обмен информацией.
Потребности разные.
Kristaller486
Ну, с вышеперечисленными задачами отлично справляются простые нейросети и даже непростые классические алгоритмы. GPT это в первую очередь очень продвинутый генератор текста, а не личный помощник или Википедия.
Википедия хорошо работает и без всяких GPT, а прикрутить к личному ассистенту поиск по некоторому объему информации, как оказалось, не так и сложно. Лично я думаю, что все будет развиваться именно в эту сторону.