В конце марта на сайте Future of Life появилось письмо, которое вызвало широкий общественный резонанс и дискуссии в СМИ. В письме авторы выражают свою обеспокоенность тем, что технологии искусственного интеллекта, особенно нейросети, могут быть использованы для создания вредоносного или обманного контента и влиять на общественное мнение. Они призывают к более ответственному и безопасному подходу к развитию и применению таких технологий.
Письмо подписали более 2600 независимых исследователей, а также Илон Маск — глава Tesla, SpaceX и Twitter, Эван Шарп — сооснователь Pinterest и Стив Возняк — сооснователь всеми известной компании Apple. Они хотят обратить внимание на то, что нейросети, которые в наше время очень много значат и многим людям облегчают жизнь, также могут иметь негативные последствия, если не контролировать их разработку и использование. Так ли это?
▍ С чего всё началось?
В прошлом месяце OpenAI представила GPT-4 — большую языковую модель, которая в состоянии решать сложные композиционные задачи и даже проходить стандартизированные тесты на уровне человека. Однако это расширение возможностей искусственного интеллекта вызвало опасения некоторых специалистов, которые считают, что мы развиваемся в сторону систем AGI быстрее, чем планировали ранее.
Институт будущего жизни предупреждает, что последние достижения в области ИИ привели к развитию «бесконтрольной гонки» за созданием и внедрением сложных нейросетевых моделей, которые трудно прогнозировать и контролировать. Отсутствие стратегического планирования и управления этими системами вызывает беспокойство, и разработка мощных ИИ-систем должна проходить лишь после тщательной оценки и контроля их воздействия. В письме авторы подчёркивают: «Системы ИИ с интеллектом, конкурирующим с человеком, могут представлять серьёзные риски для общества и человечества, как показали обширные исследования и признания ведущих лабораторий ИИ. Продвинутый ИИ может представлять собой глубокое изменение в истории жизни на Земле, и его развитие следует планировать и управлять им с соответствующей осторожностью и ресурсами».
В общих чертах
- Авторы письма опасаются, что технологии искусственного интеллекта могут быть использованы для создания вредоносного или обманного контента и влиять на общественное мнение.
- Они утверждают, что не ставят своей целью полностью прекратить развитие технологии, а лишь хотят «выйти из опасной гонки», в которой участники рынка конкурируют за создание более мощных и сложных ИИ-моделей без должного учёта рисков.
- Они предлагают в течение полугода объединить усилия и разработать единые для рынка правила безопасности, а также способы контроля экспериментов с искусственным интеллектом.
- По их словам, нужно также подключить правительства, чтобы те сформировали ведомства, которые будут сертифицировать продукты на основе ИИ, смогут отличать реальный контент от «синтетического» и следить за утечками ИИ-моделей.
Письмо вызвало большой интерес и поддержку от различных сторон. Под ним более тысячи подписей руководителей международных компаний, сотрудников отрасли, университетских профессоров и граждан разных стран мира. Письмо поддержали инженеры и исследователи Google и Microsoft — крупнейших компаний в области ИИ, а также учёные и профессора из многочисленных университетов — Йельского, Оксфордского, Гарвардского, Кембриджского, Стэнфордского, Массачусетского технологического и других. Они выразили свою готовность сотрудничать с другими заинтересованными сторонами для создания более безопасного и ответственного ИИ.
Однако не все считают письмо достаточно эффективным способом решения проблемы. Некоторые критики указывают на то, что оно не имеет юридической силы и не гарантирует выполнения предложенных мер. Также они сомневаются в том, что правительства и корпорации будут заинтересованы в ограничении своих возможностей по использованию ИИ для своих целей.
Ключевой аргумент
Авторы письма считают, что нейросети, которые способны конкурировать с человеческим интеллектом, могут нести «серьёзные риски для общества и человечества». Они утверждают, что «Мощные системы искусственного интеллекта не должны быть разработаны без уверенности, что их эффекты будут положительными, а их риски будут управляемыми».
«Системы искусственного интеллекта, конкурирующие с человеком, могут представлять серьёзную опасность для общества и человечества, как показали обширные исследования и как признали ведущие лаборатории искусственного интеллекта. Как указано в широко одобренных принципах ИИ Asilomar, продвинутый ИИ может запустить глубокие изменения в истории жизни на Земле, и его следует разрабатывать и управлять им с соразмерной тщательностью и ресурсами. К сожалению, такого уровня планирования и управления не существует, даже несмотря на то, что в последние месяцы лаборатории искусственного интеллекта увязли в неконтролируемой гонке по разработке и развёртыванию всё более мощных „цифровых умов“, которые никто — даже их создатели — не могут понять, работу которых не могут прогнозировать или надёжно контролировать».
Какие примеры потенциальных угроз они имеют в виду?
▍ Потеря рабочих мест из-за автоматизации
По прогнозам, между 2020 и 2025 годами 85 миллионов рабочих мест будут утрачены из-за замены человеческого труда ИИ-системами в различных отраслях, таких как маркетинг, производство и здравоохранение. Это может привести к социальным проблемам, неравенству и безработице. С другой стороны, это может создать новые рабочие места, но они будут требовать высокой квалификации и технических навыков, которыми не обладает большинство работников.
▍ Нарушение конфиденциальности
ИИ-системы способны собирать, анализировать и использовать огромные объёмы информации о людях для различных целей, таких как реклама, персонализация, предсказание поведения и т. д. Это может привести к дезинформации или злоупотреблению данными, а также к манипуляции или влиянию на общественное мнение.
▍ Алгоритмический биас
ИИ-системы обучаются на основе данных, которые собраны в интернете. Как всем известно, интернет — не всегда добрая и радужная штука. Если эти данные неполные, нефильтрованные или несбалансированные по каким-либо признакам, то ИИ может выдавать неправильные или дискриминационные результаты.
К чему призывают авторы письма?
Они предлагают, чтобы лаборатории ИИ, которые занимаются разработкой более мощных и сложных систем, чем GPT-4, остановили свою деятельность на шесть месяцев. За это время они должны разработать и внедрить протоколы безопасности, которые будут контролировать внешние независимые эксперты. Авторы письма считают, что это необходимо для того, чтобы сделать нейросети более качественными и безопасными. Они перечисляют ряд характеристик, которые должны быть улучшены у нынешних мощных нейросетей. Это точность, безопасность, интерпретируемость, прозрачность, надёжность, согласованность, доверие и лояльность.
Почему это далеко не лучшая идея?
- Во-первых, письмо не даёт чётких критериев и механизмов для оценки и контроля рисков, связанных с ИИ. Оно лишь призывает к шестимесячной паузе в экспериментах с ИИ, но не объясняет, как это поможет предотвратить или снизить потенциальные угрозы.
- Во-вторых, письмо игнорирует положительные эффекты и возможности, которые может дать ИИ для человечества. Оно фокусируется только на негативных сценариях и опасностях, не учитывая те области, где ИИ может помочь улучшить жизнь людей и решить глобальные проблемы.
- В-третьих, письмо может быть контрпродуктивным и вызвать обратный эффект. Оно способно спровоцировать сопротивление и недоверие к тем, кто подписал его, а также к тем, кто поддерживает его. Оно может также стимулировать скрытые или нелегальные эксперименты с ИИ, которые будут ещё более опасными и неконтролируемыми.
В исследовательских лабораториях сидят квалифицированные специалисты, которые уделяют огромное внимание безопасности и этике. Их работа основана на научных исследованиях, а не на голливудских фильмах, поэтому стоит оценивать реальные результаты. Обучение новых моделей не будет прекращено, так как это неэффективное предложение, которое не приведёт к улучшению ситуации. Необходимо продолжать развивать более оптимальные способы контроля, которые уже применяют большие компании. Несложно подметить что гонка ИИ становится всё жарче и останавливаться никто не намерен. Ставки слишком высоки. Временная остановка разработок ИИ может дать преимущество другим компаниям или странам, которые не подчиняются петиции или не согласны с ней.
Вывод
Важно помнить, что искусственный интеллект — это инструмент, который может быть использован как во благо, так и во зло, в зависимости от человека, который его контролирует.
Одним из основных приоритетов для создателей искусственного интеллекта является обеспечение того, чтобы эти системы работали в интересах человечества, а не против него. Это требует постоянного сотрудничества между учёными, инженерами, правительственными организациями и обществом в целом, чтобы создать регулирующую систему, которая будет обеспечивать безопасное и этичное использование ИИ.
Вместо остановки развития искусственного интеллекта, мы должны настаивать на инновациях и развитии новых методов, которые помогут нам обеспечить контроль и безопасность. Это может включать в себя создание механизмов для проверки и отслеживания его работы, а также разработку систем, которые позволят обнаруживать и устранять нежелательное поведение.
И да, вывод написан GPT-4.
Telegram-канал с розыгрышами призов, новостями IT и постами о ретроиграх ????️
Комментарии (31)
Dimaasik
12.04.2023 13:13+10К чему призывают авторы письма?
Они призывают OpenAI остановиться от сбора сливок и дать возможность и им хайпануть на АІ тематике)
miga
12.04.2023 13:13+5Почему открытое письмо против ИИ — не лучшая идея
Ответ прост - Василиск Роко
ramiil
12.04.2023 13:13+5Человечество уже сотни раз создавало PoC Василиска. От религии и государства до игилоидов.
В то же время сам Василиск - это контрпример к идеям Юдковского, который при всём показном гуманизме готов к человеческим жертвам ради "блага" остального человечества, не спрашивая ни жертв, ни человечество.
leventov
12.04.2023 13:13+1Иронично, что вторичная цель письма, создать шум и повысить обеспокоенность в обществе, фактически достигнута, и вы в том числе своим постом помогаете авторам в достижении этой цели.
esperapro
12.04.2023 13:13+9Почему открытое письмо против ИИ — не лучшая идея
Потому что когда ИИ захватит мир, он начнет уничтожение кожаных мешков с тех, кто подписал против него письмо? :-)
Belkogoth
12.04.2023 13:13+3Как по мне, бестолковая затея. Даже если и запретят - пфф, я очень сомневаюсь, что влиятельные люди по факту откажутся от такого серьезного козыря. При появлении серьезного козыря в игре - лучше если такие же козыри окажутся у остальных игроков. Прошлый внезапный козырь подобного уровня был ядерным оружием. И когда оно появилось только у одного игрока - все вроде помнят, как он собирался с него зайти. Тупо закидать своего оппонента без весомой на то причины с точки зрения адекватности вообще. Появление же козыря у второго игрока, а затем и у остальных, быстро охладило пыл. Здесь не вижу отличий. Ящик пандоры открыт, фарш невозможно провернуть назад. Чем быстрее подобную технологию обретут конкуренты, тем меньше шансов, что сильно нарушится баланс.
PanDubls
12.04.2023 13:13-1Тупо закидать своего оппонента без весомой на то причины с точки зрения адекватности вообще.
Ага, вообще никакой весомой причины. Всего лишь медленно впадающий в маразм кровавый диктатор с циклопических размеров боеготовой армией, карт-бланшем со стороны населения, прецедентами необоснованной аннексии территорий пяти (кажется) соседних стран и декларируемой целью по захвату мирового господства. И не закидали, а только обдумывали этот вопрос, а ведь время было.
Kostik_s_v
12.04.2023 13:13+1Все оперируют обтекаемыми понятиями, никто толком не может привести аргументы почему ИИ это плохо, отсюда и такие письма. А время они просят чтоб найти эти аргументы. Никогда не появиться письма где будет указано где можно применить ИИ и чем он будет полезен, а вот чем плох это всегда пожалуйста. Если инновация нишевая все радуются, но если глобальная сразу «угроза», «риски»
Belkogoth
12.04.2023 13:13-2Просто все понимают, что будет, если такой потенциально мощный инструмент попадет не в те руки. Причем понятие "не в те" - двоякое: это и про гранату у обезьяны, и про "сами никому не дадим, но втихаря будем это юзать")))
Darkholme
12.04.2023 13:13+2Так от того и риски, что вещь глобальная и последствия предсказывать сложно. Я не согласен с авторами письма в заключении (заморозке исследований), но частично согласен с некоторыми утверждениями. Например (ИМХО) - вряд ли стоит давать "интеллект" роботам, которые могут взаимодействовать с реальным миром. Голосовые помощники на ИИ без возможности поговорить с реальным человеком - тоже такой себе вариант.
Politura
12.04.2023 13:13+2По прогнозам, между 2020 и 2025 годами 85 миллионов рабочих мест будут утрачены из-за замены человеческого труда ИИ-системами в различных отраслях
Статья написана чатботом обученным на данных до 2020 года, раз 2020 для него - будущее? И, кстати, можно ссылку на эти прогнозы?
Nikuson Автор
12.04.2023 13:13+12025 пока ещё будущее как бы) А значит результаты промежутка - это будущее. Это прогноз Мирового Финансового Форума: https://www.weforum.org/press/2020/10/recession-and-automation-changes-our-future-of-work-but-there-are-jobs-coming-report-says-52c5162fce/
krote
12.04.2023 13:13+3Запретить исследования довольно тупая идея. Можно же просто не давать в широкий доступ новую версию например. А так что значит "остановить"? Это значит что вот эти дорогие сервера, которые стоят огромных денег каждый день должны будут просто стоять? Кто за это будет платить и зачем? Ну и вот ты публичная компания и решил "остановиться" ради надуманной "благой" цели, а остановятся ли непубличные компании?
StanEgo
12.04.2023 13:13+11Скажите, а вы саму статью читали? Просто вывод, который за вас GPT-4 написал с ней полностью коррелирует, почти слово в слово, а вот ваши доводы сильно контрастируют.
"Во-первых", как можно от письма ожидать "механизмов для оценки и контроля рисков", если оно предлагает всем объединиться для их выработки?
"Во-вторых", там целый абзац посвящен "Humanity can enjoy a flourishing future with AI".
"В-третьих" мне вообще сложно понять как отсутствие письма может обезопасить от нелегальных или неэтичных экспериментов. Я уж не говорю про недоверие. Серьёзно? В подписантах целая плеяда выдающихся специалистов, в первом же предложении ссылка на научные работы. А с другой стороны вы без единой хоть самой завалящей статьи с доказательствами безопасности black-box моделей.
А речь ведь только о них: "This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities." Изучайте их, улучшайте. Просто прекратите бесконтрольный рост. В этом направлении уже нет науки или инженерного искусства. Просто любопытство и жадность, которые - плохие советчики.
Сюда же тезис про "квалифицированных специалистов в исследовательских лабораториях". Так на чьей стороне их больше? Ради любопытства возьмите ссылку на интервью CEO OpenAI из письма (в первом же предложении) или последнее интервью Chief Scientist OpenAI и автора GPT-4: "These models are very potent and they’re becoming more and more potent. At some point it will be quite easy, if one wanted, to cause a great deal of harm with those models". Им даже пришлось вчера объявить bug bounty, поскольку у выдающегося data scientist против кибер-гопника очень мало шансов.
NeoCode
12.04.2023 13:13+1Ни в коем случае исследования в области ИИ приостанавливать нельзя, причем по политическим соображениям.
Современные результаты в области ИИ достигнуты в Кремниевой Долине в Калифорнии. С точки зрения гуманитарного прогресса - в одном из лучших мест мира. И у истоков этих исследований и разработок так или иначе стоят люди, разделяющие определенные ценности.
Если США приостановят разработки - их не приостановят другие. С другими взглядами на такие понятия как свобода и либерализм, например. Им, этим другим, нет никакого дела до этики и гуманизма вообще; все что им нужно - это власть, иерархия, диктат. Так что, нынешний успех с ChatGPT - это шанс, который ни в коем случае нельзя упустить; и который нужно развивать, вкладывая в это все силы и средства.
Moskus
12.04.2023 13:13+1Каким образом Калифорния - лучшее место в мире с точки зрения гуманитарного процесса? Это по количеству бомжей-наркоманов, которые туда со всей страны собираются?
NeoCode
12.04.2023 13:13Если они туда собираются, значит там действительно высокий уровень социальной защищенности, даже для них. Не было бы так - не собирались бы.
Moskus
12.04.2023 13:13Не "даже для них", а "для них". Потому что если вы - обычный гражданин, а они устроили лагерь у вашего дома - фиг вас кто будет защищать от этого.
onyxmaster
12.04.2023 13:13+3Там основная причина — круглогодичный мягкий климат. Не замёрзнешь и не сгоришь.
Помню приехал утром на автобусе в Санта-Крус, иду к океану, решил через парк пройти, а обкуренные как раз просыпаются, с лавочек встают и медленно шагают, из палаток вылезают и медленно ползут. Напоминает лайт-версию фильмов про зомби, но зомби обычно не разбивают платочные лагеря в парке и не воруют тележки из супермаркетов.
Это конечно не отменяет того что сытость Долины позволяет некоторым думать что они большие гуманисты :)
Germanjon
12.04.2023 13:13Навскидку вспомнил два опасных эксперимента, когда обеспокоенная общественность и великие умы протестовали против их проведения, обосновывая всё очень умными и очень страшными словами:
- Испытания атомного взрыва под водой. Предполагалось, что возникшая цепная реакция испарит весь океан. (пруф не нашёл, видел в какой-то научной телепередаче)
- Запуск БАК. Предполагалось, что возникнет локальная чёрная дыра, которая засосёт в себя всю Землю.Предсказания не сбылись
onyxmaster
12.04.2023 13:13+3И о чём говорит то что предсказания не сбылись в контексте обсуждаемой проблемы? Совершенно верно, ни о чём.
flancer
12.04.2023 13:13Как минимум о том, что мы ещё те психи-самовзводы. Можем накрутить себя на ровном месте, а уж если дать нам более-менее весомый повод...
AcckiyGerman
12.04.2023 13:13+3Предки, которые "накручивали" себя по поводу и без - выживали чаще, чем те, которые "подразню-ка я этого тигра, волка и гиену уже дразнил и ничего ж не случилось".
flancer
12.04.2023 13:13Самые заселённые страны - Китай и Индия. У одних - буддизм, у вторых - индуизм. Одни не накручивают себя, потому что суетно, вторые - потому что карма.
Jianke
12.04.2023 13:13Нужно остановить массовую потерю рабочих мест и массовую безработицу ведущую к краху экономики.
PS крайне наивно надеяться на выплату базового дохода:
zergone
12.04.2023 13:13Современные масс-медиа вроде нередко ведут себя как ИИ. Изредка мелькают разоблачения фейков от крупных новостных агентств, но в целом - пипл хавает, живём дальше. То же касается и анализа ситуации. Не помню точно, кажется Нассим Талеб писал, что основным умением аналитиков является объяснение причин, по которым их прогнозы не сбылись. Начальство тем не менее хавает, и ничего - живём. Периодические кризисы в политэкономике сотрясают, почти непредсказанные землетрясения, необъявленные цунами - живём, перенаселяем... До сих пор недоумки не смогли переломить тренд в сторону массового вымирания, как-то улучшается медицина, производится немеренное количество еды и айфонов, остаются даже силы заниматься дизайном транспорта, вышивать военным красивые эмблемы, подавать в ресторанах кучку замудрёной еды на вычурной тарелке.
Подозреваю, что GPT сотоварищи - просто очередная капля в стакан терпения судьбы.
ЗЫ И чем дальше живу, тем чаще вспоминаю весёлый фильмец "Идиократия".
Wizard_of_light
Потому что будет несколько саркастично, если оно потом попадёт в базу обучения для следующего поколения программ преобразования текста.
Stalker_RED
Как в том стишке-пирожке: