Однако в другом письме, подписанном более чем 90 учёными, говорится, что польза от искусственного интеллекта для биологии превысит любой потенциальный вред.
В прошлом году Дарио Амодей, руководитель известной компании Anthropic, занимающейся разработкой искусственного интеллекта, заявил в Конгрессе, что новые технологии искусственного интеллекта могут вскоре помочь неумелым, но злонамеренным людям проводить крупномасштабные биологические атаки, например, создавать и выпускать вирусы или токсичные вещества, которые вызовут массовые заболевания и смерть.
Сенаторы от обеих партий были встревожены, а исследователи ИИ в промышленности и научных кругах обсуждали, насколько серьёзной может быть эта угроза.
Теперь более 90 биологов и других учёных, специализирующихся на технологиях искусственного интеллекта, используемых для разработки новых белков — микроскопических сущностей, являющихся основой всей биологии, — подписали соглашение, призванное гарантировать, что их исследования с помощью искусственного интеллекта будут продвигаться вперёд, не подвергая мир серьёзному риску.
Биологи, среди которых есть нобелевский лауреат Фрэнсис Арнольд, представляющие лаборатории в США и других странах, также заявили, что новейшие технологии принесут гораздо больше пользы, чем вреда — например новые вакцины и лекарства.
«Как учёные, занимающиеся этой работой, мы считаем, что преимущества нынешних технологий искусственного интеллекта для конструирования белков значительно превосходят потенциальный вред, и мы хотели бы, чтобы наши исследования оставались полезными для всех в будущем», — говорится в соглашении.
Соглашение не направлено на подавление разработки или распространения технологий ИИ. Вместо этого биологи стремятся регулировать использование оборудования, необходимого для производства нового генетического материала.
По словам Дэвида Бейкера, директора Института дизайна белков при Вашингтонском университете, который помогал в подготовке соглашения, оборудование для производства ДНК в конечном итоге позволяет разрабатывать биооружие.
«Дизайн белков — это только первый шаг в создании синтетических белков, — сказал он в интервью. — Затем необходимо синтезировать ДНК и перенести дизайн из компьютера в реальный мир — и вот это уже подходящее место для регулирования».
Это соглашение — одна из многих попыток взвесить риски, связанные с применением искусственных интеллектов, и возможные преимущества. Поскольку некоторые эксперты предупреждают, что технологии ИИ могут помочь распространить дезинформацию, заменить рабочие места с необычайной скоростью и, возможно, даже уничтожить человечество, технологические компании, академические лаборатории, регулирующие органы и законодатели пытаются понять эти риски и найти способы их устранения.
Компания доктора Амодея, Anthropic, занимается созданием больших языковых моделей, или БЯМ, — нового вида технологий, которые управляют онлайн-чатботами. Выступая перед Конгрессом, он утверждал, что эта технология вскоре может помочь злоумышленникам создать новое биооружие.
Однако он признал, что сегодня это невозможно. Компания Anthropic недавно провела подробное исследование, показавшее, что если кто-то пытается приобрести или разработать биологическое оружие, то БЯМ-боты оказываются ненамного полезнее, чем обычная поисковая система в Интернете.
Доктор Амодей и другие специалисты опасаются, что по мере того, как компании будут совершенствовать БЯМ и комбинировать их с другими технологиями, возникнет серьёзная угроза. Он заявил Конгрессу, что до этого осталось всего два-три года.
Компания OpenAI, создатель онлайн-чатбота ChatGPT, позже провела аналогичное исследование, которое показало, что БЯМ не намного опаснее поисковых систем. Александр Мондри, профессор информатики Массачусетского технологического института и руководитель отдела готовности OpenAI, сказал, что, по его мнению, исследователи продолжат совершенствовать эти системы, но пока он не видел никаких доказательств того, что они смогут создавать новое биооружие.
Современные БЯМ создаются путём анализа огромных объёмов цифровых текстов, собранных со всего интернета. Это означает, что они перерабатывают или рекомбинируют то, что уже доступно в сети, включая существующую информацию о биологических атаках. (Газета New York Times подала в суд на OpenAI и её партнёра, компанию Microsoft, обвинив их в нарушении авторских прав в ходе этого процесса).
Но в попытке ускорить разработку новых лекарств, вакцин и других полезных биологических материалов исследователи начинают создавать подобные системы искусственного интеллекта, которые могут генерировать новые белковые конструкции. Биологи говорят, что подобная технология также может помочь злоумышленникам в разработке биологического оружия, однако они отмечают, что для создания такого оружия потребуется многомиллионная лаборатория, включая оборудование для производства ДНК.
«Существует определённый риск, который не требует миллионов долларов на инфраструктуру, но эти риски существуют уже давно и не связаны с ИИ», — сказал Эндрю Уайт, соучредитель некоммерческой организации Future House и один из биологов, подписавших соглашение.
Биологи призвали разработать меры безопасности, которые не позволят использовать оборудование для производства ДНК с вредными материалами, хотя неясно, как эти меры будут работать. Они также призвали проверять безопасность и надёжность новых моделей искусственных интеллектов перед их выпуском.
«Этими технологиями не должно владеть лишь небольшое число людей или организаций, — сказал Рама Ранганатан, профессор биохимии и молекулярной биологии Чикагского университета, который также подписал соглашение. — Сообщество учёных должно иметь возможность свободно изучать их и вносить в них свой вклад».
Комментарии (48)
Lexicon
20.03.2024 15:56+5Очень любопытно, что под терроризмом подразумевается "желание тупиц навредить всем просто так". Основное отличие реального мира от боевиков в тч в том, что образованные люди не видят вектора, которым можно было бы на самом деле повлиять на мир, изменить его в хотя бы субъективно лучшую сторону, а не потребовать отпустить пару убийц из тюрьмы.
ИИ наверняка даст подобный вектор, в первую очередь мирный, - наделит людей, не способных к популизму ораторскими качествами, ослабит языковые барьеры, позволит упорядочивать и контролировать огромные системы силами небольших групп, а может и до рационального суда доживем.
Если ИИ даст другие вектора, что там сейчас считается терроризмом? Любое противостояние режиму? То возможно нас ждут интересные времена.
Я лично не могу представить ничего страшнее, чем планету, управляемую 80-летними необразованными, лицемерными и лживыми людьми даже через 30 лет. Мы вроде прошли приколы с "будущим для наших детей/детей детей/детей детей детей" обсуждениям, "кто был прав в 1800-1900-1950-2000 году и почему за это стоит умереть". Но некоторым людям все-равно так хочется бесконечно поддерживать эти системы в неизменном виде...
kivsiak
20.03.2024 15:56+4>Я лично не могу представить ничего страшнее, чем планету, управляемую
80-летними необразованными, лицемерными и лживыми людьми даже через 30
лет
Посмотрите на современных мировых лидеров.
Femistoklov
20.03.2024 15:56+1Я лично не могу представить ничего страшнее, чем планету, управляемую 80-летними необразованными, лицемерными и лживыми людьми даже через 30 лет.
Столько веков управлялась, а тут вдруг перестанет?
Zangasta
20.03.2024 15:56+3Столько веков управлялась, а тут вдруг перестанет?
Никогда не управлялась.
На планете всегда преобладала молодежь. Она и рулила по факту: "Армией управляю я и сержанты".
А сейчас ситуация изменилась. Впервые в истории. Спад рождаемости привел к тому, что молодежи стало меньше. А старички получили власть разделять и властвовать такую огромную, какой не бывало никогда в истории. При помощи технологий они могут отследить и подавить любой протест, любой бунт в зародыше.
Сложение этих двух факторов --- очень хорошо объясняет молчание вселенной, если вы понимаете о чем я.
Kolegg
20.03.2024 15:56Нафига оборудование для синтеза днк? На волне crispr-cas, появился дохренилион компаний, предоставляющих эту услугу.
AllexIn
20.03.2024 15:56Какое-то бредовое ограничение.
БОВ делается на коленке из доступных ингредиентов.
Для этого ИИ не нужен.
NP447
20.03.2024 15:56БОВ
Это химическое оружие. А речь про биологическое, нового поколения. Какие-нибудь генно-модифицированные бактерии, вирусы избирательного действия и так далее.
PanDubls
20.03.2024 15:56Избирательного -- бьющих по паспорту что-ли или уважающих государственные границы? По-моему, на данный момент применение биологического оружия (а я не могу припомнить ни одного прецедента его боевого применения в масштабах больше исторического курьёза в последние пару сотен лет) ограничивается скорее тем, что никто так и не придумал, как его применить с какой-то выгодой для себя.
Sithtsavak
20.03.2024 15:56Прикинь - чума или ковид уже не модно... есть двух и более доменные вирусы и белки, где каждый блок отвечает за своё действие. Например может заболеть только женская часть определённого года рождения и только из определённого региона, например бесплодием.. Или только мужчины определённого года рождения, служившие в таких-то частях и молившихся только в определённом храме в определённый период... И эт разработки начала 70х прошлого века....
Так вот искин может предложить доменные последовательности с заданными параметрами И! эти штаммы не надо хранить - можно составлять и продуцировать по необходимости...
Такой наборчик "сделай сам"....
PanDubls
20.03.2024 15:56И эт разработки начала 70х прошлого века....
Ну то есть они лежат на столе уже почти 60 лет и мы не наблюдали никаких попыток их применить.
RainAustin
20.03.2024 15:56Если цель истребление то будет просто вирус с таймером и антидотом, самый раз для войны. Сейчас всё больше разговоров об этом а подрбное оружие не требует тотального вложения средств в производство танков и самолётов.
PanDubls
20.03.2024 15:56А как сделать так, чтобы этот вирус истребил только злых недругов, а потом не истребил того, кто его применил? Особенно учитывая скорость, с которой в больших популяциях мутируют такие штуки. На всех антидота не напасешься, а если произведешь пару сотен миллионов вакцин -- то они неизбежно утекут, да и незаметно это не провернуть.
vikarti
20.03.2024 15:56Избирательного это когда негры в африке дохнут а американцы нет. Или наоборот.
Ну или арабы дохнут а евреи нет. Или наоборот.
Или русские дохнут а татары нет. Или наоборот.
Есть правда маленькие технические проблемы. В США тоже есть негры. И полукровки. Ну и про что можно найти если поскрести русского - помним? А вот евреи разумеется избранный народ и конечно же никогда не скрещивались с арабами.
antiquar
20.03.2024 15:56Вспомнилось..
Hidden text
На играх, утверждала Княжна, есть некоторое количество людей, как бы заигравшихся и утративших связь с объективной реальностью. Таких людей, заявила Княжна, совсем нельзя на игры пускать. И без них хватает проблем: например, некоторые ролевики прибегают на играх к запрещенным жестам, имеющим отношение к подлинной магии!
Кто в это не верит, продолжала Княжна, пусть имеет в виду — стоит ей (тут Княжна пристально посмотрела в зал) повелительно вскинуть руку, как стоящий перед ней человек мгновенно окажется под её полным контролем! Отсюда вывод: такие жесты нужно однозначно запретить, а если не удастся, то хотя бы ограничить их применение!
rezedent12
20.03.2024 15:56Я может чего то не понимаю, но разве уже существующее химическое оружие не достигает предела своей теоретической эффективности? А даже если не достигает, то какая практическая разница, между 2 и 5 килограммами для носителя в виде ракеты?
newartix37
20.03.2024 15:56Есть какие-то хорошо изученные и распространённые бактерии/грибки, ИИ по запросу какого-нибудь обиженного террориста может придумать способ, чтобы эти микроорганизмы так мутировали, чтобы могли более эффективно выживать и/или заражать людей. И вот этот террорист отправляет герметичную ампулу в условный Лондон... Не ракетой, почтой.
Или сливает результат эксперимента в унитаз/реку.
С поисковой системой чтобы воплотить такое в жизнь нужно изначально много знать, знать что искать. А БЯМ сама может предложить при правильном/подходящем промпте.
PanDubls
20.03.2024 15:56Сибирская язва, штамм которой можно буквально выкопать в случайном лесу под заботливо воткнутой табличкой с надписью СИБИРЕЯЗВЕННЫЙ СКОТОМОГИЛЬНИК (много черепов), будучи выпущенной в систему водоснабжения Лондона тоже никого не обрадует (весь город конечно не выкосит, но число жертв может оказаться весьма значительным). Почему этим до сих пор никто не воспользовался, кроме как в кино?
newartix37
20.03.2024 15:56Потому что такой вариант никто не подсказал на запрос "как проще всего убить миллионы людей". А почему публичные БЯМ на такие явные запросы не отвечает? Потому что авторы уже заложили ограничения. Про уточнение и регулирование подобных ограничений и идёт речь.
Понятно что никакие законы и регуляции не влияют серую зону, но обсуждать эти проблемы нужно.
YMA
20.03.2024 15:56+1Слишком много моментов, на которых можно потерпеть фиаско. Надо - выделить чистую культуру бактерий, получить споры, доставить их через несколько границ, проникнуть в охраняемую зону предприятия водоснабжения (а их в Лондоне 100% несколько), и как-то запихнуть споры в водовод - а там нет колодца с надписью "споры сыпать сюда", после фильтров и установки хлорирования/озонирования все закрытое и железное.
rezedent12
20.03.2024 15:56+4Думаю потому что наше представление о терроризме сформированное СМИ не верное.
У террориста нет задачи "убить как можно больше" и между ними нет спортивного соревнования по числу трупов.
Задачей террориста является испугать, обычно с целью последующего использования страха в политическом торге. В случае с массовыми убийствами нужно в большей степени не количество, а драматичность. При этом нельзя перегибать делая торг невозможным. Но и слишком часто нельзя проводить запугивания, поскольку к ним привыкают.
Террористы имеющие достаточные ресурсы, хотя бы организованность, позволяющую избегая слежки провести через границу опасное вещество или форму жизни. То есть либо деньги, либо готовность идти на риск и жертвы, в совокупности с тем что это больше 1 человека. Являются акторами системы, они могут заявлять сколь либо радикальные лозунги, но их цель в "швейцарском банке" на самом деле.
Одиночному террористу с огромной мотивацией, обычно сложно иметь полный набор компетенций. Для этого нужны:
фанатичность,
разносторонняя образованность,
высокие навыки общения и актёрской игры.
Выберите любые 2. Что бы пересечь границу через зелёный коридор нужно непринуждённо держаться. Что бы создать оружие, нужна образованность, а в условиях нехватки средств, разносторонняя образованность. Фанатичность же нужна для мотивации. А ещё каждая из этих черт, в том что нужно для её развития, мешает развитию других. Фанатичность и образованность обычно взаимоисключающие. Разносторонняя образованность и навыки общения тоже. Фанатичность может и социализации мешать, а главное социальной мимикрии. Из за чего субъект задолго до попыток осуществления своих планов, уже будет в списке потенциальных террористов.
Почитав комментарии, делаю вывод, что боятся именно варианта, когда террорист-одиночка сможет с помощью искусственного идиота компенсировать нехватку чего то одного как минимум. Скорее всего второго пункта.
neee3k
20.03.2024 15:56+3Десятки ведущих учёных подписали документ, направленный на предотвращение разработки биологического оружия при помощи ИИ
... но всем п*х*й и разработка продолжится!
ifap
20.03.2024 15:56+6Жалобы в Спортлото - чисто советская традиция, порицаемая реалистами и циниками, но открытое письмо в ЮНЕСКО и всем людям доброй воли - культивируемый веками вполне респектабельный способ публично произвести звуковые колебания в воздушной среде.
Plesser
20.03.2024 15:56Ну ок, в какой нибудь условной Европе прислушаются к ученным и примут закон запрещающий использовать ИИ в биологических исследованиях. Какой нибудь условный Китай продолжит использовать его. И смысл от этого закона?
RainAustin
20.03.2024 15:56Скорее поверю что ни кто не послушается так как не доверяют друг другу, а публично у нас и сейчас запрещено биологическое и химическое оружие. Даже мины вроде как не совсем законно и кассетные боеприпасы, но кому есть до этого дело?
vikarti
20.03.2024 15:56Вот вот. Есть например Moon threaty где кроме всего прочего много чего сказано про космос.
Соглашение распространяет международное право на Луну и все другие небесные тела, кроме Земли, включая орбиты вокруг этих тел и провозглашает принцип исключительно мирного использования Луны и других небесных тел, принцип равных прав всех государств на исследования небесных тел, принцип недопустимости претензии со стороны любого государства на распространение своего суверенитета на какое-либо небесное тело. Провозглашается, что Луна и ее природные ресурсы являются общим наследием человечества и государства-участники обязуются установить международный режим, включая соответствующие процедуры, для регулирования эксплуатации природных ресурсов Луны, когда будет очевидно, что такая эксплуатация станет возможной в ближайшее время.
Есть только одна мелкая техническая проблема с этим соглашением. У всех подписавших и ратифицировавших стран есть аж целый один космодром на всех. И тот эксплуатируется не-подписантом (Казахстан ратифицировал).
Y_Cloud
Неважно кто где подписался, расписался или о чём-то договорился. Любое перспективное оружие будет разработано, исследовано и испытано, просто делать это будут в тайне. А те, кому нужен результат, сами же дадут деньги на исследования.
Вы как будто первый день на планете живёте. Интересы превыше всего. Бизнес и государство не волнуют нормы морали. Оценят риски и вперёд.
Vsevo10d
Особенно еще забавны размышления, что кто-то может использовать это для терроризма. В мире и так полно опасной инфраструктуры, заводов и так далее, но очереди на их разрушение нет, намноооого чаще аварии из-за раздолбайства.
А что до терроризма, то увы, он существует там, где он кому-то нужен. Не было еще террористических, радикально-националистических, сепаратистских организаций, не подогретых основательно теми или иными лоббистами. Без денег Бен Ладен, Караджич, Дустум (кстати, недавно узнал, что он живет в Узбекистане в изгнании, интересно, что он сейчас думает с высоты прожитых лет, когда талибы ездят в Москву на переговоры??) просто бы тихо пердели в лужу от ненависти к своим оппонентам. Так что я бы запретил деньги, а не технологии.
DaneSoul
Отсутствие технологий, как кстати и денег, в древние времена не мешало полу-диким племенам вырезать соседей с помощью еще палко-каменных орудий.
kenoma
У тебя палка и у другого дикаря палка, так с точки зрения эволюции честно. А когда вундервафля у одного задохлика может уничтожить всю остальную популяцию этот механизм дает сбой, старайтесь не допускать такого.
asatost
Почему? Вы решили предъявить претензии эволюции, что она динозавров неправильно сконструировала?
Medeyko
Э, позвольте-позвольте! Эволюция динозавров отлично сконструировала! Они научились летать, и летают до сих пор. Организм птиц (оперённых динозавров) круто оптимизирован с точки зрения массоэффективности. У них даже размер ДНК оптимзирован - доля некодирующей (мусорной) ДНК у них очень маленькая, например.
asatost
Так спроецируйте на сообщение, на которое я отвечал и получится как раз то же самое.
Птицы (задохлики) отрастили перья и ужались в размерах, поэтому выжили, а вся остальная популяция была уничтожена. То, что метеорит (вундервафля) не находился под управлением задохликов, в общем-то, не имеет никакого критического значения. Поэтому совершенно непонятно, почему надо "стараться не допускать такого". Ведь для эволюции это совершенно штатная ситуация и с её точки зрения всё честно.
DaneSoul
А почему Вы сводите эволюцию сугубо к физической силе?
Племя задохликов оказалось умней и изобрело лук со стрелами и перестреляло с расстояния более сильное племя с палками - эволюция отобрала более умных вместо более сильных.
AlexSpirit
А потом в долину, из дальних степей, пришло не самое умное но крайне плодовитое и посему многочисленное племя у которого даже палок нет. В результате лучников просто затоптали ногами. А могли бы объединиться с племенем с палками, выстроить многоуровневую оборону и отбиться. Но увы. Кто-то ранее думал, что он самый умный.
Эволюция отбирает самых приспособленных, а не самых умных. Про ум, это одно из классических заблуждений о эволюции.
Wesha
Вот кстати да. Плодовитое племя, игнорирующее смерть, положит практически любое "продвинутое" племя, в котором цепляются за каждого индивида. Один пулемётчик может положить полторы тысячи условных зусулов, но 1501-й таки уложит пулемётчика, у которого перегрелся ствол (и кончились патроны).
AlexSpirit
В истории нашего вида было что-то подобное. Объём головного мозга неандертальца был больше, чем у нас. Но по итогу это мы их съели, придя из Африки, а не они нас.
uszer
С новым биологическим оружием, "усидчивый исследователь" будет как обезьяна с гранатой и выживут или живущие в естественной изоляции (типа сентинельцев), или вовремя забаррикадировавшиеся или те, чей организм по каким-то причинам не восприимчив к вирусу (например, по причине того, что переболели, например, бешенством, т.е. человек 5 на планету - найдется).
Пы.Сы.: Да, собственно, чего велосипед изобретать. "Колыбель для кошки" Курта Воннегута как раз о том же. Исследовать конечно будут. И конечно сделают. Так случилось (так должно было случиться). Такие дела.
RainAustin
В Африке это до сих пор происходит. Хотя местами копья сменили на калаши.
vikarti
Вот. С инфраструктурой опасной бы придумали что делать. Недавний же относительно пример. АЭС вокруг которой куча населенных пунктов. Военные действия на территории. Участники военных действий обвиняют что это противник нехороший обстреливает а ни в коем случае не мы а еще - как щит ее используют (ну или обвиняют текущего владельца если владелец не они) размещая там военную технику из расчета что противник не будет стрелять. Ну и ЛЭП ломали.
МАГАТЭ не делает по сути ничего, даже поездку согласовывали...долго. И потом - ничего.
Стоило бы придумать какой то механизм который бы обеспечил защиту опасного объекта от катастрофы, желательно не вырубая его и НЕ поднимая при этом вопрос кто при этом виноват (это можно ПОТОМ решить). Ну или наоборот прописать очень четкие и работающие правила кто отвечает в случае смены фактического контроля объекта и что делать - если мешают.
Это хорошо еще что тут более менее обе стороны - понимали с чем играют, персонал самой АЭС - тоже понимал, и у обоих сторон - были свои специалисты понимающие как работать с реакторами этого типа.
BlackMokona
"Без денег Бен Ладен "
Бен был крайне богат и он как раз финансировал всяких исламистов, а не его.
lealxe
Подписавшие живут не первый день, как и вы. Я когда-то общался с человеком, похожее подписавшим. Неважно, что это бессмысленно. Зато это стильно.
RainAustin
Именно капитализм, за деньги так и будет. А если будет тотальная заварушка то применят все что угодно лишь бы победить.
DaneSoul
Капитализму всего пару сотен лет, а заварушки разной степени глобальности существовали всю историю человечества, даже тогда когда еще и государств в их современном понимании не существовало. И точно также применялись все доступные на тот момент средства для победы и соответственно дележки территорий, ресурсов и власти.