Лидеры мира IT и науки подписали открытое письмо с призывом запретить разработку автономных военных роботов, о чем стало известно из официального пресс-релиза компании FutureOfLife, занимающейся созданием петиций и сбором подписей. Среди всем известных личностей можно выделить гениального физика Стивена Хокинга, сооснователя Apple Стива Возняка, и главу Tesla Илона Маска.
Из опубликованного текста следует, что решение о подписании появляется в умах действительно великих людей из-за угрозы очередной «гонки вооружений».
«Автономное оружие выбирает и стреляет в цели без человеческого вмешательства. Они могли бы, например, решить убрать того или иного человека, не соответствующего неким собственным критериям, так что это не относится к пилотируемым людьми дронам и крылатым ракетам. Технология Искусственного интеллекта (AI) достигла точки, где развертывание таких систем — если это не запретить — вполне реализуемый проект в течение ближайших десяти лет. Давайте мы напомним, что автономное оружие было описано ранее, как третья революция в войне после пороха и ядерного оружия», – гласит текст письма.
«Разумеется, многое говорит и в пользу автономного оружия. Например, фактически полная замена человеческого фактора на поле боя, а значит и сохранение большинства жизней участников войны. Но не стоит забывать, что создание подобного AI приведет к самым разрушительным последствиям: начнется гонка вооружений, а мы помним, до чего она довела в прошлый раз (карибский кризис – прим. авт.). Кроме того, данный вид оружия окажется достаточно дешевым, и подобные силы появятся на вооружении у многих армий мира, а того и гляди – у террористов. Автономное оружие идеально подходит для таких задач, как убийство, дестабилизируя при этом страны, подчиняя население и выборочно убивая особую этническую группу.
Как и химики с биологами когда-то поддержали запрет на ядерное оружия, так и сотрудники компаний по созданию интеллектуального оружия должны воспротивиться этому, ибо создание такого средства уничтожения просто снизит нашу социальную значимость.
Мы считаем, что знаний и умений у AI не достаточно для совершения чего-то действительно стоящего и полезного для человечества, так пускай они на это и ориентируются. Начинать гонку интеллектуальных автономных вооружений – очень плохая идея и должна быть предотвращена посредством запрета на создание смертельного оружия вне человеческого контроля», — завершается обращение к мировому сообществу.
Как ожидается, петиция будет официальна зачитана в ходе международной конференции по искусственному интеллекту в Буэнос-Айресе.
Комментарии (44)
vintage
28.07.2015 16:59-3Рано или поздно такое оружие будет создано. И хорошо, если оно будет создано корпорациями, а не неизвестными террористами на коленке.
vasimv
29.07.2015 11:40+1Неизвестные террористы на коленке не смогут организовать производство сложной полупроводниковой продукции.
Sadler
29.07.2015 12:45Им и не надо. Какой-нибудь Raspberry Pi + face detector (можно даже не распознавать конкретные лица, просто факт наличия лица) + платформа со снайперской винтовкой и камерой — идеально для целей массового уничтожения живой силы. Только желательно натренировать систему делать поправки для большей точности на дистанциях и при стрельбе по движущимся целям. Если хочется большей безопасности для своей террористической группировки, можно добавить исключение в алгоритм. В простом случае, скажем, банально по цвету одежды отличать.
vasimv
29.07.2015 14:36Найдут такого горе-умельца довольно быстро.
Sadler
29.07.2015 16:04+1Террористов это мало интересует. Они за идею готовы умирать и убивать.
vasimv
29.07.2015 16:30-1Среди тех, кто с rasberry pi умеет обращаться — не так много таких, вообще-то.
massimus
30.07.2015 04:36+1А среди тех, кто может дать немного денег тем, кто прикрутит нужную плату к нужной железке?
spice_harj
30.07.2015 14:09я Вас умоляю… хорошисты-выпускники с вузов, которым надо бы «подзаработать» за неделю-две разбираются с любой технологией и уже тыкают везде и всюду, не хуже хацкеров заморских.
mukizu
29.07.2015 18:10Террористы вообще редко что-либо производят, но охотно покупают. Так что «создать» как в «создать с нуля» — не смогут, а вот купить по частям и собрать — вполне.
allter
29.07.2015 12:14+1Корпорациями вроде Британской Ост-Индской Компании или Вест-Индских компаний? Ой, не надо. (Но идеи запрета и обсуждаемого — глупы.)
Zenitchik
28.07.2015 18:28+8Такое оружие уже существует. Называется «мина».
LexB
28.07.2015 19:36Или вот это Границу Южной Кореи охраняют роботы-пулеметчики.
AdvanTiSS
29.07.2015 19:20-1«Решение о ведении огня на поражение принимают уже те самые пограничники»©
это не автономное оружие
GeckoPelt
29.07.2015 11:59www.saper.etel.ru/mines-2/nvu-p.html
Прибор надежно идентифицирует движение человека (ходьба, бег, переползание медленное или быстрое, перемещение на лыжах) и выделяет его на фоне движения техники и животных в любых условиях почвы и погодных условиях
massimus
28.07.2015 21:56Всё вроде верно, доверять алгоритмам жизни людей вроде как стремновато; с другой стороны — в транспорте это уже сегодняшний день, и автоматика показывает не худшую, а то и лучшую безопасность, чем wetware. Надеюсь, использование автоматики в войнах рано или поздно дойдёт до логического завершения «роботы против роботов», а человечество будет наблюдать «горячие точки» перед телеком с попкорном, как оно уже делает, только без необходимости гробить живых людей.
> данный вид оружия окажется достаточно дешевым, и подобные силы появятся на вооружении у многих армий мира, а того и гляди – у террористов
А запретим — и будет только у террористов. Ардуину к трактору с пулемётом прикрутить денег и (или) ума хватит у кого угодно, это не ядерное оружие.
Контролировать соблюдение запрета опять же как? По закупкам микросхем и сервомоторов?allter
29.07.2015 14:13> а человечество будет наблюдать «горячие точки» перед телеком с попкорном, как оно уже делает, только без необходимости гробить живых людей.
Как бы не так. Теоретически наличие ОМП у ведущих держав должно было привести к сидению перед телеком (т.к. война была бы между молчаливыми боеголовками, спящими в своих шахтах). На практике количество конфликтов, возможно, даже увеличилось, а люди продолжают гибнуть.
KivApple
29.07.2015 15:49Ну… между странами, у которых есть ядерное оружие, таки прямых конфликтов больше в принципе нет. Вооружённые конфликты перенеслись в страны третьего мира, а в противостоянии между сверхдержавами используются лишь невоенные средства давления типа санкций.
allter
29.07.2015 15:57И что, пусть «негры» из третьего мира и «отпускники» погибают и дальше? Мой коммент был в том, что никакой прогресс не заменит в политике человеческих жертв. Хотя было бы здорово и в фантастике где-то было описано, как спорт использовался как средство решения споров (давно и наивно, ещё до ломания ног соперницам по соревнованиям).
KivApple
30.07.2015 02:05Скорее я имел ввиду, что ОМП таки изменило ход войн, правда лишь для стран-владельцев этого ОМП. А значит автономные дроны тоже вполне могут изменить. Но приобрести такие системы позволит себе гораздо больше стран.
При достаточном уровне развития дроны создают такую ситуацию, что прежде чем пойти крошить население страны, надо сначала прорваться через её автоматизированную оборону. С другой стороны после уничтожения всех защитных дронов, сопротивление практически бессмысленно, потому что любая обычная армия будет покрошена в капусту дронами без особых проблем, да и не будет этой армии, либо она будет крайне малочисленна после перехода на роботизацию.
В итоге мы получаем два сценария, в которых жертв не будет совсем:
1) Оборонные системы успешно отразили нападение. Ни одного погибшего ни с одной стороны (либо очень мало из-за парочки таки прорвавшихся дронов).
2) Оборонные системы не смогли сдержать нападавших, население благополучно сдалось, потому что все остальные варианты являются стопроцентным самоубийством.
Не случайные жертвы будут только в двух случаях:
1) Население страны слишком самоотвержено, хотя шансов на победу нет никаких (хороший дрон невозможно победить, не используя другого дрона).
2) Нападающая страна хочет геноцида.
Поскольку в 21-ом веке войны ведуться в основном за ресурсы, а не из-за личной неприязни (да и за такие мотивы тут же обвинят в нацизме), то второй вариант почти исключён. А с первым ничего поделать нельзя ни в каком случае. Но хотя бы у победившей страны потерь не будет и она таки будет следить за войной только с экранов телевизоров.massimus
30.07.2015 05:12Спасибо за развёрнутый ответ, я как-то на бегу быстро набросал реплику в никуда. Из похожего представления о возможных сценариях развития событий я и исходил в своих фантазиях.
Принципиальная возможность борьбы только между машинами возможна и желательна. Да, это оставляет открытой проблему внедрения демократии на любой нефтеносной территории или присоединения заветного побережья при буче у соседей.
Но недопущение насилия при явно превосходящих силах или спортоподобное сражение машин в нейтральной арендуемой пустыне между принципиально равносильными державами — пусть пока мечта, но именно благодаря автономному оружию реализуемая. И, как показала упоминавшаяся здесь холодная война с гонкой вооружений, — может быть на данном этапе непонимания сдерживающим, а заодно и упрощающим фактором: исход войн может быть всё больше завязан на экономический фактор. Сейчас всё-таки пока очень важен такой параметр, как количество готовых на смерть граждан. Это даёт пока локальные преимущества тоталитарным образованиям с ничтожной ценой личности и преувеличенной ценностью государства. Автоматика может изменить перевес. В любом случае не успеешь нарожать столько мальчишек, сколько успевает уничтожить сотня автономных повозок, даже если ты страна-миллиардник.
Из минусов — сокращение количества полюсов в мире, читай противоестественные монополии (в принципе гасимые альянсами). С другой стороны, аналогичные тенденции в экономике дают не только вредные эффекты, в гипермаркеты большинство регулярно ездит закупаться отнюдь не оттого, что под боком нет магазинов.
Ну и не будем забывать, что сошедший с ума бот всё равно может уничтожить меньше нерелевантных жертв, чем обезумевший живой командир. Пока статистика «самолёты на автопилоте vs. автомобили с психами внутри» в пользу первых.
vasimv
29.07.2015 14:24Роботы же не в пустыне будут между собой воевать. Они будут воевать в городах, друг против друга и против людей другой стороны. Спокойно сидя у телевизора за этими войнами не последишь — ближайший робот может в светящееся окно квартиры гранатометом выстрелить на подозрительный шум (из этого самого телевизора).
YouraEnt
28.07.2015 22:32+1Стивен Хокинг и Илон Маск трактуют свою позицию немного странно. Лично я не уверен, что понимаю чего именно они боятся. Например, Джофри Хинтон изъясняется более ясно. Конечно, хотелось бы знать его позицию более развёрнуто. Но я понимаю почему он подписался под этим письмом. Подписались многие. Но Курцвейла почему-то там нет.
allter
29.07.2015 14:24+1Я так понимаю, что они хотят сказать: "[Эйнштейн предложил/поддержал ЯО, но высказал сожаление.] Химики и биологи создали химическое и биологическое оружие и высказали сожаление. [Наши Predator`ы убивают людей за тысячи миль от наших континентов (используя давным давно известные алгоритмы CS/AI),] а мы просто сейчас выскажем сожаление и ляжем спать с чистой совестью."
YouraEnt
29.07.2015 15:57Если люди хотят поубивать друг друга, то учёные здесь не при делах. Важно донести до общественности позицию.
allter
29.07.2015 16:15А смысл такого донесения?
Кстати, я тут вспомнил, что этот Маск (из числа видных подписантов) не так давно жаловался, что американцы доставляют оборудование на орбиту для поддержки убийств людей по всему миру не его ракетами, а чужими (с применением российских двигателей). Выходит, Маск хотел сам участвовать в убийствах людей по всему миру (например, с помощью передачи сигналов на Predator`ы). И при этом в его ракетах используются технологии ИИ (в определении другого подписанта Питера Норвига), к примеру, для управления посадкой первой ступени на баржу. Получается, он — идиот, протестует против себя?
Вряд ли. Скорее всего, господа из натовских стран (многие из которых наверняка получают гранты на исследования из DARPA) решили банально полицемерить, подпитав прослойку цивилизации и гуманизма, отделяющую производящую часть западного мира от крови и насилия, которые он сеет за своими пределами для поддержания своего статус-кво…YouraEnt
29.07.2015 22:01Вряд ли наше обсуждение должно переходить на тему глобальной геополитики. Я бы хотел рассматривать конкретных людей. По поводу ракет Маска я бы хотел узнать больше фактов и, возможно, услышать мнение самого Маска по этому поводу.
Что касается смысла этого донесения. Смысл в том, чтобы люди услышали и задумались о том, что надо быть ответственнее в каких-то вопросах. Возможно, должны быть социальные институты, занимающиеся регулированием влияние технологий на человека.
Stalker_RED
29.07.2015 15:56<теория заговора>
А может позиция выглядит странно просто потому, что они что-то ЗНАЮТ, но не могут разглашать!!1
</теория заговора>YouraEnt
29.07.2015 16:02Практика показывает плодотворность суждений основанных на фактах.
А вообще, да, теоретически всё может быть. Они могут быть инопланетянами :)
i360u
29.07.2015 13:50А до чего довела гонка вооружений в прошлый раз? До того, что полностью заменила собой третью мировую войну? Ох не все так однозначно… Основная задача искуственного интеллекта, в данном аспекте, не дать человечеству, в очередной раз, «выстрелить себе в ногу», из-за пресловутого человеческого фактора. Если это будет решаться с помощью автономного оружия — то и ладно. Все равно, рано или поздно, оно появится, так пусть хоть окажется в руках более-менее адекватных держав (которые сейчас могут себе такое позволить).
Sketch_Turner
29.07.2015 14:07Сильные мира сего тупо боятся, что люди станут свободны, ведь AI освободит от рабства, в котором мы все до сих пор находимся. Ну а чтобы ничего не вызывало подозрения и большинство поверили, что AI зло, используют известных и уважаемых людей, к которым будут прислушиваться. Вот и всё.
Foror
29.07.2015 20:46Что за нытики? Так или иначе ничего не остановят, слишком они жалки по сравнению с эволюцией.
SLY_G
Приведите пример ситуации, когда политики и военные прислушались к опасению учёных.
adiunov Автор
Киотский протокол
madfly
США не ратифицировали, Канада вышла из протокола.
Nepherhotep
Да и Киотский протокол не связан с военными технологиями.