Автономное оружие — роботы-убийцы, способные атаковать без участия человека — это очень опасный инструмент. По этому поводу нет никаких сомнений. Как изложили в своём открытом письме в ООН подписавшиеся под ним Илон Маск, Мустава Сулейман [сооснователь ИИ-компании DeepMind / прим. перев.] и другие авторы, автономное оружие может стать «оружием устрашения, оружием, которое тираны и террористы смогут использовать против невинного населения, оружием, которое можно будет взломать и заставить работать нежелательными способами».
Но это не значит, что ООН должна ввести превентивный запрет на дальнейшие исследования подобного рода оружия, как призывают авторы письма.
Во-первых, иногда опасные инструменты нужны для достижения достойных целей. Вспомните о геноциде в Руанде, когда мир стоял в стороне и ничего не делал. Если бы в 1994 году существовало автономное оружие, возможно, мы бы не смотрели в сторону. Кажется вероятным, что если бы стоимость гуманитарных интервенций можно было бы измерить только деньгами, было бы проще получить поддержку общественности на подобные интервенции.
Во-вторых, наивно полагать, что мы можем наслаждаться преимуществами недавних прорывов в ИИ, без того, чтобы не испытывать и некоторые из их недостатков. Допустим, ООН введёт превентивный запрет на любые технологии автономных вооружений. Также допустим — уже довольно оптимистично — что все армии мира будут уважать этот запрет, и отменят программы разработки автономного оружия. И даже тогда нам всё равно придётся беспокоиться по этому поводу. Робомобиль можно легко превратить в автономную систему вооружения: вместо того, чтобы объезжать пешеходов, можно научить его переезжать их.
Говоря обобщённо, технологии ИИ чрезвычайно полезны и уже проникают в нашу жизнь, даже если иногда мы этого и не видим и не можем полностью осознать. Учитывая это проникание было бы близоруко думать, что можно запретить злоупотребление технологиями, просто запретив разработку автономного оружия. Возможно, именно сложные и выборочно действующие системы автономного вооружения, разрабатываемые разными армиями по всему миру, смогут эффективно противостоять более грубому автономному оружию, которое легко разработать, перепрограммировав кажущуюся мирной технологию ИИ, такую, как те же робомобили.
Более того, идея о простом запрете на международном уровне выдаёт чрезмерно упрощённый подход к рассмотрению автономных вооружений. Такая концепция не признаёт долгой истории причин и следствий действий и договорённостей разных стран между собой и в одиночку, которые путём тысяч мелких действий и упущений привели к развитию таких технологий. Пока дебаты об автономном оружии ведутся в основном на уровне ООН, можно простить среднего гражданина, солдата или программиста за то, что он не предполагает у себя моральных обязательств за вред, наносимый автономным оружием. Но это очень опасное предположение, которое может привести к катастрофе.
Все люди, которые каким-то образом имеют отношение к технологиям автоматического вооружения, должны проявлять должную осмотрительность, и каждый из нас обязан тщательно думать о том, какой вклад его действие или бездействие вносит в список потенциальных опасностей этой технологии. Это не значит, что у стран и международных агентств нет своей важной роли. Это подчёркивает тот факт, что если мы хотим устранить потенциальную опасность автоматического оружия, то необходимо пропагандировать этику персональной ответственности, и эта пропаганда должна дойти до самых нижних уровней, на которых принимаются решения. Для начала чрезвычайно важно подробно и полностью рассказывать о развитии автономного вооружения — включая и следствия действий всех тех, кто принимает решения на всех уровнях.
Наконец, иногда утверждается, что автономное оружие опасно не потому, что этот инструмент опасен сам по себе, а потому, что оно может стать самостоятельным и начать действовать в своих интересах. Это ошибочное заблуждение, и к тому же, эту опасность запрет на разработку автономного вооружения никак не поможет предотвратить. Если сверхинтеллект — это угроза для человечества, нам срочно необходимо искать способы эффективно противостоять этой угрозе, и делать это независимо от того, будет ли и далее разрабатываться технология автоматического вооружения.
Открытое письмо к Конвенции Объединённых Наций по поводу некоторых обычных видов вооружения
Поскольку некоторые компании создают технологии, связанные с искусственным интеллектом и робототехникой, которые можно перенаправить на разработку автономного вооружения, мы чувствуем особую ответственность за поднятие этой тревоги. Мы тепло приветствуем решение конференции ООН по принятию «Конвенции о конкретных видах обычного оружия» о назначении группы правительственных экспертов (Group of Governmental Experts, GGE) по летальным автономным системам вооружения. Многие из наших исследователей и инженеров готовы давать технологические консультации для помощи в рассмотрении этого вопроса.
Мы одобряем назначение посла Амандипа Сингха Гилла от Индии председателем GGE. Мы просим Высокие Договаривающиеся Стороны, участвующие в GGE, активно работать над поиском способов предотвращения гонки такого рода вооружений, защиты граждан от их неправильного использования и избегания дестабилизирующих эффектов этих технологий. Мы сожалеем, что первая встреча GGE, назначенная на август 2017 г ода, была отменена из-за того, что некоторые страны не сделали финансовый взнос в ООН. Мы призываем Высокие Договаривающиеся Стороны удвоить усилия на первой встрече GGE, которая должна состояться в ноябре.
Детальное автономное оружие угрожает совершить третью революцию в военном деле. После его разработки оно позволит вести военные конфликты на масштабах, невиданных ранее, и на временных отрезках меньших, чем способен воспринять человек. Оно может стать оружием устрашения, оружием, которое тираны и террористы смогут использовать против невинного населения, оружием, которое можно будет взломать и заставить работать нежелательными способами. У нас осталось мало времени. После открытия этого ящика Пандоры его будет уже сложно закрыть. Поэтому мы просим Высокие Договаривающиеся Стороны найти способы защитить нас всех от этих угроз.
Комментарии (46)
igruh
26.12.2017 14:18Если уж бояться, то бояться надо автономных фабрик по производству автономного оружия.
Neuromantix
26.12.2017 14:23Моего внутреннего параноика волнует один вопрос: «Не является ли автономным оружием абсолютно любая самообучающаяся система?»
Поясню: помнится. была популярная программа. которую обучали на собаках, и она всюду видела собак. Не получится ли по схеме «когда под рукой нет ничего. кроме молотка, все вокруг кажется гвоздями»? Не будет ли программа, обученная на поиск террористов/преступников/мошенников и тп видеть их в итоге в каждом человеке? В итоге получается даже не автономное оружие, а обезьяна в контейнере с гранатами. а бюрократы при этой обезьяне будут отписываться «ну, мы все понимаем, но компьютер показал...» И в итоге «Особое мнение» и «Черное зеркало» окажутся райскими утопиями.
Тут где-то была статья. что даже создатели всех этих «вумных» нейросетей не понимают, как оно работает. Не получится ли на выходе вместо искусственного интеллекта искусственный шизофреник с навязчивыми идеями и неограниченными полномочиями?
1234rfvb
26.12.2017 14:33даже создатели всех этих «вумных» нейросетей не понимают, как оно работает. Не получится ли на выходе вместо искусственного интеллекта искусственный шизофреник с навязчивыми идеями и неограниченными полномочиями?
Вот это вот про что было? Вроде Хабр без политики объявлен?
А автономным системам обороны/нападения- быть, хотим мы этого или не хотим. Слишкон ненадёжны эти людишки. И подкупить можно…TorynVeider
26.12.2017 15:55а автономную систему- взломать.
Гораздо правильнее не запрещать, а создавать условия, где это не нужно.
зы.
я бы сказал- автономным системам быть. а уж обороны\нападения или строительства\исследования это уже дело приоритетов
Dgoneee
26.12.2017 15:55Ну если задуматься почему северной Кореи нельзя обзавестись своим ядерным оружием, ведь США и России можно?
SLY_G Автор
26.12.2017 16:01На самом деле нет никаких «можно» и «нельзя», это детские понятия. Есть право сильного, которое какое-то время прикрывали политической риторикой, но сейчас оно уже торчит через это покрывало, как шило из мешка. Те, у кого есть большая дубинка, не хотят, чтобы она появилась у кого-то ещё, веть тогда с ним тоже придётся считаться.
ildarz
26.12.2017 16:59"Право сильного" — это излишне упрощенная трактовка. Те, у кого ядерное оружие есть сейчас, при всех своих недостатках все-таки немного переросли ядерный шантаж. Никто из них не хочет применять ЯО. А вот что будет в голове у очередного исламского пророка, пожелавшего разрушить очередную Пальмиру, не знает никто, поэтому контроль тут нужен в первую очередь ради самосохранения.
Другое дело, что запрещать имеет смысл только то, что в принципе возможно контролировать. И, если в случае с ЯО это худо-бедно работает, то с автономным оружием это не выглядит реальным.
exehoo
26.12.2017 17:36Думаю, имеет значение еще и принципиальная возможность извлечения прибыли из военной технологии в быту — пылесосы-беспилотники, микроволновки с искусственным интеллектом и комбайны с вертикальным взлетом обходят запреты по всем фронтам. А с ядерной бомбой такое не прокатит, поэтому можно с чистой совестью ее запрещать.
Dobryak88
29.12.2017 16:50Динамит частенько используется используется в мирных целях, хотя разрабатывался он всё же в целях военных. Разработки атомного оружия дают отклик в промышленных и энергетических сферах. Очень сложно нащупать границу, что можно и что нельзя изучать/разрабатывать.
immaculate
27.12.2017 11:54Эти «пророки» не появляются из вакуума. У них есть мощные кукловоды и спонсоры, неспроста они всегда появляются в нужном месте и в нужное время.
Hardcoin
27.12.2017 12:59Никакой кукловод или спонсор не сможет сделать пророка из человека, которому нечего сказать. Так что в первую очередь пророк, а во вторую — его продвижение и поддержка в нужном русле.
Sun-ami
26.12.2017 21:37Предотвратить массовое вооружение армий роботами нереально — армия, имеющая их, получит массу преимуществ, поэтому гонка вооружений в этой сфере неизбежна. Реально минимизировать шансы на реализацию самых худших сценариев с их использованием — терактов, геноцида, диктатуры. Для этого нужно сделать всё, чтобы большое количество роботов не могло оказаться под контролем малого числа людей, или, тем более, единого компьютерного центра. То есть каким бы ни было соотношение числа роботов и людей в армии — большинство военных должно участвовать в контроле над роботами, а один человек должен контролировать роботов с минимально возможной боевой мощью. Для этого во всю автономную боевую технику должны быть встроены механизмы гарантированного отключения автономного и дистанционного управления, причём отдельно для каждой из функций — передвижения, прицеливания, тактического управления. Всё это должно включаться только при необходимости, а в мирное время — никогда массово. Каждая из функций должна блокироваться несколькими ключами — механическим, электронным, и паролем. Эти ключи должны быть доступны только нескольким людям, и эти люди должны нести всю ответственность за последствия противозаконной активации автономного или дистанционного управления вооруженных роботов. Для того, чтобы предотвратить незаконное использование боевых роботов военными, во всех роботов помимо основного механизма управления, доступного военным, должны быть встроены один или несколько альтернативных каналов для блокировки управления, контролируемых другими госструктурами. А чтобы армия роботов не оказалась на службе диктатуры — их разработчикам стоит оставлять для себя бэкдоры, чтобы, объединившись, они могли эту армию деактивировать.
hokum13
26.12.2017 21:48Простите, а это только я не понимаю как «hk-47» смог бы спасти пол миллиона-миллион тутси? Там же чистой воды отсутствие политической воли, а не отсутствие инструмента для предотвращения геноцида.
Victor_koly
27.12.2017 09:53Вместо полмиллиона тутси роботы убили бы 50 тысяч их врагов.
Hardcoin
27.12.2017 10:26И кто бы это приказал? И почему он не смог приказать живым солдатам, но смог бы — роботам?
Victor_koly
27.12.2017 11:28Приказать можно и тем, и тем. Другой вопрос — кто из них захотел бы выполнить такой приказ.
Hardcoin
27.12.2017 12:00Точно-точно проблема в этом? Хотели приказать, но, беда, солдаты ведь откажутся останавливать геноцид, не будем приказывать?
Вы так видите ту ситуацию или это вы в целом? Если в целом, то утверждение верное, роботы наверняка будут более послушные. И, кстати, их послушность будет важна не столько в спасает от геноцида, сколько в его организации, когда кому-то это захочется в следующий раз.
wickated
26.12.2017 23:57Роботы-террористы страшны могут только из-за зловещей долины, не более. Мне как мясному мешку куда страшнее живой террорист-смертник. Его готовность умереть куда страшнее куска железа, не осведомленного о всяких гуриях. Это к вопросу террора. А в военных применениях не имеет значения — робот всё равно управляется человеком, сам себя не включит и оружие из оружейной комнаты не возьмёт.
Idot
27.12.2017 11:44Страшны — не роботы-террористы, а страшны автономные роботы-солдаты, потому что у них абсолютно никак с возможностью отличить врага от гражданского нонкомбатанта, и всё что они могут — это действовать по принципу "убивайте их всех! Господь на Небе узнает своих!".
Victor_koly
27.12.2017 11:53Критерий против гражданских — не атакуй тех, кто не назначен целью (приказ командира) или не напал на тебя.
P.S. В одной стране и полицейские могут стрелять по мальчику с игрушечным пистолетам.
Hardcoin
27.12.2017 12:04Если человек может отличить по внешнему виду, то робот тем более сможет. Более точно, чем 80% солдат. Если уж он породы кошек распознает лучше людей.
Sun-ami
27.12.2017 14:22Такую возможность можно и нужно добавить, установив на них радар. Тогда они смогут отличать комбатантов по принципу: есть металл рядом с телом — вероятно это — оружие.
exehoo
27.12.2017 15:37А костыли и протезы — это и есть металл рядом с телом, т.е. вероятно это — оружие? =)
Sun-ami
27.12.2017 19:58Если гражданские будут знать о том, что автономные роботы считают оружием — они не будут использовать в зоне боевых действий металлические костыли, протезы (кроме, конечно, эндопротезов), и отбросят от себя любые металлические предметы при первых признаках их приближения.
exehoo
28.12.2017 13:09Ага. Гражданские в итоге будут бегать нагишом и жить в экологически-чистых землянках без единого гвоздя. =)
Bhudh
28.12.2017 16:52В «Дне Шакала» Форсайта и был расчёт, что костыль оружием не признают.
exehoo
28.12.2017 17:07Если автономный робосолдат вознамерится превентивно уничтожить всё, что способно стать оружием и навредить ему лично, то он должен будет искрошить все костыли, палки, камни, разбомбить все металлургические заводы, цементные склады, и утопить в океане всю жевательную резинку в мире (а океаны заморозить, во избежание коррозии).
ZuOverture
29.12.2017 16:50Так ведь в том и дело, что довольно скоро будет создан относительно слабый ИИ, который сможет и оружие взять, и некоторых (а может и всех) людей определять в класс подлежащих уничтожению. Да, от людей будет зависеть степень его автономности, но в силу разных причин, о которых речь в статье, ему этой автономности могут дать больше чем следовало бы, и это может вылиться в нечто похуже шахидов с поясами. В конце концов смертника надо долго натаскивать на готовность умереть, а у куска кремния достаточно выставить нужный флажок в настройках.
Farxial2
27.12.2017 15:04Просто людям пора включить мозг и прекратить проявлять по отношению друг к другу зло любого рода — оно должно быть признано моральной раковой опухолью и выжигаться калёным железом на всех возможных уровнях.
Victor_koly
27.12.2017 16:19Предалагаю начать с руководства стран, обладающих ЯО.
hokum13
27.12.2017 19:53Предлагаю создать для этого автономного робота-убийцу…
Victor_koly
27.12.2017 22:59Вы хотя бы не из РФ пишите этот коммент? Я ведь не говорил, что имею в виду Кима из Кореи.
hokum13
28.12.2017 10:37Из РФ, а в чем проблема? Мне честно говоря после таких фраз в штатах страшнее было бы.
Victor_koly
28.12.2017 12:38Товаришь Дональд лично мне ничего плохого не сделал.
hokum13
30.12.2017 03:33оффтопТоварищей в клубе лидеров ядерного клуба только два, товарищ Ын и товарищ (а вот здесь сомнительно) Си, остальные в этом клубе исключительно господа.
Bakanohito
29.12.2017 16:50Какая мне разница, кем будет выпущена пуля, которая меня убьет: простым солдатом, удаленным оператором какого-нибудь беспилотника, или ИИ?
OKyJIucT
Кому надо, тот и с существующим запретом будет делать. Чем Северная Корея и ее ядерная программа не пример?
На мой взгляд, надо не запрещать что-то, а создавать условия, в которых это «что-то» будет без надобности. Конечно, это сложнее, но разрабатывать и тратить огромные средства на гонки вооружений тоже не самая простая задача, и далеко не самая дешевая. И создать благоприятные условия для развития общества я думаю будет значительно дешевле. Но кому это надо? Явно не тем, кто покупает оружие, и уж точно не тем, кто его продает.
Harr
Я, возможно, идеалист, но почему-то хочется верить, что люди, вооруженные ИИ (не важно в каком контексте), будут превосходить автономных ИИ в своих возможностях. Это мне видится наиболее правдоподобным вариантом развития событий
Victor_koly
Главное — не начать учить Alpha Go реальным военным стратегиям.
P.S. Тут я хотел добавить, что есть 2 крайних варианта на тему «люди, вооруженные ИИ» vs «автономные ИИ»:
1. Автономный ИИ на тактическом уровне управляет подразделением явно меньше полка. Он не передает информацию (как вариант — далеко не полную передавал бы) каким либо ИИ более высокого уровня, а передает соответсвующим генералам и полковникам — стратегическому уровню (тут ещё был бы оперативно-тактический уровень, но я науку «тактика не учил»).
2. Все наоборот.
На стратегическом уровне работает ИИ, на тактическом — живые бойцы. У живых бойцов могут быть свои тактические примочки. а суммарная производительность или объем оперативной памяти всех этих «примочек» в подчинении ИИ могут превышать аналогичную величину у центрального ИИ.
«Люди превосходят ИИ» — часто такое в НФ относят к космическим боям типа «авиация» — идея о том, что на таком уровне человек может быстро производить неожиданные решения. Результатов проверки на американских пилотах в боях против ИИ не помню.
vassabi
pasetchnik
Не знаю, насчет тактических решений, но вспомнилось, что лет 8 назад на уроках по аэродинамике, преподаватель нам говорил, что уже тогда некоторое количество маневров, вроде уклонения, самолет производит «самостоятельно» и пилот во время них даже частично теряет сознание от перегрузок.
(правда не уверен, команду на этот маневр принимает местный БортКомпьютер или отдает сам пилот)
Victor_koly
Идея о самолетах, совершаюших маневры с пергрузками 12 «же» придумали давно. Кусок кремния перегрузки выдерживает, человека удаляем.