По мере совершенствования ИИ военных роботов суть войны меняется
Чешский писатель Карел Чапек в 1920 году написал пьесу R.U.R. (Rossum’s Universal Robots, “Россумские универсальные роботы”), в котором подарил миру слово «робот». В его пьесе всё начинается с искусственных людей – роботов, которые трудятся на фабриках и производят недорогие товары. А заканчивается всё тем, что роботы уничтожают человечество. Так и родился долгоживущий сюжет НФ: роботы выходят из-под контроля и превращаются в неудержимые машины для убийства. Литература и кино 20 века продолжают снабжать нас примерами роботов, разрушающих мир, а Голливуд постоянно превращает его во франшизы-блокбастеры: Матрица, Трансформеры, Терминатор.В последнее время страх превращения фантастики в реальность поддерживается стечением обстоятельств, среди которых – усовершенствования ИИ и робототехники, распространение военных беспилотников и наземных роботов в Ираке и Афганистане. Крупнейшие державы разрабатывают интеллектуальные вооружения с разными степенями автономии и летальности. Большинство из них в скором времени будут удалённо контролироваться людьми, без команды которых робот не сможет нажимать на спусковой крючок. Но, скорее всего,- а по мнению некоторых, даже вне всякого сомнения,- в какой-то момент роботы смогут действовать полностью автономно, и в военном деле будет перейдён Рубикон: впервые набор микрочипов и ПО будет решать, жить человеку или умереть.
Неудивительно, что угроза появления роботов-убийц, как их ласково прозвали, привела к страстным дебатам. По разные стороны спора находятся те, кто боится, что автоматическое оружие начнёт всеобщую войну и уничтожит цивилизацию, и те, кто утверждает, что новое оружие – всего лишь очередной класс оружия точного наведения, который уменьшит, а не увеличит количество жертв. В декабре более ста стран будут обсуждать этот вопрос на встрече НАТО по разоружению в Женеве.
Беспилотник, контролируемый людьми
Пушка «Фаланга», способная стрелять самостоятельно
В прошлом году подобное обсуждение попало в новостные ленты, когда группа ведущих исследователей ИИ призвала запретить «автономные наступательные вооружения, работающие без осмысленного контроля человека». В открытом письме на международной конференции по ИИ группа исследователей отметила, что такое оружие может привести к международной гонке ИИ-вооружений и быть использовано для заказных убийств, дестабилизации наций, подавления народов и выборочного уничтожения этнических групп.
Письмо подписало более 20000 человек, включая таких известных личностей, как физик Стивен Хокинг и предприниматель Илон Маск. Последний в прошлом году пожертвовал $10 миллионов бостонскому институту, занимающемуся защитой жизней людей от гипотетической угрозы недоброжелательного ИИ. Учёные, организовавшие написание письма – Стюарт Рассел из Калифорнийского университета в Беркли, Макс Тегмарк из MIT и Тоби Уолш из Университета Нового Южного Уэльса в Австралии – развёрнуто объяснили свою позицию в статье для журнала IEEE Spectrum. Например, по одному сценарию возможно появление «на чёрном рынке большого количества недорогих микророботов, которые могут быть размещены одним человеком, а убить смогут тысячи или миллионы людей, подходящих под критерий пользователя».
Также они добавили, что «автономное оружие способно стать оружием массового поражения. Одни страны могут запретить его использование, а другие страны, и, конечно, террористы, вряд ли смогут от него отказаться».
Вряд ли можно сказать, что новая гонка вооружений, в результате которой могут появиться интеллектуальные, автономные и мобильные машины для убийства, послужит на благо всего человечества. Тем не менее, эта гонка уже началась.
Автономное оружие существует уже несколько десятилетий, хотя редкие его образчики пока использовались в основном для обороны. Один пример – "Фаланга", пушка, управляемая компьютером и направляемая радаром, и установленная на боевых кораблях ВМФ США. Она может автоматически обнаруживать, отслеживать, оценивать и стрелять по приближающимся ракетам и летательным аппаратам, которые она посчитает угрозой. В полностью автономном режиме вообще не требуется участие человека.
Дрон Harop уничтожает цель
Компания DoDAAM Systems показывает возможности робота-часового Super aEgis II
Недавно военные разработчики начали создавать и наступательных автономных роботов. Компания Israel Aerospace Industries изготовила беспилотники Harpy и Harop, которые наводятся на радиоизлучение вражеских систем ПВО и уничтожают их путём столкновения. Компания утверждает, что её БПЛА неплохо продаются по всему миру.
Южнокорейская компания DoDAAM Systems разработала робота-часового Super aEgis II. Он стреляет из пулемёта, и использует компьютерное зрение для обнаружения и стрельбы по целям (людям) на расстоянии в 3 км. Утверждается, что южнокорейские военные проводили тесты этих роботов в демилитаризованной зоне на границе с Северной Кореей. DoDAAM уже продала 30 таких устройств в другие страны, включая нескольких заказчиков с Ближнего Востока.
Сейчас систем с высокой степенью автономности достаточно мало, по сравнению с роботизированным оружием, контролируемым людьми почти всё время, и в особенности – во время стрельбы. Аналитики предсказывают, что по мере развития военного дела у оружия будет появляться всё больше автономных возможностей.
«Война будет совсем другой, а автоматизация сыграет свою роль там, где важна скорость»,- говорит Питер Сингер, эксперт по военным роботам в группе New America, не принадлежащей к политическим партиям, и расположенной в Вашингтоне. Он прочит, что в будущих битвах – как, например, в сражениях между разными БПЛА, или при встрече автоматического корабля с автоматической подводной лодкой – оружие, имеющее преимущество в доли секунды, решит исход сражения. «Может случиться внезапный и интенсивный конфликт, в котором просто не будет времени вводить людей в курс дела, поскольку всё решится за считанные секунды».
Штатовские военные описали свои долгосрочные планы по ведению войн нового типа с использованием беспилотных систем, но собираются ли они вооружать эти системы, пока неизвестно. На форуме Washington Post в марте заместитель министра обороны США Роберт Ворк, в чьи обязанности входит следить за тем, чтобы Пентагон не отставал от новейших технологий, указал на необходимость инвестиций в разработку ИИ и роботов. По его словам, увеличивающееся присутствие автономных систем на поле боя «неизбежно».
По поводу автономного оружия Ворк настаивает, что военные США «не передадут машине полномочия по принятию решений с летальным исходом». Однако сам же добавил, что «если появится соперник, готовый передать такие полномочия… нам придётся принимать решения по вопросу конкуренции с ним. Мы ещё не разобрались в этом окончательно, но мы много думаем на этот счёт».
Владимир Путин наблюдает за военным киборгом на квадроцикле во время прошлогодней демонстрации
Первый полёт БПЛА CH-5 китайской компании China Aerospace Science and Technology Corporation
Россия и Китай придерживаются схожей стратегии в разработке беспилотных боевых систем для действий на суше, в море и воздухе, которые, хотя и вооружены, но пока что зависят от живых операторов. Русская Платформа-М – небольшой робот с дистанционным управлением, оснащённый автоматом Калашникова и гранатомётом. Он похож на штатовскую систему Talon SWORDS – наземного робота, способного нести М16 и другие виды вооружения, который был протестирован в Ираке. Россия также построила беспилотный аппарат Уран-9, вооружённый 30-мм пушкой и управляемыми противотанковыми ракетами. А в прошлом году русские продемонстрировали военного робота-гуманоида Путину.
Растущий арсенал военных роботов Китая включает множество дронов для атаки и рекогносцировки. CH-4 – БПЛА длительного действия, напоминающий штатовский Predator. Divine Eagle – высотный беспилотник для охоты на стелс-бомбардировщики. Кроме этого, на разных военных презентациях в Китае показывали роботов с автоматами, похожие на Platform-M и Talon SWORDS.
Эти три страны приблизились к созданию вооружённых роботов, и, увеличивая их автономность, одновременно подчёркивают сохранение роли людей в их работе. Для запрета автономных вооружений появится серьёзная проблема: он не обязательно будет применим к почти автономному оружию. Военные всегда могут скрытно разработать вооружённых роботов, которые управляются людьми, но по нажатию на кнопку переходят в автономный режим. «Для роботов очень сложно будет навязать соглашение об ограничении вооружений»,- заключает Уэндел Уоллак [Wendell Wallach], эксперт по этике и технологиям из Йельского университета. «Разница между автономными и неавтономными вооружениями может заключаться всего в одной строчке кода»,- сказал он на одной из конференций.
В фильмах роботы подчас становятся удивительно автономными, вплоть до обретения сознания практически на пустом месте, что застаёт людей врасплох. В реальном мире, несмотря на всеобщую взбудораженность прогрессом машинного обучения, роботы обретают автономность постепенно. Того же можно ожидать и от автономного вооружения.
Антология роботов-убийц
«R.U.R» 1920 года – не только первые роботы, но и первое их восстание
«2001: космическая одиссея» (1968). Один из самых отъявленных злых ИИ, бортовой компьютер космического корабля
«Мир дикого запада» (1973). Роботы в парке развлечений слетают с катушек
«Бегущий по лезвию» (1982). Банда репликантов прибывает в Лос-Анджелес
«Терминатор» (1984). Канонический образ робота-убийцы Т-800 в исполнении Арнольда Шварценеггера
Робокоп (1987). В фильме плохиши – богатые и жадные дядьки, но двуногий тяжеловооружённый робот тоже немало резвится.
Матрица (1999). Разумные машины захватили мир и используют страшноватых роботов для охоты на людей
«Звёздный крейсер Галактика» (2004). Циклоны, человекоподобные роботы, вознамерились стереть человечество с лица галактики
Я, робот (2004). Гуманоидные роботы, обойдя Три закона робототехники, устраивают заваруху в Чикаго
Трансформеры (2007). Банда роботов-пришельцев под руководством Мегатрона пытается изничтожить всех людишек
«Часто, когда люди слышат про автономное оружие, они представляют Терминатора и начинают говорить „Что же мы наделали?“,- говорит Пол Скарре [Paul Scharre], руководитель программы будущего военного дела в Центре новой американской безопасности –исследовательской группе в Вашингтоне. „Но делать такого рода автономное оружие военные вряд ли захотят“. По его словам, скорее всего, автономные системы будут атаковать военные объекты типа радаров, танков, кораблей, подлодок и самолётов.
Задача идентификации цели – определения, принадлежит ли объект врагу – одна из самых критичных задач для ИИ. У движущихся целей, самолётов и ракет, есть траектория, которую можно отследить и принять на её основе решение о попытке сбить объект. Так работает пушка „Фаланга“ на военных кораблях США, и так же – израильская система перехвата ракет „Iron Dome“. Но при выборе людей в качестве цели эта идентификация усложняется. Даже в идеальных условиях задачи распознавания объектов и окружения, с которыми люди справляются постоянно, могут быть чрезмерно сложны для роботов.
Компьютер может различить фигуру человека, даже если тот двигается скрытно. Но алгоритму сложно понять, чем заняты люди, и какие намерения выдают их язык тела и мимика. Поднимает человек ружьё или грабли? У него в руках бомба или младенец?
Скарре утверждает, что роботизированное оружие, пытаясь выбрать цель самостоятельно, спасует перед лицом сложностей. По его мнению, лучшим подходом, с точки зрения безопасности, законности и этичности, остаётся разработка таких тактики и технологий, в которых люди работают с роботами вместе. „Военные могут вкладываться в передовую робототехнику и автоматизацию, но при этом оставить человека в цепочке управления для принятия решений о целях, для подстраховки“,- говорит он. „Ведь люди гибче и лучше адаптируются к новым ситуациям, которые мы можем не запрограммировать. Особенно это важно на войне, где существует противник, пытающийся победить ваши системы, обмануть их и хакнуть“.
Неудивительно, что южные корейцы из DoDAAM производят своих роботов-часовых с жёсткими ограничениями на автономность. Сейчас их роботы не будут стрелять, пока человек не подтвердит цель и не скомандует „огонь“. „В изначальной версии была система автоматического огня“,- рассказал в прошлом году BBC инженер компании. „Но все клиенты попросили встроить в неё предохранительные процедуры… Они беспокоились, что пушка может ошибиться“.
Другие эксперты считают, что единственным способом избежать смертельных ошибок автономного оружия, особенно включающих гражданских лиц, является составление соответствующих программ. „Если мы настолько глупы, что продолжаем убивать друг друга на поле боя, и если машинам будет передаваться всё больше полномочий – можем ли мы, хотя бы, удостовериться, что они делают свою работу с соблюдением этики?“,- говорит Рональд Аркин, IT-специалист из Технологического института в Джорджии.
Аркин уверен, что автономное оружие, как и солдаты, должно следовать правилам ведения боя и законам войны, включая международные гуманитарные законы, защищающие гражданских лиц и ограничивающие мощность и виды допустимых вооружений. Это значит, что мы должны внести в их программы некие моральные качества, чтобы они разбирались в разных ситуациях и отличали хорошее от плохого. В их ПО должен быть заложен некий этический компас.
В последние десять лет Аркин трудится над таким компасом. Используя инструменты математики и логики из области машинной этики, он переводит законы войны и правила ведения боя в переменные и операции, понятные компьютеру. К примеру, одна из переменных содержит значение уверенности блока этического контроля в том, что цель является вражеской. Другая, булевская, означает, разрешена или запрещена убийственная сила оружия. В конце Аркин пришёл к определённому набору алгоритмов, и при помощи компьютерных симуляций и упрощённых сценариев сражений – к примеру, БПЛА атакует группу людей в открытом поле – смог протестировать свою методику.
Аркин признаёт, что проект, спонсируемый ВС США, ещё не дошёл до стадии готовой системы, и создан лишь для доказательства её работоспособности. Но, по его мнению, результаты работы показывают, что роботы ещё лучше людей могут следовать правилам войны. К примеру, роботы могут выполнять угрожающие жизни действия с большей сдержанностью, чем люди, стреляя только в ответ. Или, при приближении гражданских лиц, они вообще могут прекратить огонь, даже если сами будут уничтожены. Роботы не страдают от стрессов, неудовлетворённости, злости, страха – а всё это может навредить принятию правильных решений у людей. Поэтому, в теории, роботы могут превзойти солдат-людей, которые часто, а порою и неизбежно, делают ошибки в пылу битвы.
»В итоге мы можем сохранить людские жизни, особенно жизни невинных людей, попавших в ловушку боя",- говорит Аркин. «И если роботы справятся с этим, то мораль подсказывает необходимость их использования».
Конечно же, такой взгляд не является общепринятым. Критики автономного оружия настаивают, что имеет смысл только его упреждающий запрет. Ведь такое оружие появляется негласно. «Нет такой системы огня, на которую бы мы могли показать и сказать: Ага, вот он робот-убийца,- говорит Мэри Варехэм [Mary Wareham], руководитель отдела лобби в Human Rights Watch и координатор кампании по запрету роботов-убийц (Campaign to Stop Killer Robots) – коалиции разных гуманитарных сообществ. – Речь идёт о множестве различных систем вооружений, которые работают по-разному. Но нас волнует одна их общая черта – отсутствие человеческого контроля над функцией выбора цели и атаки».
В ООН обсуждения автономных роботов, способных на убийство, длятся уже пять лет, но страны так и не пришли к соглашению. В 2013 Кристов Хайнс [Christof Heyns], специальный докладчик ООН по правам человека, написал влиятельный отчёт, в котором отметил, что у стран есть редкая возможность обсудить риски автономного оружия ещё до того, как оно будет разработано. Сейчас, приняв участие в нескольких заседаниях ООН, Хайнс говорит, что «если обернуться назад, то я несколько ободряюсь, а если посмотреть вперёд, то кажется, что у нас будут проблемы, если мы не начнём шевелиться быстрее».
В этом декабре на конвенции ООН по классическому вооружению состоится конференция с обзором пятилетней работы, и вопрос автономных роботов вынесен на повестку дня. Но их запрет вряд ли будет принят. Такое решение потребует единогласного решения всех стран, а между ними существуют фундаментальные разногласия по поводу того, что делать с широким спектром автономного оружия, которое появится в будущем.
В итоге, споры про роботов-убийц сводятся к обсуждению людей. Автономное оружие, по крайней мере, на первых порах, будет похоже на любую технологию: её можно будет вводить аккуратно и благоразумно, или хаотично и катастрофически. А обвинения придётся принимать людям. Поэтому, вопрос «Являются ли автономные боевые роботы хорошей идеей?» не самый правильный. Лучше задать вопрос: «Доверяем ли мы себе достаточно для того, чтобы доверять наши жизни роботам?»
Комментарии (115)
ilya42
17.06.2016 20:09+5Интересно, чем с точки зрения этики любой навороченный робот-убийца, которого поставили охранять какой-то участок, с командой «стрелять во все, что шевелится», отличается от обычной мины? По идее робот даже лучше и гуманнее. Его все же можно как-то научить различать цели. Мина не выбирает, кого взрывать, кого — нет.
vasimv
18.06.2016 01:23+3Вообще-то, уже есть мины-роботы, которые вполне себе выбирают когда взрываться (НВУ-П + ОЗМ-72) Пока, конечно, мало распространены и применяются только для специальных целей, но вот поднапрягутся программеры с распознаванием изображения и голоса — и будут такие пачками из артиллерийских снарядов рассыпать, как обычные противопехотные. Или будут сами приезжать/прилетать в те места, где надо минное поле сделать, а потом переезжать, как потребуется.
Saffron
18.06.2016 20:49Обычная мина — имеет очень простую, а потому предсказуемую программу. Роботы убийцы — очень сложную и непредсказуемую. Сложностью этой пользуются на практике — например, дрон убийца патрулирует некоторый район в поисках террористов. Там есть три деревни с условно мирными жителями. Так вот, будь это мина-убийца, она бы неизбирательно поразила всё что движется, а дрон-убийца выбирает убивать только отдельных людей, остальных оставляет в живых. Поэтому минами никто не будет засыпать условно мирную деревню, а дрона-убийцу пошлют, поскольку он якобы способен выбирать цель правильно. А вот насколько его выбор точен — уже открытый вопрос, который обычно не волнует ту сторону, которая посылает роботов-убийц в деревню.
Gryphon88
18.06.2016 20:53+3Как показывает практика освещения войн на Ближнем Востоке в СМИ, тот, кого убило высокоточное оружие, является террористом. В чём разница с дронами — не понимаю, мишень почти всегда можно нарисовать уже после выстрела.
Saffron
19.06.2016 05:24Разница в том, что никто не пытается засыпать целые деревни высокоточным оружием. Потому что тут уже не отмажешься, что тот ребёнок был шахидом. Каждый выстрел штучный и за каждым следит человек, и ответственность на нём будет, если что. Выпустить автономное оружие считается допустимым. Потому что оно якобы убивает не случайного человека, а того самого. Можно дать дронам боеприпасов достаточно для убийства половины деревни и оставить парить над ней. Но на самом деле никто не отвечает за точность алгоритмов распознавания угрозы, и отправить дронов ничуть не лучше чем накрыть всю деревню градом.
Роботы дают иллюзию освобождения от ответственности. И эту иллюзию надо гнать из своих голов.Gryphon88
19.06.2016 13:19+1Мне кажется, что «освобождение от ответственности» уже есть. В мемуарах какого-то адмирала (воевал в WW2 и немного после) было написано что-то такое «Если я закричу на мостике „В атаку!“ — на меня посмотрят как на идиота. Здесь решают абстрактную боевую задачу и ведут огонь по отметкам на тактической карте». Моральную отсетственность несут только пехота, бронетанковые войска и вертолётчики — они видят своими глазами, что происходит, когда дым рассеивается, остальные просто подавляют цели на карте. За промахи и попутный урон они несут ответственность на уровне выговора.
Практика показывает, что если над деревней беспрепятственно летают дроны/вертолёты/прочее, то на обитателей этой деревни в мире всем в общем пофигу, можно будет оправдаться «лагерь подготовки террористов», «бандитское поселение» (как в Сомали, например), или просто разбомбить и замести под ковёр — была деревня и не стало. Тут как с акциями: цену акций повышает доверие и ажиотаж покупателей, оружие делает высокоточным правильное освещение в СМИ.
Я считаю, что ответственности нет, поэтому она не исчезнет. Дроны тут ни при чём.
black_semargl
20.06.2016 00:12Тут вопрос в том, что дроны свободно летают не только над чужой деревней, но и над своей военной базой.
Hellsy22
19.06.2016 20:37И эту иллюзию надо гнать из своих голов.
Это как раз не иллюзия, а реальность. Иллюзией же является воображаемая ответственность. Кто и перед кем отвечать-то будет? Кто отвечал за сожженный Токио? За разбомбленные жилые кварталы Дрездена? Кто был осужден за применение ядерного оружия по мирному населению? Кто понес личную ответственность за ДДТ и напалм? Развитые страны могут сравнять города стран третьего мира с землей — и все утрутся. Просто это стало менее эффективно, чем точечные удары и потому некрасиво — выглядит как варварство, как дубина вместо рапиры.
sim3x
20.06.2016 17:43>ответственность на нём будет, если что
Если не теоретизировать, то ответвенность за удар с беспилотника лежит не на операторе, а на отдающем приказ об ударе офицере и по цепочке наверх, к тем, кто подписал приказ на ликвидациюMetus
20.06.2016 17:57В РФ за исполнение заведомо незаконного приказа несёт ответственность и рядовой солдат.
geher
20.06.2016 19:58Не только в РФ.
k155la3
20.06.2016 21:14Наследие Нюрнбергского процесса.
После 45-го «у меня был приказ» как отмазка не катит.
Wesha
20.06.2016 22:12+1> После 45-го «у меня был приказ» как отмазка не катит.
Однако в 1963 году вполне успешно работала:
> В одной серии опытов основного варианта эксперимента 26 испытуемых из 40, вместо того чтобы сжалиться над жертвой, продолжали увеличивать напряжение (до 450 В) до тех пор, пока исследователь не отдавал распоряжение закончить эксперимент.
> Я видел, как в лабораторию вошёл солидный бизнесмен, улыбающийся и уверенный в себе. За 20 минут он был доведён до нервного срыва. Он дрожал, заикался, постоянно дергал мочку уха и заламывал руки. Один раз он ударил себя кулаком по лбу и пробормотал: «О Боже, давайте прекратим это». И тем не менее, он продолжал реагировать на каждое слово экспериментатора и безоговорочно ему повиновался.
(https://ru.wikipedia.org/wiki/Эксперимент_Милгрэма)
См. также https://ru.wikipedia.org/wiki/Третья_волна_(эксперимент)k155la3
20.06.2016 23:43… на суде за военные преступления.
А перед собой люди могут и будут отмазываться этим всегда, в контексте это неважно. В конце-то концов, у любого преступления есть внешние причины или поводы, которые можно выставить как причины.
sim3x
20.06.2016 22:37Массового осуждения рядового состава вермахта не было
k155la3
20.06.2016 23:47Массово (вот поголовно) рядовой состав вермахта военных преступлений не совершал.
Высокий процент? больший, чем у бойцов РККА?
Это не для суда, а в Нюрнберге был именно судебный процесс. Пусть даже его устроили победители, там рассматривали каждый случай и требовались какие-никакие доказательства по каждому делу.
В Нюрнберге впервые приняли, что приказ не освобождает от отвественности исполнителя.Hellsy22
20.06.2016 23:56рядовой состав вермахта военных преступлений не совершал.
Высший тоже. Преступление — это нарушение закона. Международных законов, добровольно принятых всеми участниками WW2, регулирующих ведение боевых действий и отношение к пленным — не было. Поэтому Нюрнбергский процесс — это не про военные преступления, а про то, что делать с проигравшими и какие законы следовало бы принять на будущее, чтобы подобное не повторилось. И вот уже после него появилась тема с исполнением заведомо преступного приказа. Но, опять же, тема сомнительная и скорее для внутренней безопасности, чтобы сошедший с ума военачальник не устроил где-то резню. Во время войны отказавшегося выполнять приказ — могут просто и незатейливо расстрелять, а что там будет после войны еще неизвестно…k155la3
21.06.2016 00:09Тю. Во-первых, законов Германии тоже было нарушено немало: вообще говоря, даже сжигание евреев — в Третьем Рейхе было противозаконно, убийство как оно есть.
Во-вторых, судили «по понятиям». Но именно судили, а не назначали виновных. То есть, степень вины устанавливалась в процессе.
Что человек, получивший плохой приказ сильно «попал» в любом случае — доказано неоднократно. Тем не менее, это таки помогает сдерживать души прекрасные порывы. В армии есть железное, хоть и не писанное правило: если нет уверенности, что приказ будет выполнен (в смысле, его попытаются выполнить), его НЕЛЬЗЯ отдавать. Потому что это создаёт прецедент (не на бумаге, а в головах подчиненных) и подрывает авторитет командования. Если подумать, на каких соплях держится тот авторитет в условиях, когда сплошь и рядом убивают, то понятно, что это — критичная для функционирования командной цепочки вещь.
Зная, что исполнители _могут_ просто отказаться исполнять конкретные приказы, командир дважды и трижды подумает, прежде чем их отдать. Потому что действовать надо сейчас, а что там будет с отказантами потом — так то будет потом, и ещё не факт, что с ними. По рассмотрении всех фактов трибунал может расстрелять вовсе даже и не отказантов.
Поэтому тут тоже не всё так просто, эта норма на самом деле многое поменяла.Hellsy22
21.06.2016 00:17законов Германии тоже было нарушено немало
Это внутреннее дело государства.
Во-вторых, судили «по понятиям»
Я к тому, что выражение «военные преступления» по отношению к происходившему применять некорректно. Нет законов — значит нет преступлений. Никто не осудил США за бомбардировку жилых кварталов Токио, например, не говоря уже о натурных испытаниях ЯО. Но если бы победила другая сторона, я уверен — это бы смаковали и тоже называли «военными преступлениями».
эта норма на самом деле многое поменяла
Мне кажется, что поменяла не эта норма, а общий тренд перехода к постиндустриальному обществу. Государство стало меньше воспринимать людей как автоматы, да и сами люди себя перестали так воспринимать. Вместо проблемы маленького человека, который «просто выполняет приказы, потому что… ну что он может изменить?», — нынче актуальна проблема равнодушия и пофигизма — нажми на кнопку и получишь результат. Как-то так…k155la3
21.06.2016 00:34Почему же некорректно? Есть Женевская конвенция, были и до неё — не только о военнопленных. Но в целом, мы же понимаем, что некоторые вещи делать нехорошо, даже если нет законов, которые их запрещают?
Что до США — то, что их не осудили, не значит, что это не было преступлениями. Даже внутри страны, кто-то садится, а кто-то скрывается от полиции или нанимает _хорошего_ адвоката, который втирает про необходимости, непредумышленности, кредитную историю и тяжёлое детство. Это не отменяет совершенного людьми и не меняет того, как это называть. По меньшей мере, не для меня, я не легист.
Да, США вышли сухими, и поскольку мировая пресса их — ну, в прессе их никто не винит. В частном порядке немцы к эпизоду с Дрезденом относятся… ну, без понимания, скажем так.
Эта норма точно внесла свой вклад.
Что касается перехода к постиндустриальному обществу в армии… не знаю… Сильное у меня сомнение в том. Там ведь не зря всё такое квадратное и ровно покрашенное. Это требования структуры, это необходимо для её функционирования как единого целого в жёстких условиях. Любая армия тратит кучу времени именно на изготовления из человека винтика машины. Иначе из людей прочную надёжную систему не построить. Сколько раз вольница в лице всяких свободных кочевников, повстанцев, партизан, воинов Аллаха и т.п. встречалась с регулярной армией, столько раз (при равенстве в оружии) огребала. Точное и своевременное выполнение приказов без рассуждений по всей цепи — это само по себе огромное преимущество, поэтому из людей будут ещё долго делать «автоматы на конвеере» там, где нужно воевать.Hellsy22
21.06.2016 00:53мы же понимаем, что некоторые вещи делать нехорошо, даже если нет законов, которые их запрещают
Если посмотреть с исторической перспективы, то все, что фашисты делали в WW2 — другие страны тоже делали, но лет на 50 раньше. Никто не осудил Великобританию ни за то, что британцы устроили в свое время в Индии, ни за заморенных в концлагерях гражданских во время англо-бурской войны. Фашисты ставили бесчеловеченые эксперименты в лагерях — но посмотрите мемуары медиков начала двадцатого века, они ставили жестокие и опасные эксперименты на обычных больных, даже не считая нужным их об этом информировать. Просто потому, что могли и не несли за это никакой ответственности.
Что же до личных предпочтений, то, например, я полагаю, что специально бомбить жилые кварталы зажигательными бомбами — нехорошо. Уничтожать бомбардировками города с мирными жителями — очень нехорошо. Испытывать ядерное оружие на гражданских — крайне плохо. Рабский труд военнопленных после окончания войны — неприемлем. И что характерно, все это нынче под запретом. Но крайними оказались только фашисты и их союзники. Следовательно дело не в законах и правосудии, а исключительно в факте поражения.
Точное и своевременное выполнение приказов без рассуждений по всей цепи
Это зависит от качества человеческих ресурсов. Офицеров учат иначе. Им в любом случае приходится рассуждать. Что же до рядовых, то есть такая шутка, что в Израиле обсуждая приказ старшего по званию запрещено крутить пуговицу на его форме. И это государство очень неплохо себя показало в военных конфликтах с заведомо превосходящими в численности и вооружении противниками.k155la3
21.06.2016 12:24Вот это самое Ваше «исключительно в факте поражения»…
Нет, не исключительно. Были преступления. Поражение в войне и безогооврочная капитуляция дали возможность судить за них, без капитуляции не получилось бы. Но судили именно за преступления: не было бы такого масштаба преступлений — не было бы и суда. Точно также и с великобритами: преступления были, а осудить за них — никак. Но это не значит, что концлагеря — это хорошо.
И ещё: не вижу проблем с работой военнопленных во время и после войны. И никто, в общем-то, не видит — в Женевской конвенции явно прописано, в том числе в поздних редакциях: пока военнопленного кормят (на уровне своей армии), лечат и не пытают, это считается нормальным. В том числе, сейчас (только сейчас такой труд уж больно неэффективен в сравнении с наёмными специалистами, поэтому применяется редко).
…
Баек про израильскую армию я слышал много, но и слышал, что когда они вели серьёзные войны с регулярными армиями на уничтожение, дисциплина у них тоже была иная. Понятно же, что от следователя, ловящего террористов требуется один уровень дисциплины и самостоятельности, от бригады ФСБ на выезде на захват крупной банды — другие, от солдат в решении проблем с неподконтрольной территорией и местными повстанцами — третьи, от армии, которая в лоб встретилась с другой армией — четвёртые.
По этому ряду необходимость в инициативе, частной работе с людьми и т.п. падает, а потребность в дисциплине растёт.
black_semargl
21.06.2016 16:42Да, примитивная армия ака вооружённая толпа стабильно сливала регулярным рядам.
Но сейчас очень сильно возросла мощь оружия и управляющий им человек по факту воюет в отличных даже от соседей условиях — танк в сотне метров видит совсем другую картинку.
Поэтому ему отдаются только общие приказы, а всю конкретику он думает сам — куда поехать, в кого выстрелить.
И в такой ситуации начинают сливать уже и «автоматы на конвеере» — им не хватает инициативности, чтобы выстрелить раньше противника.k155la3
21.06.2016 21:39Вы неправильно понимаете суть армейской «автоматизации». В хорошей (да любой воюющей) армии и рядового, и — тем более! — офицеров поощряли проявлять инициативу (кстати, с незапамятных времён) и творческий подход. «Врага следует уничтожать любыми возможными средствами»(с)советский устав.
Ессно, конкретику солдат определяет сам, иначе на кой чёрт он вообще нужен?
Но солдатам ставятся офицером цели и границы их деятельности, которым нужно следовать безусловно. Потому что если «творческий подход» приведёт к выходу за рамки поставленной задачи, это может разрушить общий замысел и сорвать операцию (даже если на уровне исполнителя есть какой-то выигрыш). Выиграем пешку, потеряем ферзя. А то и партию.
Иногда нужно пожертвовать взводом, чтобы спасти роту. Иногда нужно отступить («бессмысленно» теряя людей), чтобы выиграть сражение.
Это требует от подчинённых умения именно ЖЁСТКО, не отклоняясь, следовать приказам и действовать в их рамках. Сказали копать окопы, а потом убегать — значит, нужно копать, а потом убегать. На уровне солдата это бессмыслица, отдавать наработанное с кровавыми мозолями на пользу врагу, с точки зрения штаба это просто часть кампании по дезинформации противника. И если солдат тут ослушается и «проявит инициативу» за рамками приказов, возможно, битва будет из-за этого продута.
И не вижу я чтоб что-то уж прям так изменилось с «мощью» в сравнении с ВМВ… не представляю, что такого можно добавить к нюкам в смысле мощи, и не вижу _принципиальных_ отличий в городских боях. Всё та же винтовка, всё та же мина, граната и безоткатное оружие — чуть легче, чуть мощнее, чуть умнее. Но что Ирак-2001, что Берлин-1945 — одна фигня, люди с оружием стреляют, перемещаются, занимают позиции, умирают.
Может быть, когда солдата заменит робот, а люди останутся только на типа-«офицерских» позициях, что-то изменится. Но и тогда останется тактика, стратегия, высшая стратегия и безусловные приказы сверху вниз.black_semargl
22.06.2016 17:14> Потому что если «творческий подход» приведёт к выходу за рамки поставленной задачи, это может разрушить общий замысел и сорвать операцию
Так в этом и есть противоречие.
Бездумный исполнитель отлично выполнит любой приказ, не не сможет проявлять инициативу.
А инициативный — будет стараться сохранить собственную жизнь даже вопреки приказу, потому как она для него ценнее.
(не надо это понимать как неспособность отдать жизнь ради победы — потому как проигрыш войны может означать судьбу и похуже смерти)
> И не вижу я чтоб что-то уж прям так изменилось с «мощью» в сравнении с ВМВ…
Изменилась, скажем так, не абсолютная мощь, а количество человек на которых она приходится.
Сейчас в основном воюют крупнокалиберными пулемётами и ПТРК — и взвод имеет огневую мощь сравнимую с полком времён 2МВ.k155la3
22.06.2016 17:21> А инициативный — будет стараться сохранить собственную жизнь даже вопреки приказу, потому как она для него ценнее.
Вот именно такого рода инициативу, примат инстинкта самосохранения, стараются выбить из индивидов в армии. Оставляя инициативность, которая касается выполнения приказа. (Кстати, я не говорю, что это хорошо само по себе: война вообще злая вещь).
Ну… ПОКА она изменилась незначительно. Насыщенность техникой выросла, огневая мощь выросла, ну так оно же выросло у всех сторон. Да, современный взвод — поголовно с автоматическим оружием, имеет гранатомёты и т.п., и выкосил бы полк времён Кутузова. Ну так противник имеет то же самое. Теперь на уничтожение одного пехотинка просто приходится не 50 выстрелов, а 5000. Но в системе командования это меняет немногое.
Вот когда вместо людей массово поедут/полетят/поплывут роботы, возможно, от «роботизации людей» можно будет отказаться. Но не ранее.black_semargl
22.06.2016 23:26> Вот именно такого рода инициативу, примат инстинкта самосохранения, стараются выбить из индивидов в армии. Оставляя инициативность, которая касается выполнения приказа.
А слишком сложно это. Подготовить группу какого спецназа так можно, но миллионную армию — никак.
получаются или фанатики, бегущие на пулемёты и бессмысленно гибнущие, или отказывающиеся идти в бой пока туалетной бумагой не обеспечат.
> Ну… ПОКА она изменилась незначительно.
А неизвестно как оно сейчас — серьёзных войн нету. Т.е. вооружение-то обновили, а тактики его использования не наработали.
А если кто всё-таки придумал правильно — противнику будет больно и неприятно, как попавшим под блицкриг полякам и французам.k155la3
22.06.2016 23:34Я не говорил, что получается идеально, у меня там выше написано «стараются». И это правда.
Ну… дай бог, не увидим. Что-то мне на такое даже по телевизору смотреть не хочется, и «несерьёзных» кишок наружу достаточно показывают.
sim3x
20.06.2016 22:35+1Санкции за неисполнение приказа наступают раньше
Оператор не имеет никаких вводных для оценки законности приказа
Metus
19.06.2016 15:28+1Отличие между миной и роботом Вы сами же и назвали — мина не выбирает, робот выбирает.
Сходство также же есть — это всё оружие, созданное человеком. Но проводя такую аналогию можно сказать, что и человек-солдат от мины ничем не отличается — у них схожая цель, все они готовятся кем-то, все ненадёжны.
Между миной и полноценным роботом есть ещё одно отличие — работа мины полностью контролируется людьми. Она не может самостоятельно искать, решать и убивать других людей. Если может — она именно что робот, а не мина.
Она может не разорваться сейчас, а потом — но это всё равно будет пассивным действием.
Потому главное отличие мины от робота — активность, возможность принятия самостоятельных решений (наверняка, есть ещё куча факторов, но явно видны именно эти). Отличия такие же как между миной и человеком.
Несмотря на это, в данный момент робот не может быть полностью аналогичен человеку. Он скорее находится между миной и человеком. И с развитием ИИ роботы-солдаты и роботы-полицейские всё дальше будут приближаться к человеку, при этом, не имея человеческой ответственности. В этом и заключается проблема — за мины несёт ответственность (хотя бы этическую) человек, а за робота — никто.
Также я сейчас немного позанудствую о теме споров вообще. На geektimes по какой-то причине очень многие в случаях доказательства используют аналогию или индукцию.
На coursera был отличный курс по мат-логике, где подробно объяснялись недостатки данных методов наряду с трансдукцией, предлагалось использовать только дедукцию.
Касательно аналогии — в случае её приведения необходимо логически доказывать саму аналогичность. При этом, доказав это, вы теряете весь смысл приведения аналогии, ведь таким же образом вы сможете доказать истинность изначального утверждения.
По факту, аналогия годится только для объяснения и обучения кого-то чему-то, но не доказательству. А мы здесь друг-друга не учим, а высказываем и обосновываем свою точку зрения — давайте исплльзовать корректные логические инструменты.
Chamie
22.06.2016 10:47мина не выбирает, робот выбирает
Что он выбирает? Он только беспрекословно следует заложенным алгоритмам. И точно так же в случае срабатывания триггера убивает. Как и мина. Только у мины триггер проще — наступил = взорвался, а у робота — сложнее.
Представьте себе обычную противотанковую мину, которая взрывается только если по ней проезжает металлический объект массой не менее скольки-то тонн. «Принимает» ли она «решение»? Робот ли она?
А теперь себе мину с опознаванием свой-чужой, взрывающуюся, если к ней приближается объект без специальных опознавательных знаков. Это робот?
А теперь представьте, что вместо мины — автоматическая турель. Это уже робот?
А если турель передвигается вдоль охраняемого периметра?
А если передвигается по охраняемой площади?
А если срабатывает только на наличие оружия?
DrZlodberg
17.06.2016 20:51+3Или, при приближении гражданских лиц, они вообще могут прекратить огонь, даже если сами будут уничтожены
Живые щиты придумали не вчера.
Fullmoon
17.06.2016 21:23> Например, по одному сценарию возможно появление «на чёрном рынке большого количества недорогих микророботов, которые могут быть размещены одним человеком, а убить смогут тысячи или миллионы людей, подходящих под критерий пользователя».
Простите, ЯННП. Можете привести ссылку на статью в IEEE Spectrum?
tmin10
18.06.2016 22:51+1Очень интересно, что это за микророботы такие, которые могут убивать миллионы людей. Возможно имеются ввиду какие-то нанороботы, которые работают как избирательное биологическое оружие, но это не только не недорого, но и вообще пока фантастика.
Sun-ami
17.06.2016 21:47+1На мой взгляд главная опасность, которую несёт массовое принятие на вооружение роботов не в том что сильный ИИ может захватить контроль над ними и уничтожить или поработить человечество — против этого можно придумать множество механизмов контроля. А в том, что небольшая группа людей при помощи слабого ИИ сможет установить диктатуру. Поскольку прогресс не остановишь — механизмы противодействия этому нужно придумывать и законодательно закреплять уже сейчас.
Hellsy22
18.06.2016 01:48+1Диктатура в развитых странах экономически неэффективна. А странам третьего мира плевать на международные законы.
Sun-ami
18.06.2016 09:46+1Диктатура в развитых странах экономически неэффективна — но это не значит что в этих странах недостаточно желающих стать диктаторами — прежде всего среди генералов. И им плевать на экономическую эффективность — особенно если международная обстановка станет не такой спокойной как сейчас. А странам третьего мира нужно просто закрыть доступ к этим технологиям — сами они их создать не в состоянии.
Chamie
18.06.2016 11:22Купят на чёрном рынке. Хотя, для этого им придётся дождаться, пока технология станет обыденностью среди военной техники.
Sun-ami
18.06.2016 11:34+1Купить они смогут разве что устаревших телеуправляемых роботов с неизвестными им бэкдорами. А ИИ может быть отделён от исполнительных механизмов, и за его распространением нужен строгий контроль, в чем собственно заинтересованы и государства его заказавшие.
Abiboss
18.06.2016 14:55Тотальный строгий контроль очень сложно обеспечить, рано или поздно «Ящик Пандоры» будет открыт
MichaelBorisov
19.06.2016 02:01На данный момент «на черном рынке» можно купить далеко не любое оружие. Самые совершенные системы вооружений на рынке не продаются — ни на черном, ни на белом. Их создатели используют их для себя. Так что нет оснований считать, что, допустим, «С-300» нельзя купить на черном рынке, а робота-убийцу будет можно.
И еще надо иметь в виду, что современное совершенное оружие по-настоящему эффективно тогда, когда оно применяется при взаимодействии всех родов войск и массированно. Любой отдельный образец «вундерваффе» не может решить исход войны. Погуглите видео о том, как в Сирии стреляют в «Буратино» из ПТРК. Результаты эпичны. Хотя, казалось бы, «Буратино» — супероружие.mtp
21.06.2016 01:24https://www.youtube.com/watch?v=1cQZSLDB7nI
Мощно взрывается, да.Wesha
21.06.2016 03:42Мораль простая: любое супероружие в руках суперде… генератов быстро превращается в кучу бесполезного хлама.
(Во всех наставлениях по «Буратино» неоднократно говорилось: «выходить на огневой рубеж только в сопровождении танков и максимально быстро покидать позицию после выстрела». А тут он торчит как сами знаете что сами знаете где.)
Saffron
18.06.2016 20:57Терроризм — экономически не эффективен, от него страдают все развитые страны. Но это не мешает США поддерживать терроризм в Азии, поскольку до Америки оттуда далеко, и прочие развитые страны пострадают от терроризма больше, чем само США, а значит США сохранит лидерскую позицию.
Точно так же и с военной диктатурой. Пофиг, насколько мы отодвинем в развитии общество, пока мы имеем власть и остаёмся самыми главными. Проблемы с неэффктивной экономикой проявляются только когда возникает конкурент, который завоет страну, управляемую диктатором, и убьёт самого диктатора. Но при условии глобализации диктатурой станет вся Земля, и надежды останутся только на инопланетян.
black_semargl
18.06.2016 09:56Диктатура на то и диктатура, что может отменить любые законы.
В результате, как обычно, будут страдать лишь законопослушные граждане.Sun-ami
18.06.2016 10:35Законы нужны, чтобы не допустить военного переворота с применением большого количества роботов, совершаемого небольшим количеством людей. Для этого можно, например, законодательно установить соотношение количества и боевой мощи телеуправляемых систем и вооружений, для которых телеуправление невозможно или согласно боевым предписаниям может быть включено только в случае войны и только при возникновении насущной необходимости. Например в танк может быть заложена возможность телеуправления или автоматического управления, но в небоевой обстановке она должна быть надёжно механически отключена от исполнительных устройств, и это должно жестко контролироваться на всех уровнях, и прежде всего танкистами — в уставе должно быть написано, что если поступила команда перевести танк в телеуправляемый режим, но война не была объявлена приказом президента — одна из главнейших обязанностей танкиста — не допустить исполнения приказа своего непосредственного командира. Для того, чтобы это стало возможным, очевидно придётся создать дополнительные каналы связи. А в телеуправляемый режим этот танк должен переводиться например перед атакой, слишком опасной для экипажа, или в случае, если в бою танкист ранен, и не может эффективно выполнять свои обязанности, или если боевая обстановка настолько серьёзна, что сам танкист считает, что автоматика справится намного лучше.
black_semargl
18.06.2016 11:02Это всё понятно, только вот в роботанковой дивизии — нет танкистов.
Есть только генерал и механики. притом чтобы пощёлкать выключателями — достаточно одному человеку пройтись.Sun-ami
18.06.2016 11:11Поэтому не должно быть роботанковых дивизий, а должны быть танковые дивизии, в которых до 1/3 боевых машин — чистые роботанки, а не менее 2/3 — танки, в которыми управляет по крайней мере 1 танкист, и он отвечает за все действия этого танка, при этом есть возможность переключить их на телеуправление — но это решения должен принять танкист, и если танкист находится в танке, — возможность в любой момент отключить телеуправление. Выключатели же должны быть не простые, а с ключом.
k155la3
20.06.2016 17:42Диктатура — страшилка из прошлого, по нынешним временам это дико неэффективно (для стремящегося к власти).
Слишком за многим нужно следить, слишком за многое нести ответственность, слишком связаны руки.
Забудьте уже про это: ни один достаточно умный человек, способный стать диктатором, им не станет, найдёт куда более простые/надёжные/дешёвые пути получить желаемое, не встречаясь с издержками.
Чего стОит бояться — так это неадекватных людей.
Терроризм в широком смысле слова.
soshnikov
18.06.2016 02:46+2Станислав Лем. Мир на земле.
Этот писатель предвосхитил множество вещей. В его время это называли фантастикой и относились как к развлечению. В наше время это называют актуальными проблемами и чешут репу.
Будущее наступило, камрады и камрадицы.soshnikov
18.06.2016 02:55Если кому влом читать, есть краткое изложение, которое, однако, не передает всю полноту произведения. Но в общем, вполне достойная СМС-версия.
https://ru.wikipedia.org/wiki/%D0%9C%D0%B8%D1%80_%D0%BD%D0%B0_%D0%97%D0%B5%D0%BC%D0%BB%D0%B5
igruh
18.06.2016 10:03Постера из крикунов в данном контексте явно не хватает.
Rikkitik
18.06.2016 14:16Ну, или ссылки на рассказ Филипа К. Дика "Вторая модель", на основе которого «Крикунов» сняли.
hdfan2
18.06.2016 15:25+3Что значит «дадим ли мы»? Кто вас вообще спрашивать будет, жалкие мешки с мясом?
MichaelBorisov
19.06.2016 02:14Под словом «мы» имеются в виду, конечно, не рядовые граждане вроде нас с вами, а сильные мира сего, люди, во власти которых принимать решения по таким вопросам.
Они в некотором роде являются нашими представителями, т.е. представителями вида Homo Sapiens, подобно тому, как прокурор представляет в суде государство. Отсюда и «мы». А еще потому, что мы будем нести на себе последствия таких решений. Подобно тому, как «с дурной головой ногам покоя нет». Ноги не решают, решает мозг — а последствия ложатся на все части тела.
Gryphon88
18.06.2016 17:01-1Так забавно… Сначала писатель придумывает сюжет, основанный на страхе неизвестного, потом политики и массмедиа форсят этот сюжет в своих целях, потом он закрепляется в общественном сознании, потом политики избираются из носителей мема, и вот куча неглупых вроде людей принимает решения, основанные на фантазии столетней давности. Сколько раз человечество так себе на яйца наступало…
Hellsy22
18.06.2016 19:03+1Забавно, что это еще и рекурсивный процесс. Следующее поколение фантастов опирается на мемы созданные предыдущими поколениями. И с каждым шагом они все дальше и дальше от реальности.
ApplejackApple
18.06.2016 20:47+1Я уже устал видеть на этом ресурсе статьи явно паникерского толка на тему ИИ.
ARD8S
18.06.2016 17:08Прочитал заголовок. Навеяло. «War, war never changes.»
Потом вспомнил бонусные уровни с тиром из Robocop 2 (NES).
И вообще, пока роботы не могут самовоспроизводить себя (в т.ч. внося изменения в конструкцию) ответственность за любые их действия на человеке. Если люди вовремя не сделали стойкое к перехвату управление, 0-day бэкдор в процессоре или систему самоуничтожения отдельным и независимым от ИИ контуром, тем более.Saffron
18.06.2016 21:03Хорошо, ответственность вы обозначили, каково будет наказание? Когда убивает человек, его самого судят и по тяжести проступка наказывают вплоть до смертной казни. А что делать с роботом? Вы говорите, робот не виноват, виноваты люди. Хорошо, что со всеми ими нужно делать? Сотни специалистов необходимы для разработки процессора, десятки тысяч для изготовления процессоров, десятки тысяч программистов пишут софт, системный, прикладной. Ещё сотня на финальном этапе собирает из запчастей робота и пишет софт управления, опираясь на готовые библиотеки и узлы. Ещё десяток людей занимаются эксплуатацией робота. Кого надо будет убить по приговору суда? Всех?
Hellsy22
18.06.2016 21:22+1Человека не наказывают, а применяют к нему меры, снижающие его социальную опасность, а именно — изоляцию. В случаях крайне высокой социальной опасности человека убивают — опять же, не в качестве наказания, а в силу отсутствия надежной альтернативы.
Соотв. с роботом, вышедшем из под контроля, дело будет обстоять точно так же, как и с любой другой сложной техникой — если падает самолет, в разработке которого было задействовано множество человек, то проблему исследуют, устанавливают причину и дальше ответственность определяется этой причиной — если были сознательные нарушения каких-либо нормативов, допущенных при проектировании, то ответственность будет на том, кто эти нарушения пропустил. Если же все было в рамках нормативов, но оказалось, что сами нормативы подкачали, то будут пересматривать уже нормативы. Ну, это в идеальном случае.
ARD8S
18.06.2016 21:38+1Имелось в виду что робот не может нести ответственность вообще (пока он не правосубъект), если действовал по программе. ИИ пока слабо развит, если в него не заложены рамки/ограничения, то робот тоже не виноват. Конечно, проще спехнуть вину на кучу железа, закрыть дело не разбираясь и отправить робота в утиль, но вину конструктора, программиста и тестеров, которые допустили (преднамеренно или нет, не важно) это не снимает (в первую очередь, любой техникой управляет ПО). Также и вину начальника, который выпустил в продакшен неоттестированного робота, чтобы срубить бабла. Нужна, как и для любой серьёзной задачи по производству, очень жёсткая политика отбора специалистов, и личная ответственность каждого звена, особенно начальников, очень строгое наказане, назначаемое судом или трибуналом, в зависимости от последствий действия или бездействия должностиных лиц, сводящее к минимуму ЧП.
Иначе будет как всегда: перепёхивание вины друг на друга, хождение бумаг, которые все подписали, но никто не читал, никакой ответственности, повальное расп… невежество, и кабель бракованный и «синхрофазотрон вверх ногами», «этого быть не могло, но случилось» и никакого наказания. Отсутствие наказания провоцирует преступное действие или бездействие.
Cr558
18.06.2016 22:30+2Тем кто боится, что уничтожат какую-то этническую группу по биологическим признаком следует бояться микробиологии, а не каких-то роботов. Тем это будет очень сложно различить и сделать. А еще тогда отказаться, от любимого аргумента, что расовые различия «очень незначительны». Раз даже для ИИ они признают такую возможность.
immaculate
18.06.2016 23:09+1Какие тут могут быть рассуждения о морали и этике. Убивать людей нельзя. Неважно, нажимает курок живой человек или робот.
Hellsy22
19.06.2016 00:38+1Убивать людей конечно же можно. Например, ради защиты своей жизни, свободы и даже имущества.
ARD8S
19.06.2016 12:19Убивать людей нельзя. Вы должны наносить нелетальные повреждения даже для защиты своей жизни. Другое дело, что если нападавший скончается в результате вашей самообороны, вы можете избежать наказания за убийство, если докажете, что действовали в рамках самообороны или нападавший действительно представлял неизбежную угрозу для вас или других людей. В случае убийства из-за имущества доказать вашу самооборону будет ой как тяжело. И то не во всех странах. Отсутствие наказания по решению суда не даёт разрешения на убийство. Убивать животных тоже нельзя, допускается тоже только ради самообороны/пропитания и прочих условий крайней необходимости. Те, кто убивают разумных живых существ вне рамок выживаемости, а, например, ради удовольствия или потехи- больные ублюдки.
0xd34df00d
19.06.2016 18:05+1Неа. Если человек на меня нападает, то я не должен думать о том, наношу я летальные повреждения или нелетальные. Даже если человек нападает с явно выраженной целью, например, ограбить.
Metus
19.06.2016 19:21Вы пытаетесь объяснить как работает законодательство или что?
0xd34df00d
19.06.2016 19:56Нет. Мне казалось, тред начался и продолжается в первую очередь с точки зрения этических позиций, а не законодательных. Прошу прощенья, если упустил момент, когда это изменилось.
Metus
19.06.2016 20:27+1Я полагаю, этические позиции чем-то тоже нужно подкреплять, чтобы к ним прислушались, нежели просто утверждать что кто должен делать.
ARD8S
19.06.2016 19:50Ну, к примеру, на вас нападают с ножом, вы достаёте травмат и стреляете в голову 5 раз. Вас посадят за превышение пределов необходимой самообороны, если не докажете обратное (в этом случае доказать сложно, нужно много денег, экспертизы и умелые адвокаты). Если на вас нападают с ножом, вы достаёте травмат и стреляете в руки, ноги, (нападающий явно упорот, не останавливается), туловище, нападавший умирает, например, от остановки сердца или дыхания при попадании в солнечное сплетение или разрыва внутренних органов. Если будет достаточно доказательств, свидетельства очевидцев в вашу пользу и т.д. — не посадят. Кстати, в некоторых странах могут ещё наказать за неоказание помощи нападавшему. А вообще, почитайте кодексы.
0xd34df00d
19.06.2016 20:05Во-первых, например, мой дом — моя крепость.
Во-вторых, попробуйте на досуге оценить, какое расстояние покроет упоротый преступник с ножом, если вы выстрелите сначала в руки и ноги, потом проверяете, остановился там нападающий и уже валится на землю или таки продолжает на вас бежать, и только потом начинаете стрелять в туловище.
Потом посмотрите, например, вот это видео и оцените расстояние вместе с вашими шансами ещё раз.ARD8S
19.06.2016 20:22По ссылке: «принцип американского права». Если в живёте в US или стране с подобными законами, понятно, но… в «Этой стране» пока не так. УК не волнуют ваши «шансы», пока вы не его «клиент». Опять же оружие (как в US) не разрешат ещё очень долго. Может быть даже никогда. Газовый ствол приравняли к травматике и усложнили (практически свели на нет) возможность использования без особого геморроя (а ведь это функционально оружие самозащиты). Т.е. у вас нет возможности на самооборону, если нет разрешений. Перцовый баллончик или шокер (не знаю, может уже и их запретили) максимум. Даже нож (попадающий под критерия холодного оружия), человек без разрешения/лицензии не имеет права с собой носить. Подразумевается, что вы должны вызвать полицию и оказать! посильное! сопротивление нападающему. (не знаю, как на счёт использования подручных средств, в случае с «розочкой» или арматурой- придётся доказывать свою невиновность) Т.е. шанс выжить/не получить люлей/остаться без имущества при нападении у неподготовленного физически и морально человека ничтожно мал. Я не юрист. Повторюсь, читайте УК, там всё написано. Что не разрешено — наказуемо. Этические позиции и логику оставим за кадром. Ими не отмажешься.
0xd34df00d
19.06.2016 20:23И это печально.
Впрочем, и правда, я запутался, мы обсуждаем этику с моралью или законы?
Hellsy22
19.06.2016 20:45+1Вы играете словами. Если я, при некоторых условиях, открыто и легально убиваю человека без последствий — это значит, что убивать людей можно. Да, будет суд, который проверит легитимность моих действий, поскольку убийство — штука серьезная. Но это лишь тщательная проверка. А в случае полицейского, застрелившего преступника, так даже и суда скорее всего не будет.
ARD8S
19.06.2016 21:24+1Нет не играю я словами. Для того и есть наказание, как отражение запрещения действия. Есть закон. УК. Есть 105 статья. Где написано, что людей можно убивать? Нет? Значит это запрещено. Убить без последствий не получится, клеймо останется навсегда, даже если суд оправдает, может быть общественное порицание, отметка в документах о суде и привлечении по делу, проблемы на работе и т.д.
Вот предствьте: будет суд, убийца сядет в тюрьму и там будет думать что «можно»? Выйдет и снова «можно»? Значит ему нужно лечиться и ошибку совершил судья, не назначив субмедэкспертизу и не вынес пожизненный приговор.
Полицейский… у него по долгу службы есть полномочия, в определённых законами рамках, суд будет определять в пределах ли его полномочий он поступил. Если нет- то вполне могут посадить.
В условиях войны тоже нельзя убивать людей (союзников), но вам государство временно! (на период военных действий) позволяет избежать наказания за убийство «врага» (военного), в целях обеспечения гос. безопасности. Если ваши действия будут признаны преступлением, то будет трибунал или военно-полевой суд (по законам военного времени). В стране убитого вами военного вы будете таким же убийцей.
А вам совет, подумайте над своими словами, пока чего не случилось.Hellsy22
20.06.2016 00:44Где написано, что людей можно убивать? Нет? Значит это запрещено.
Ну, например, вот тут:
Статья 37 УК РФ. Необходимая оборона.
Не является преступлением причинение вреда посягающему лицу в состоянии необходимой обороны, то есть при защите личности и прав обороняющегося или других лиц, охраняемых законом интересов общества или государства от общественно опасного посягательства, если это посягательство было сопряжено с насилием, опасным для жизни обороняющегося или другого лица, либо с непосредственной угрозой применения такого насилия.
При насилии опасном для жизни — превысить пределы самообороны невозможно.
И даже более того: Не являются превышением пределов необходимой обороны действия обороняющегося лица, если это лицо вследствие неожиданности посягательства не могло объективно оценить степень и характер опасности нападения.
и ошибку совершил судья, не назначив субмедэкспертизу и не вынес пожизненный приговор.
Во-первых, у судьи нет такой власти — он ограничен рамками закона. А во-вторых, уголовное преследование — это цена, которую некоторые люди согласны заплатить, например за жизнь и здоровье своих близких.ARD8S
20.06.2016 01:05" не могло объективно оценить степень и характер опасности нападения". Это вам ещё нужно будет доказать в суде.
«причинение вреда посягающему лицу» =/= убийство.
Где написано, что можно убивать?Hellsy22
20.06.2016 22:13В вышеприведенной статье написано, что можно.
Если для вас это слишком сложно и вы хотите прямой текст, то попробуйте подумать о том, что нигде прямым текстом не сказано, что убивать нельзя. А «все, что не запрещено — разрешено».ARD8S
21.06.2016 00:02Нет, не написано. Да, для меня слишком сложно. Где прямым текстом написано, что можно? В «Этой стране» всё, что не разрешено- запрещено. Вы уверены, что найдётся в УК или других правовых документах, статья, где написано, что убийство разрешено? Зачем тогда вообще придумали право? Зачем государству вообще право, если люди уверены, что если можно избежать наказания в каких-то случаях- то их не накажут? Наказание- и есть то самое «запрещено», но оно для тех, кто не понимает, видит надпись «нельзя» и думает «а, пронесёт»/«мне можно», «проскочу» и т.д. Другое дело, что несовершенство правовой системы и законодательной базы не обеспечивает абсолютную неотвратимость наказания, точность, безусловность и непредвзятость суда и при некоторых стечениях обстоятельств вы можете избежать наказания за нарушенное «нельзя/запрещено». Даже если отойти от права, в мозгу у человека, живущего в обществе и имеющего сформировавшуюся личность «нельзя убивать представителей своего вида» само собой разумеющееся понятие- ограничитель и нарушение «нельзя» вызывает «вину», расстройства психики и т.д., что определяет его по общепринятым (в цивилизованных странах) критериям как адекватного, психологически здорового человека.
Две бригады санитаров этому товарищу, если он всё ещё считает, что убивать людей «можно».Hellsy22
21.06.2016 00:29В «Этой стране» всё, что не разрешено- запрещено.
В таком случае вынужден вам сказать, что вам никто не разрешал писать на гиктаймс. В законодательстве РФ нет конкретного разрешения на конкретные действия на конкретом сайте. Дышать вам тоже, кстати, никто не разрешал.
Зачем государству вообще право
Затем, что право четко оговаривает как, когда и за что могут применяться санкции.
«нельзя убивать представителей своего вида» само собой разумеющееся понятие
Только для умственно неполноценных детей разве что. Нормальные дети учатся в школе, а там вся история — это история массовых убийств. Весь эпос — это воспевание героических убийств. Потом дети идут, например, в армию и учатся убивать других людей с использованием специально для этого разработанных средств. Или идут в институты и зачастую разрабатывают эти самые средства. Один из популярных жанров фильмов для всех возрастов — боевики, самые популярные игры среди мужчин связаны с убийством других людей. Это уже не говоря о персональном воспитании — хорошие отцы, обычно, говорят своим сыновьям, что долг мужчины — защищать свою семью, в т.ч. с оружием в руках.
ARD8S
21.06.2016 01:05Речь про регулируемые правом аспекты. Вы не понимаете этого из контекста сообщений?
Вы считете всех людей, кто не считает, что убивать людей можно — умственно неполноценными детьми?
В школе не учат, что убивать людей можно. Историю учат, чтобы уйти от варварских обычаев по истреблению других людей ради куска земли, амбиций и комплексов диктаторов, корысти политиков или других причин. Про убийство в военное время я уже писал. Если вы этого не понимаете- ваши проблемы.
Боевики и игры -можно расценить как частный случай искусственно внесённого заменителя людей на кучку пикселей и частичного гашения агрессивных инстинктов. Естественно, на некоторых этот заменитель действует наоборот, что является лишь несовершенством методики и отсутствием комплексного подхода. Хорошие отцы учат защищать, а не убивать и объясняют, что за убийство сын сядет, чтобы не провоцировать применение силы без крайней необходимости или развитие девиаций поведения в сторону агресии. Восточные боевые искусства по большей части эволюционировали из способа убийства в методики общей тренировки тела и способы защиты, которые могут быть фатальным для врага в случае необходимости. Но это не делает мастеров слабее. Любое оружие можно использовать по-разному. Сын должен научиться обезвреживать нападающего, и научиться хорошо стрелять чтобы защищаться, а не становиться убийцей. Убить и принять наказание только в крайнем случае, когда иного выхода нет. Вот это и должен объяснить и разъяснить ребёнку хороший отец, а не учить убивать, необходимо научить ребёнка быть защитником с мозгами и научить принимать адеватные решения в любой ситуации, не впадать в панику, пуляя по сторонам, а сохраняя спокойствие духа и ясность разума, контроллировать гнев и ярость. Оружие- инструмент, если у держащего его мозги набекрень, то он просто опасный псих и (потенциальный/реальный) убийца, а не мужчина-защитник. Не впадайте в крайности. Вот из-за агрессивных, закомплексованных идиотов и больных придурков, которых в детстве не научили что такое хорошо/плохо или подверглись воздействиям больных «папашек-агрессоров-дохрена-военов», возможно усугубляющих это бухлом и веществами, история человечества- история воин. И плодят/воспитывают они таких же, а дети впитывают и проносят это дерьмо в будущее, становясь опасными для тех, кто может найти в себе силы соблюдать баланс между животными инстинктами/гормональным воздействием и правилами жизни в обществе и моралью с законами.
MichaelBorisov
19.06.2016 02:18+1Как показывает история, мораль и этика на войне отходят на второй план по отношению к стремлению победить. И если в ходе военных действий где-то иногда и проявляются признаки «морали» — то только потому, что это способствует победе или, по крайней мере, не мешает ей.
Поэтому нет никаких сомнений, что если автономные роботы-убийцы понадобятся кому-нибудь для победы — то они появятся.Saffron
19.06.2016 02:27Люди уже встречали такие ситуации, где победа над врагом оборачивается для тебя проигрышем в целом. Например, не пытаются более разворачивать боевые действия с использованием ядерного оружия. Автономное оружие и сильный ИИ — это козырь в современной войне, кто бы спорил. Но он может выйти из под контроля и тогда не будет победивших.
ZhenyaZero
20.06.2016 17:43> Но он может выйти из под контроля и тогда не будет победивших.
Давайте не будем рассуждать про сильный ИИ и Скайнет. Автономное оружие в текущих реалиях — это, к примеру, автоматический танк, который способен целиться и стрелять быстрее любого человека. Главная проблема (и главный посыл статьи) вот в чём: даже если роботы кроме солдат убьют сотню-другую мирных жителей, в условиях настоящей войны это мало кого будет волновать. Поэтому такой танк практически наверняка будет стрелять вообще во всё, что движется. Это гораздо эффективнее, чем ждать решения медлительного и обладающего моральными принципами человека. А ещё — проще и дешевле, чем разрабатывать и тестировать хитрый модуль, который будет пытаться отличить палку от автомата.Hellsy22
20.06.2016 22:17такой танк практически наверняка будет стрелять вообще во всё, что движется
Тем самым демаскирует себя, расстреляет боезапас впустую, а возможно и уничтожит дружественные цели. Оценка целей необходима. Пока ИИ не сможет сам оценивать цели, он будет не более чем усовершенствованным прицелом для человека-оператора.Wesha
20.06.2016 23:33Любовь и Евгений Лукины. «Сталь разящая». http://fan.lib.ru/l/lukin/text_0040.shtml
Итак… С боеготовым, или, как здесь принято выражаться, роящимся микрокомплексом ты вблизи дела еще не имел. И, может быть, хорошо, что не имел… Однако кое-что о нем уже известно. Первое. Новорожденный (раскуклившийся) комплекс начинает с того, что выстреливает на высоту около трех километров импульсный излучатель (длинная вертикальная царапина по небу). Тот раскидывает антенну (мерцающая спиральная паутина) и начинает свободное падение, испуская импульс за импульсом. Ловит «зайчики», то бишь отраженные металлом эхо-сигналы, как-то их, видимо, обрабатывает и передает вниз, на микрокомплекс. Металл смотрит…
И что же он там (то есть здесь) высматривает?.. Ну, во-первых, конечно, стайки «чужого» металла… Стоп! А как он вообще узнает, что металл чужой?.. Черт! Хочешь не хочешь, а придется допустить наличие у этих стальных пираний автоответчика, хотя, металл свидетель, картина усложнится дьявольски…
Ладно, допустим, автоответчик… Летит, мерзость такая, и сигналит: «Я свой!», «Я свой!..» Для своих свой, естественно…
Минутку, а почему во-первых? С чего бы это металлу размениваться на всякую мелочь? Во-первых, наверное, поразить крупную цель! А крупная цель это прежде всего накопители Бальбуса.
Ну, здесь вроде бы малость полегче — как-никак сам наблюдал. Итак, накопитель Бальбуса и сползающиеся к нему накопители помельче… Металл их видит — и начинает роиться. Иными словами, получив данные сверху, выстреливает обойму снарядиков, предположительно движущихся на ракетной тяге и заведомо снабженных микроголовками самонаведения, автоответчиком и взрывным устройством вдобавок… И все это, сталь их порази, втиснуто в изделие величиной с палец!
И пошла баталия… Накопитель Бальбуса ставит помехи, закапывается в грунт, подставляя непробиваемый панцирь, и либо выдерживает атаку, либо, как это случилось в прошлый раз, не выдерживает… А металл начинает щелкать поодиночке накопителей помельче… Кстати, получается, что накопители паразитически используют информацию, получаемую от «чужого» локатора. Забавно…
Ну хорошо… Враг разбит. В прямом смысле. А самому-то микрокомплексу какая от всего от этого польза?
Минутку-минутку… То есть как какая? Как какая?! Ах, сталь его порази! Да он же туда потом запускает снарядец, начиненный своими собственными паучками!.. Сперва вспахал, потом посеял… Да, но если поблизости уцелел хотя бы один «чужой» накопитель размером, ну, скажем, с кулак? Он же их всех слопает!.. Естественно, слопает. И правильно сделает. Стрелять точнее надо!..
Вот ведь как все любопытно складывается!.. Ну а допустим, что какой-нибудь комплекс по соседству, не будь дурак, дожидается себе спокойно конца битвы и тоже посылает на разрыхленное и удобренное обломками накопителей поле брани снарядец с паучками… Его, конечно, пытаются сбить. Но ведь он же его пошлет под прикрытием роя, а ресурсов-то у него больше, с монстром-то Бальбуса он не воевал… Мало того, он еще и постарается сбить снарядец дурака победителя…
Вот-вот-вот… И пошла свистопляска, и схлестнулся металл с металлом, затрещали рощи, брызнули в стороны кочевники, а кто не успел, ложись!.. Ах, какая красивая картинка-то получается! И не противоречивая, что главное. Пока…
Хорошо! Допустим, отсвистал металл, ни один снарядец сбить не удалось, боевая ничья, оба шлепнулись в одном районе, вылупились паучки, расползлись, отъелись — встречаются… По логике, должна начаться уже наземная война. Будут шарашить друг друга разрядами — на предмет, у кого раньше внутренности сплавятся…
Впрочем, это потом! А сейчас гораздо интереснее проследить цепочку до конца. Накопление идет полным ходом, самый прожорливый становится чудовищем Бальбуса, остальные с ликованием сползаются к нему на съедение, все удары с воздуха отражены, все микроголовки заморочены помехами… И, достигнув критической массы (назовем ее так), накопитель зарывается в землю. Из земли вышел, в землю ушел…
А дальше, надо полагать, отключается одна программа (накопление) и включается другая… Зарывшись, накопитель скорее всего прекращает движение (закукливается) и начинает потихоньку перерабатывать неправедно нажитый металл в обоймы боевых единиц, излучателей, в снарядики, начиненные микропаучками… Только не спрашивайте, ради Бога, откуда он берет начинку для боеголовок, равно как и ракетное горючее (если это, конечно, и в самом деле ракеты)! Синтезирует, сталь его порази!..
А ведь не так уж и наивна, выходит, местная терминология. Судя по всему, цикл развития микрокомплексов был беззастенчиво содран изобретателями именно у насекомых…
И все равно многое непонятно! По какому принципу, например, они воюют? Каждый за себя?.. Бальбус, помнится, различал в этой металлической кутерьме «союзников» и «противников»… Ладно, время покажет…
Idot
19.06.2016 06:27Применять этих роботов скорее всего будут в антитеррористических операциях в странах Третьего Мира. А ответственность за то что робот по ошибке кого-то убил, будет не больше чем за ошибочные бомбардировки мирных свадеб совершаемые лётчиками людьми — когда никого не наказывают за убийство десятков человек. В случае ошибки лётчика выпустившего ракету по толпе людей — хоть известно кто это сделал. В случае робота — непонятно кто будет отвечать. Если не наказывают зная кто именно это сделал, то тем более не станут кого-либо наказывать не зная кто должен отвечать за робота.
Так что пока такие роботы будут убивать людей за пределами Золотого Миллиарда — никто даже не почешется, а на ошибочные убийства — будет просто наплевать.
Larick
19.06.2016 18:44А чем робот-убийца отличается от отмороженного солдата? да ничем, только у солдата жажда крови и эмоции есть, солдаты могут и деревню в отместку расстрелять, а робот не станет.
они боятся ложных срабатываний, но алгоритм принимает решения без эмоций, человек же (особенно если вчера «типа мирный» достал спрятанный пистолет и застрелил его товарища) начнет бить всех подряд.
eazakutin
20.06.2016 17:42Вспомнился Sentry Bot из Fallout. fallout.wikia.com/wiki/Sentry_bot_(Fallout_4)
Panchev
20.06.2016 17:46-1Человеческая цивилизация стоит перед новыми вызовами, поднимают голову средневековье, дикость и фашизм. Неважно как они себя называют, то ли это «всемирный халифат», то ли случай, когда одна из стран, уже почти сотню лет исходит в угаре «победобесия», празднуя победу в давно отшумевшей войне, где они когда то действительно победили, правда ценой миллионов своих солдат, которых ложили бездарно и нещадно ради победных реляций «к дате». То, что побежденные сейчас живут по уровню жизни на порядки лучше «победителей» нисколько не смущает «страну победившего победобесия». Так вот — для того, чтобы в мире все таки был прогресс, человечество должно иметь возможность уничтожать взбесившиеся «раковые опухоли человечества», в том числе и средствами, недоступными дикарям потому что они дикари. И автоматическое оружие — самое то.
74311
циклоны-сайлоны… таймер на бомбе -своего рода робот, не спрашивает лицензию на убийство.убивает создатель.оружие всего лишь инструмент, по характеру действий которого можно много сказать о создателе, его мотивах и ошибках
Garbus
Ну простая бомба, в отличии от роботизированной, не может сама залезть в дом и спрятаться под кроватью. Не говоря уж о том чтоб решить когда ей пора взорваться. А если у нее баг какой сработал или хакнули, и побежала она не понять куда?
Hellsy22
Может. Неразорвавшиеся боеприпасы унесли много жизней после войны.
Garbus
Ну это уже совсем запущенный случай, при массовом обстреле есть шанс быть убитым даже не разорвавшейся бомбой.
Garbus
Не пойму минусующих, то что бомбежка как правило означает военные действия и шанс погибнуть в такой ситуации намного выше настолько отвратителен людям? Или то, что бомба попав в дом может кого-то убить даже не взорвавшись?
Вот честно, с трудом представляю, как кто-то махая ломиком выковыривает застрявшую в полу мину. Случайный взрыв при разборе завала, когда её не видно, запросто. Но при отсутствии военных действий в округе, дыра в крыше или стене как минимум будет выглядеть подозрительно.
saege5b
есть масса победителей премии Дарвина, при попытке разборки старых (ржавых) боеприпасов выкопанных где-нибудь по случаю.
И вообще, читая новости как народ пачками гибнет, становится инвалидами _играя_ с современными боеприпасами, то начинаешь верить во что угодно.
Wesha
Владимир Покровский. «Самая последняя в мире война»
ЧЕЛОВЕК. Тому, кто первым додумался делать разумные бомбы, я бы поставил памятник. И на нем надпись: «Плевать сюда».
Это ведь надо догадаться — снабдить бомбы человеческими мозгами! Но даже не в умнике этом дело, а в тех, кто его послушал, кто сказал, да, черт возьми, это то, что нам нужно, в тех, кто дал деньги, заводы,
лаборатории, в тех, кто высчитывал по формулам, сколько миллионов живой силы прихлопнет такая бомба.
Нет, я понимаю, на войне некогда разбираться: этично там, неэтично; здесь кто кого, здесь и бомбе надо соображать на высшем уровне, быстро и четко. Найти цель, самую уязвимую, чтобы наверняка, притаиться, переждать, выждать момент. И взорваться. Без этого никуда. Такая война.
Но бомба и разум!
А войны все не было, бомбы лежали на складах в специальных люльках и ждали своего часа. Разум — не компьютер, его совсем выключать нельзя, разве что приглушить на время. Это ведь память, а нет памяти — и никакого разума нет. Они, наверное, думали, переговаривались, слушали радио, набирали информацию. В апреле, когда был подписан договор о полном разоружении, о них вспомнили. И решили списать. Тогда-то все и началось.
БОМБА. Когда нам отказали во взрыве, пришла тоска. Мы не знали, что он такое. Мы только мечтали о нем. Он горячий и большой. Он ярко-черного цвета. Он бесшумен. Кто-то из нас высчитал, что мы будем жить еще долю секунды после того, как превратимся во взрыв. Пока все не перемешалось, пока сохранилась структура. Миллисекунда, может быть, даже несколько микросекунд. Освобождение всех таящихся сил. Взрыв. Могучий, яркий, мгновенный.
С нашим мозгом на Земле трудно. Все земное чересчур медленно. От одного события до другого проходит вечность. Мы слишком быстро думаем. В бою такая скорость мысли нужна, но в другое время это только мешает. Мы очень много запоминаем ненужного. Мы забывчивы. Мы не можем строить далеких
планов.
Мы знали: нас уничтожат.
И однажды в зал вошел незнакомый человек. Он не поздоровался, не заговорил с нами как это делали солдаты охраны и уборщики. Он включил свет и подошел к пульту. Все люди очень похожи, но этого мы запомнили. Серое лицо, сосредоточенные глаза, постоянная оглядка на счетчик. Он был новичок: они боятся радиации.
При полном свете, которым нас нечасто баловали, мы увидели блики на наших телах. Мы тихо покачивались в люльках, и блики переползали с места на место.
С неожиданным лязгом открылась дверь, в зал мягко вкатилась вывозная тележка и стала под бомбой номер семь. Мы звали ее по-другому, трудно перевести ее имя.
Человек прошелся по кнопкам пульта и седьмая стала спускаться. Я на всю жизнь запомню этого человека.
— Что делать? — сказала Седьмая. — Меня убьют. Я не хочу.
— Нас всех уничтожат!
— Я не хочу!
— Что делать?!
— Я не хочу!!!
Уже непонятно было, кто что говорит.
Мы кричали многие миллисекунды и стали похожи на людей — они так увлекаются вопросами, что забывают на них отвечать.
— Я включаю газ, — вдруг сказала Седьмая.
— Но человек умрет.
— Пусть.
Кто-то крикнул: «Беги!» И мы все повторили: «Беги, Седьмая!» Из ее сопла выползло пламя, люлька качнулась вперед.
Мы следили за человеком. Воздух в зале немного нагрелся, его одежда серой пылью взвилась к потолку, он только успел поднять к лицу руки, затем скорчился и ткнулся головой в пол. Всю жизнь буду помнить его лицо.
Седьмая вырвалась из гамака и опустилась чуть впереди вывозной тележки, а та, безмозглая, все тянула вверх свои клешни. Седьмая заскользила к двери. Мы — следом.
ЧЕЛОВЕК. Бомбы вырвались вдруг из склада, тысяча четыреста восемьдесят пять штук, смяли роту охраны, установили что-то вроде республики и объявили всем странам: чуть, мол, кто сунется, взорвемся вместе. Вот так.
Такой взрыв — смерть всей планете. Все перепугались. И главное, ничего нельзя было сделать, только следить за ними, следить не переставая. Спутники исправно доносили, что бомбы все время передвигаются и разговаривают. О чем — непонятно. Они говорили слишком быстро и слишком долго, целая армия шифровальщиков не смогла бы поспеть за ними. Мы ждали, когда кончится энергия. И она стала кончаться, а потом вдруг оказалось, что бомбы научились брать ее прямо из грунта.
БОМБА. Энергия кончалась, мы ждали конца, и тогда, уже не помню кому, пришла мысль, что необязательно пользоваться тем топливом, которое в нас. Есть другой состав, его можно найти везде. Вода, кремний и алюминий.
Теперь наш нужны были руки.
Выдвижными опорами мы долбили канавки в грунте, толкли железистую землю и отливали инструменты. Сначала не получалось, а потом дело пошло на лад. Мы отдавали последние капли своего топлива, чтобы все вышло.
Многие не могли уже двинуться с места. Они отдали все, что имели.
Потеря энергии — мука, ни с чем не сравнимая. Сначала перестаешь двигаться. Потом слабеет голос, исчезает зрение, слух. Последнее, что еще теплится, — радио. Ты слышишь хрипы, бывшие когда-то ясными голосами, их еще можно разобрать, но лень, лень… Лень и слабость.
Через месяц у нас были руки и мы могли очень многое. У нас были руки!
Дальше: http://lib.ru/%3E%3C/RUFANT/POKROWSKIJ/30_46.txt
Grebenshchikov_Alex
Проблема еще в том, что алгоритм робота человек хоть и программировал, но не всегда может предсказать и защитить от взлома.
одно дело турель которая прибита на месте и в крайнем случае выжгет вокруг себя пространство в пару километров диаметром, а другое дело робот, который выступает на параде и видит перед собой sql инъекцию.
74311
… если программист(создавший систему для умного оружия), допустим это турель выступающая на параде(в силу ряда обстоятельств которой прямо вот необходимо было иметь в закромах боевые патроны)утверждал что система устойчива к (наример)sql инъекциям -но она на такое не способна-то очевидно что это косяк программиста… степень умности оружия повышая его технологическую ценность(и как игог $)все больше ответственности накладывает на разработчика.современного уровня же «поделки»-на совести того кто нажал кнопку(дал питание)… так кажется интуитивно верно
однако на практике юридический расклад сил может не соответствовать здравому смыслу.мне до сих пор непонятно как в одном и том же суде разные адвокаты могут рассматривать одно дело с оч разных позиций-была драка и элис убила боба(vs)удар не был смертелен, боб умер в следствии падения и удара о ступеньку головой.(это реальный пример из российского суда)
Chamie
geher
> в силу ряда обстоятельств которой прямо вот необходимо было иметь в закромах боевые патроны
Убивать можно и наматывая на гусеницы. Это если не рассматривать перспективные виды вооружения, не требующие боеприпасов и использующие ту же энергию, что и двигательная установка. Например, лазерные, которые уже могут как минимум необратимо лишить зрения.
> очевидно что это косяк программиста…
И кому легче от такой очевидности?
Как мне кажется, сама теоретическая возможность наличия такого воздействия требует наличия при каждом «интеллектуральном» экземпляре оружия человека, который при случае «рубанет рубильник».
> была драка и элис убила боба(vs)удар не был смертелен, боб умер в следствии падения и удара о ступеньку головой.(это реальный пример из российского суда)
В данном случае судом обычно должны рассматриваться три момента.
1. Наличие умысла убить, т.е. убить непосредственно ударом или бросить своим ударом оппонента на ступеньку таким образом чтобы он ударился и умер.
2. Наличие умысла бросить своим ударом оппонента на ступеньку, но отсутствие умысла причинить смерть.
3. Наличие прямой причинно-следственной связи между ударом и смертью, т.е., умер бы человек от такого удара вне зависимости от того, подвернулась ему под голову мягкая подушка или ступенька.
При наличии первого без вопросов имеем преднамеренное убийство.
Наличие второго и/или третьего уже включает мутный процесс различения разных случаев непреднамеренного причинения смерти. В частности, наличие умысла ударить об ступеньку без умысла убить и наличие прямой причинно-следственной связи между ударом и смертью в принципе теоретически эквивалентны.
Valerij56
Вы забыли про самозащиту. Удар из «хулиганских побуждений», пусть и без намерения убить, явно не эквивалентен удару с осознанным и явным желанием убить нападающего, представляющего опасность (например, вооружённого). Но и здесь может быть ошибка — нападение может быть шуточным с водяными пистолетами, некоторые игрушки внешне почти неотличимы от боевого оружия.
OnYourLips
> то очевидно что это косяк программиста
Не только не очевидно, но и ложно.
Это косяк руководителя отдела, который забил на кодревью, проверку качества и безопасности.
Alexey2005
Чем это принципиально отличается к примеру от самолёта, упавшего на толпу зрителей на параде (вполне распространённый случай)? Или от гоночной машины, вылетевшей с трассы прямо на зрителей? Или от пожара на военном складе, из-за чего даже целые города бывает эвакуируют?
С каждым таким случаем вполне возможно справиться. А потом провести «разбор полётов» и придумать, как сделать так, чтоб уменьшить вероятность подобных инцидентов.
Grebenshchikov_Alex
Отличается одной важной вещью:
Роботом сможет манипулировать злоумышленник и модифицировать программу так, что что он будет наносить вред пока не выйдет из строя или не вернут управление. А вред он будет приносить не просто устраивая ДДОС, а расстреливая все живое на своем пути и имея хорошую защиту от этого живого.
KivApple
Точно также злоумышленник может, условно, перерезать тормозной шланг гоночного болида, чтобы он на полной скоростью влетел в толпу зрителей. С учётом всеобщей компьютеризации, не обязательно буквально решать шланг, можно использовать уязвимость прошивки бортового компьютера.
black_semargl
перерезать шланг так, чтобы влетел именно в толпу а не просто в стенку — достаточно нетривиально.
Данный робот же специально предназначен убивать.