Если вы ищете признаки грядущего апокалипсиса, в котором будут повинны роботы, обратите внимание на демилитаризованную зону между Северной и Южной Кореей. Здесь, вдоль наиболее укрепленной границы в мире, несут вахту больше чем просто солдаты.
Встречайте SGR-A1, часового-робота, разработанного компанией Samsung в Южной Корее. 1.2-метровый аппарат выглядит немного больше, чем пара черных металлических обувных коробок, но его бездушные глаза, оборудованные инфракрасными портами, могут обнаружить врага на расстоянии до четырех километров. Его пулемет наготове.
В настоящее время робот оповещает своих создателей о подозреваемых злоумышленниках, сидя в комнате управления. И для того, чтобы он открыл огонь, необходимо одобрение человека. Но этот робот также работает в автоматическом режиме и может стрелять первым на свое усмотрение. Сопротивление, мои коллеги-люди, бесполезно.
Пентагон и военные во всем мире разрабатывают все более автономное оружие, выходящее далеко за рамки дронов с дистанционным управлением, которые использовал Вашингтон в Пакистане, Афганистане и других странах. Технологические достижения позволят этим новым видам оружия выбирать мишень и стрелять по ней на свой выбор без одобрения человека. Некоторые предсказывают, что эти роботы в один прекрасный день будут сражаться бок о бок с солдатами-людьми.
Неудивительно, что известие о роботах, которые убивают, заставляет некоторых людей нервничать. В апреле этого года международная коалиция конструкторов, ученых и правозащитников созвала кампанию против создания роботов-убийц и обратилась к дипломатам Организации Объединенных Наций в Женеве. Участники кампании хотят запретить разработку и использование «смертоносного автономного оружия», хотя и признают, что такое оружие, хотя технологически это возможно, никогда не применялось.
«Есть смысл задаться вопросом: уменьшится ли ценность человеческой жизни от того, что роботам позволят убивать людей?» — говорит Питер Асаро, доцент в Школе медиаисследований в Нью-Йорке и представитель кампании против роботов-убийц.
Это всего лишь один вопрос, с которым философы, правоведы и ученые борются еще с незапамятных времен, в то время как мир готовится к натиску новых роботов, которые, как нам говорят, будут косить газоны, ухаживать за пожилыми людьми, учить детей, страдающих аутизмом, и даже водить наши автомобили. Эти роботы не могут убивать, но представители дорожного движения хотят заставить правительства и суды рассмотреть ряд юридических и этических вопросов. На кого я должен подать в суд, если меня собьет машина без водителя? Что делать, если робот-медик даст пациенту неправильный препарат? Что делать, если робот-пылесос случайно всосал мои волосы, пока я дремал на полу (как на самом деле произошло с женщиной в Южной Корее не так давно)? А может ли робот совершить военное преступление?
Именно этот последний вопрос больше всего беспокоит профессора Асаро. Он и другие члены коалиции, в которую входят Human Rights Watch утверждают: если автономная компьютерная система, запрограммированная на то, чтобы отличать вражеских солдат от гражданского населения, на самом деле нажимает на курок без "человеческого одобрения", то будет очень трудно держать ситуацию под контролем, если что-то пойдет не так.
Если робот выйдет из строя и убьёт целую деревню, вы не сможете поставить неодушевленный объект перед Международным уголовным судом или придать его военно-полевому суду. А некоторые эксперты говорят, что вы не можете по закону обвинить даже разработчиков робота, если они не предполагали, что данный робот может сойти с ума.
В уголовном праве суды должны найти то, что известно как mens rea, или виновная воля (с латыни). Но они вряд ли найдут информацию о том, что робот — с текущим уровнем развития искусственного интеллекта — имеет волю в принципе. Конструкторы роботов могут понести гражданскую ответственность, если обнаружится, что робот вышел из-под контроля из-за сбоя в программе. Однако и они, возможно, не будут привлечены к ответственности за действия робота-убийцы.
Эти роботы-убийцы могут выглядеть как угодно — от автономных дронов до роботов-марсоходов с автоматами. В директиве от 2012 года Министерство обороны США постановило, что автономные системы «должны быть разработаны таким образом, чтобы командиры и операторы могли осуществлять соответствующие уровни человеческого контроля по поводу использования силы». В ответе по электронной почте на вопрос от The Globe and Mail Канадский департамент национальной обороны отметил, что "в настоящее время не разрабатывается автономное смертоносное оружие", но их исследовательское агентство активно занимается «программой исследований в сфере беспилотных систем».
По крайней мере одна компания, занимающаяся робототехникой, Waterloo, Ont.-based Clearpath Robotics Inc., выступила против роботов-убийц, несмотря на то, что создавала роботов для канадских и американских военных. Райан Гариепи, соучредитель компании ClearPath и ее главный технический директор, сказал, что хорошим применением для автономных боевых роботов были задачи по разминированию или наблюдению, но не убийства, особенно если такие машины только на одной стороне боя: "Разве могут роботы решать, кому вынести смертный приговор? Имеет ли право человек лишать жизни таким образом вражеских солдат?"
Неизбежно обсуждение убийц-роботов вращается вокруг «трех законов робототехники» из рассказов писателя-фантаста Айзека Азимова. Первый закон запрещает роботам вредить людям; второй приказывает им подчиняться людям, только если это не противоречит первому закону; третий приказывает роботам защищать свою собственную жизнь — при условии, что это не нарушает первые два закона. Но большинство экспертов говорят, что эти законы принесут мало пользы в реальном мире: их недостатки даже Азимов показывает в своих рассказах.
Тем не менее, профессор Рональд Аркин из Технологического института Джорджии, известный американский конструктор роботов, который работает над проектами Пентагона, утверждает, что роботы-убийцы или другие автоматизированные системы вооружения могут быть запрограммированы, чтобы следовать законам войны — и следовать им лучше, чем люди. Робот, говорит он, никогда не будет стрелять, защищая свою жизнь или из-за страха. Он будет иметь доступ к информации и данным, которые ни один солдат-человек не смог бы обработать так быстро, что делает менее вероятной ошибку в «пылу битвы». Он никогда не будет намеренно убивать мирных жителей в отместку за смерть товарища. И он действительно может следить за солдатами, чтобы они не совершали злодеяния.
Профессор Аркин также утверждает, что автономная технология по сути уже на поле боя. По его словам, U.S. Patriot missile batteries автоматически выбирают цели и дают человеку до девяти секунд, чтобы отменить цель и остановить ракету. А система U.S. Navy’s Phalanx защищает корабли, автоматически сбивая ракеты.
Но даже они требуют мораторий на разработку более автономного оружия до тех пор, пока можно будет показать, что они могут уменьшить потери среди гражданского населения. «Никто не хочет появления Терминатора. Кто хотел бы иметь систему, которую можно отправить на задание, и она будет самостоятельно решать, кого нужно убить? - говорит профессор Аркин. — Эти системы должны разрабатываться очень тщательно и осторожно, и я думаю, что есть способы сделать это».
В последнее время крупные технологические компании все больше обеспокоены искусственным интеллектом. Физик Стивен Хокинг предупредил, что появление ИИ «может означать конец человеческой расы». Элон Маск, основатель Tesla Motors, назвал ИИ "экзистенциальной угрозой" — не менее опасной, чем ядерное оружие. Билл Гейтс, основатель Microsoft, также обеспокоен.
Люди, которые действительно работают над созданием искусственного интеллекта, говорят, что есть о чем беспокоиться. Yoshua Bengio, ведущий научный сотрудник ИИ при Университете Монреаля, отмечает, что фантастика Star Wars и Star Trek сильно переоценивает способности роботов и искусственного интеллекта. Однажды, говорит он, мы могли бы построить машины, которые стали бы конкурировать с мозгом человека. Но сейчас ИИ еще не настолько развит.
Еще очень многое нужно сделать, прежде чем роботы станут такими, какими вы видите их в кино, — говорит профессор Бенджио. — Мы еще очень далеки от того, чтобы получить уровень понимания мира, который мы ожидаем, скажем, от пятилетнего ребенка или даже взрослого. И на достижение этой цели могут понадобиться десятилетия или еще больше. Мы не можем повторить даже интеллект уровня мыши.
Без сомнения, разработка как аппаратных средств, так и программного обеспечения для роботов все время стремится вперед.
Роботы, разработанные компанией Boston Dynamics, которую недавно выкупил Google, могут носиться по пересеченной местности, как собаки, и ползать, как крысы, в зоне бедствия.
Робот-собака по имени Спот может стоять на ногах после того, как его побьют, а его металлические ножки выглядят устрашающе реалистичными.
Но если вы боитесь, что революция роботов-убийц является неизбежной, Atlas, шестифутовый робот-гуманоид весом в 330 фунтов, поможет вам успокоиться. Также созданный компанией Boston Dynamics, он может ходить по лестнице и по камням. Он похож на Киберчеловека из сериала «Доктор Кто», разработанного компанией Apple. Однако заряда его аккумулятора хватает всего на 1 час.
Похоже на то, говорит Ян Керр, заведующий кафедрой этики, права и технологий в университете Оттавы, что люди постепенно передадут управление машинам с искусственным интеллектом - компьютерам, которые со временем будут делать определенные вещи лучше, чем мы. Хотя пройдет некоторое время, прежде чем появятся машины, которым не нужен будет водитель, даже сейчас уже есть автомобили, которые могут припарковаться самостоятельно. Робот IBM Watson от компании International Business Machines Corp., который выиграл викторину Jeopardy! в 2011 году, в настоящее время используется для анализа миллионов страниц медицинских исследований, чтобы рекомендовать процедуры для больных раком.
Человек — это просто точка... О чем-то подобном я иногда думаю, и в этот момент я похож на Авраама на горе, когда он слышит голос Бога, но все еще должен решить для себя, что делать, -говорит проф ессор Керр. — Закономерно, что больницы захотят, чтобы врачи полагались на машины, поскольку машины имеют больший потенциал… И вдруг мы достигнем точки, когда человечество будет избавлено от некоторых видов решений, таких как вождение или война.
Комментарии (64)
kahi4
06.07.2015 11:18+9Эта тема очень расплывчата. До сих пор идут споры: управляемые ракеты — это одноразовые БЛА или нет. Ведь формально все признаки соблюдены. При этом, они предназначены имено для поражения цели, но что-то как-то раньше никого не волновало. Почему не волновало? Потому что решение о применении подобных устройств (управляемые или баллистические ракеты, торпеды и прочее) принимал человек. Ведь формально после запуска они сами принимают решение о том, кого поразить (с большой или меньшей степенью «разума», некоторые летят просто на самый теплый объект в поле зрения, некоторые еще могут оценивать обстановку).
Так же и военные роботы — ответственность должна лежать на тех, кто принял решение об их применении, покуда роботы — личность только в фантастике, в жизни же любой робот — инструмент.
Ровно так же и робот, который в состоянии уничтожить деревню, но применяемый в мирных целях — лишь инструмент, правда с повышенным уровнем опасности, а, как следствие, с большими требованиями техники безопасности. Например, в любом таком роботе я бы обязал делать цепь разрыва — легкодоступную кнопку для человека, нажатие на которую моментально отключает робота от питания, тот, в свою очередь, стопарится в текущем положении. Так же должна быть возможность удаленно (в приделах нескольких метров, например) по радио-каналу останавливать робота. Причем эта цепь должна быть независимой, т.е. робот самопроизвольно не может противостоять этому сигналу (просто реле с дистанционным управлением на выходе из питающего элемента). Но это к гражданским. Военные роботы — за них несет ответственность тот, кто их применяет.
Hottaby4
06.07.2015 12:30Если робот разумен, и сошел с ума, в нашем понимании этого слова, что ему мешает обойти эту блокировку, внеся изменения в свой конструктив, самостоятельно или с помощью другого робота? Я бы лично не хотел, чтобы у меня была кнопка или удаленно управляемое устройство, которое меня вырубает. И сделал бы все, чтобы от него избавиться. Это независимо от моего отношения к моим создателям.
kahi4
06.07.2015 13:32Если прижмет — не составит труда конструктивно сделать такую цепь разрыва недоступной самому роботу (попытка взлома её автоматически приводит к блокировки. Блокировка опять независимая. Пиропотрон, нацеленный в его «мозг», если уж совсем идти на крайности). В общем то, это уже с успехом решается, опять же в военном применении (взведенный взрыватель при попытке вскрытия разорвет заряд, например).
Ну и когда роботы будут действительно разумны настолько, что смогут понять это — вопросы и решения будут уже несколько другие.
mayorovp
06.07.2015 13:52+5Во-первых, мешает ему обойти блокировку тот факт, что kahi4 говорил о неразумных роботах.
Например, автоматический лесозаготовочный комплекс, случайно выйдя за границы области работы, вполне может начать пилить столбы ЛЭП — и по ним «дойти» до деревни. Но я не могу представить себе такую ошибку в программе, которая заставила бы его «защищать» эту самую кнопку выключения.
Во-вторых, даже если «Доктор Зло» зальет свою прошивку в этот комплекс — или даже возьмет его на удаленное управление — то у него все равно просто не будет исполнительных механизмов, пригодных для обхода блокировки.
VenomBlood
06.07.2015 20:12Если робот будет разумен — у него будут права и он, рано или поздно (скорее рано) будет приравнен к человеку, а посему подобных кнопок у него быть не может. Но речь о неразумных роботах.
Darth_Biomech
06.07.2015 12:40-2Статья как-то уже устарела. уже успели появиться и машины способные ездить без водителя, и робот уже успел убить человека.
mayorovp
06.07.2015 13:53+5робот уже успел убить человека
… находясь при этом на ручном управлении? Это совсем не те ситуации, которые рассматривались в статье.
leorush
06.07.2015 12:50+5В настоящее время робот оповещает своих создателей о подозреваемых злоумышленниках, сидя в комнате управления
Робот сидит в комнате управления? )
edwardspec
06.07.2015 13:58+7Злоумышленники сидят в комнате управления. Робот чует их злой умысел и оповещает создателя.
GarryC
06.07.2015 12:52+22То есть противопехотные мины, которые давно и с успехом убивают людей (в том числе и мирных) без малейших признаков управления со стороны бойца, не являются угрозой, а вот роботы — это да, это что то новое?
Не очень понял пафос исходной статьи.
GeckoPelt
06.07.2015 15:09+4Да, я тоже как раз не понял принципиальной разницы в данном этическом контексте между самонаводящимся терминатором и, скажем, МОН-50 на растяжке.
frog
06.07.2015 16:35+3Думаю тут ключевое различие в том, насколько обывателю понятна суть происходящего. Если речь о мине или ограде под напряжением, большинство достаточно неплохо понимает, как это работает (или думает, что понимает — не суть важно). Если это терминатор или даже просто устройство, которое перед выстрелом учитывает множество факторов, то нет. Отсюда страх.
Zenitchik
06.07.2015 13:35+7Дураку ясно, за робота отвечает его командир. Как и за любое другое оружие.
Робот-охранник это по существу — мина.GeckoPelt
06.07.2015 15:10+3Вот-вот. Вот это еще мина или уже робот?
ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%BE%D1%82%D0%B8%D0%B2%D0%BE%D0%B2%D0%BE%D0%B7%D0%B4%D1%83%D1%88%D0%BD%D0%B0%D1%8F_%D0%BC%D0%B8%D0%BD%D0%B0
На вооружение армии России официально принята мина ПВМ. Мина противовертолетная кумулятивная направленного поражения неуправляемая. Предназначена для выведения из строя низколетящих воздушных целей (самолетов, вертолетов, иных летательных моторных аппаратов) движущихся со скоростью до 360 км/час. Поражение цели при взрыве мины наносится ударным ядром вылетающим в направлении цели на дальность до 150 метров.
А НВУ-П «Охота»?
www.saper.etel.ru/mines-2/nvu-p.html
При входе цели в зону поражения (полусфера радиусом 150 метров) производится подрыв мины и ударное ядро, движущееся со скоростью около 2500 м/с поражает цель. Целью считается источник звука и инфракрасного излучения одновременно (мотор летательного аппарата).
RealFLYNN
06.07.2015 13:42По-моему все очевидно: если смерть человека произошла вследствие автономной работы программы, то в причинении смерти косвенно повинен разработчик, написавший ту часть кода, которая обеспечила автономное убийство. Если смерть произошла вследствие работы живого оператора с программой и не было зафиксировано программных ошибок или багов, то в причинении смерти виноват оператор.
Точно так же, если вы купили топор и зарубили им кого-то — ответственность на вас (при прочих равных), если же вы добросовестно рубили топором дрова, соблюдая условия его эксплуатации, а топор внезапно взорвался и убил осколками вашего соседа из-за дефекта конструкции, ответственность на производителе.
У робота нет собственной воли, робот не принимает настоящих решений, робот не может нести ответственности, потому что робот — это инструмент.mayorovp
06.07.2015 14:05+3Не все так просто…
Допустим, вы забивали топором гвозди (нарушение инструкции, но вообще-то все так делают) — а топор взорвался из-за дефекта и убил соседа?
Можно еще сильнее усложнить. Допустим, топор взрывается только если рядом стоит включенный обогреватель (включать обогреватель рядом с работающим топором запрещено инструкцией). Обогреватель включил сосед, который не читал инструкцию к топору…
Если ответы получились разные, то можно еще рассмотреть ситуацию с обогревателем, когда взаимодействие обогревателя и топора — никому ранее не известный факт.
dron_k
07.07.2015 12:25Всё крайне просто.
>>>взаимодействие обогревателя и топора — никому ранее не известный факт.
Виноват производитель тк выпустил не достаточно протестированное устройство.
Яркий пример — отзыв автомобилей при обнаружении опасного дефекта.
>>>Обогреватель включил сосед, который не читал инструкцию к топору…
Тк в инструкции написано о такой взаимосвязи то там 100% будут строки типа «перед использованием убедитесь в отсутствии обогревателей в радиусе N метров»
Итого — виноват оператор топора, тк обязан убедиться что в радиусе воздействия обогреватели отсутствуют.edwardspec
07.07.2015 14:04+1>>>взаимодействие обогревателя и топора — никому ранее не известный факт.
Все факторы не предусмотришь.
Виноват производитель тк выпустил не достаточно протестированное устройство.
Может, этот топор только во время магнитной бури взрывается, или только когда начинается прилив, или только если в радиусе 100 километров от топора летит более 10 самолётов.
Тащить производителя топора в суд «вы не протестировали свой топор вблизи 10 летящих самолётов» — ну троллинга ради можно (или чтобы на топор добавили надпись «в присутствии самолётов не использовать»), но вина производителя под большим вопросом, т.к. все возможные условия не протестируешь.
Несут ли ботаники, которые обнаружили в горах Борщевик Сосновского, ответственность за результаты его последующей культивации на равнинах? Когда они его вытащили с гор, он не был проблемой. Кто ж знал, как он себя поведёт в изменившихся условиях…
ploop
06.07.2015 14:29У робота нет собственной воли
Ключевой момент тут. Пока её нет — вопросов нет. А когда она появится? Как тут быть?
aikixd
06.07.2015 14:53+2Когда появится, мы будем наблюдать дивный новый мир, а пока нет — отвечает оператор, который должен действовать в соответсвии с инструкцией, в то время как производитель должен гарантировать правильную работу в рамках правильной экплуатации.
ploop
06.07.2015 14:58Так это ясно, инструмент он и в Африке инструмент, не важно, какой сложный. До тех пор, пока инструмент не начнёт мыслить :) А может вообще станет умнее хозяина. Вот о последнем интересно поразмыслить.
aikixd
06.07.2015 16:26Интересно-то да, но это явно за рамками топика. Если у робота есть воля то на нем и ответсвенность. А какая воля у него будет и как привлекать к ответсвенности другое дело. Я вот никак не могу придумать, какое наказание испугает робота. Не факт, что у него будет инстинкт самосохранения. Изоляция тоже не прокатит. Достаточно понизить тактовую частоту и вот ты уже на свободе.
ploop
06.07.2015 17:00Интересно-то да, но это явно за рамками топика.
Так мне кажется наоборот. «Тупые» роботы много лет уж на конвейерах работают.
NickKolok
06.07.2015 22:53Так давать наказания в хэшах. Биткоины майнить в пользу пострадавшего или его родственников.
vikarti
09.07.2015 16:14а если оператор не может? потому что в топоре стоит закрытая прошивка которая в некоторых ситуациях действует… своебразно. прошивку при этом сменить нельзя из-за тивоизации
ploop
09.07.2015 16:42Если в автомобиле тормоза откажут, кто виноват? Не «оператор» (который водитель), а производитель. А может быть и водитель, если с тормозами всё в порядке, но въехал куда не надо. В любом случае виновность конкретного субъекта очевидна.
VenomBlood
06.07.2015 20:15то в причинении смерти косвенно повинен разработчик,
Вина в этом случае на компании (как юридическом лице), но никак не на физическом лице если небыло умысла.
romamix
06.07.2015 13:47+6Считается ли роботом дрессированная собака, охраняющая объект? Может принимать приказ о нападении как непосредственно от человека, так и принимать решение самостоятельно, имеет интеллект явно больше мыши, а значит намного опаснее ИИ. А если установить на собаку автоматически взрывающуюся мину, то и поражающие свойства выходят явно не хуже, чем у робота. Хотя выше уже поднимался вопрос о том, можно ли считать мину роботом, так что и собкака-то не особо нужна.
edwardspec
06.07.2015 14:10+1К слову о собаках.
Подход к роботам зависит от ответа на вопрос «является ли N разумной формой жизни»?
Пока робот — безмозглый инструмент, на него можно ставить предохранители, системы самоуничтожения и т.п.
Когда робот станет разумной формой жизни, это будет неправильно. Ведь у робота появится полное моральное право сорвать этот предохранитель и прибить всех тех, кто его установил (борьба за свободу). Так бы поступил человек, если бы какие-то пришельцы на него навесили такой предохранитель.
Единственный возможный подход к разумной форме жизни — учить, воспитывать, прививать моральные установки и т.п., чтобы он знал, что вырезать целую деревню плохо.
Собака — разумная форма жизни, и именно это с ней и делают, а не вешают на неё бомбу с удалённой кнопкой «взорвать если что».
Да, есть поводок и намордник, но насколько более эффективно, когда вы можете доверять собаке, а не контролировать её каждый чих.
[Собака на поводке, которая может сорваться с поводка и натворить что угодно] vs. [собака, идущая рядом с хозяином без поводка].kahi4
06.07.2015 17:29Опасные собаки с плохим воспитанием (а таковой может неожиданно стать любая собака, случаи разные бывали) всегда ведут на таком поводке, который она не может порвать, так же она не в состоянии открыть пасть в наморднике. Более того, такая «кнопка выключения» у нас есть — как только собака попытается сделать что-то, что угрожает людям — её сразу усыпят (если конечно это не её основное применение, например, военные или сторожевые собаки). Просто встроить в собаку систему моментальной деактивации сложнее, чем в робота. Зато собака физически слабее робота, который любой поводок или намордник порвет без проблем. Так что пример с собаками, ИМХО, наоборот показывает, что решение проблемы как раз в том, чтобы человек всегда имел возможность выключить робота.
edwardspec
06.07.2015 18:05Вы можете встроить в робота любые кнопки выключения, пока он не стал разумной формой жизни.
В (далёком?) будущем, когда он станет разумной формой жизни,
вы либо сами эти предохранители оттуда выковыряете,
либо они это сделают сами и мы (люди) махнём на это рукой,
либо они это сделают сами, и мы получим сайлонов (расу с комплексом «люди порабощали нас столетиями, поэтому мы уничтожим всех людей»),
либо они это сделают сами, и люди из страха вырежут всех разумных роботов (и робототехника будет категорически запрещена).
numberfive
06.07.2015 14:52-5Если робот убьет человека, кто будет виновен?
клятi москалi
jkmayorovp
06.07.2015 15:57+1Минусующие не разглядели сарказма? Кого назначат — тот виновным и будет… Это в теории сейчас все так хорошо разбираются, а как произойдет ЧП на практике — так сразу эмоции у всех на первое место: «А-а-а! Роботы-убийцы!!!»
Объективных разбирательств по таким ЧП получится дождаться не раньше, чем убийства людей роботами станут чем-то обычным, вроде ДТП со смертельным исходом.
zomby
06.07.2015 20:56О, кстати о ДТП: они уносят много жизней. С ними борются, однако, не запретом автомобилей, а повышением их безопасности, и она возрастает вместе с уровнем технологий. В доавтомобильную эпоху тоже нередки были серьёзные дорожно-транспортные происшествия: лошади испугались, понесли и привет.
SelenIT2
06.07.2015 16:29Вроде ж печальные инциденты с участием боевых роботов уже действительно происходили…
lexore
06.07.2015 17:23Имхо, при возникновении инцидента, можно призывать к ответственности следующие стороны:
* Создатель
Создавая робота, он в первую очередь берет на себя обязательства позаботиться о безопасности и о защите от дурака;
В зоне ответственности создателя закрыть все возможности для небезопасной работы.
А так же в его ответственности добиться от покупателей осознания, что они работают с потенциально опасным устройством.
* Владелец
Беря во владение робота, он принимает на себя обязательство следить, чтобы этот робот никого не убил;
В зоне ответственности владельца делать так, чтобы робот не «потерялся/заблудился/оказался рядом с детьми и т.д.»
Так же владелец должен позаботиться о том, чтобы роботом управлял обученный оператор, а не абы кто.
А так же владелец сам решает, стоит ли ему покупать робота, который потенциально может кого-то убить.
* Оператор/настройщик
Производя управление/настройку робота, он тоже принимает на себя обязательства;
В его зоне ответственности безопасная настройка.
Но так же оператор сам принимает решение, а стоит ли ему работать с устройством, которое может случайно кого-то убить.
То есть нельзя снимать ответственность с какой-то из сторон, даже если накосячила третья сторона.
Ведь никто не заставляет покупателя покупать, и никто не заставляет оператора управлять потенциально опасным роботом.
Возможно, такой способ смотивирует на более вдумчивое и аккуратное использование роботов.
В ситуации, когда «по шапке получат все», нельзя будет «не читать инструкции».
Мне кажется, эта схема подходит и для военных роботов.Lissov
06.07.2015 19:42То есть ровно то же, что и с противопехотной миной или автоматом.
* Создатель
Если автомат выстрелил сам до того как нажали на курок, или взорвался в руках у стрелка, или в инструкции не написали, что он может стрелять в сторону.
* Владелец
Если он оставил автомат на улице без присмотра, его взял ребенок и нажал на кнопку
* Оператор/настройщик
Если солдат выстрелил умышленно или по неосторожности, или забыл огородить поле и начал стрелять как в тире, а там пастух случайно зашел
На данный момент человечество и близко не приблизилось к созданию «думающего» ИИ, способного самостоятельно принимать решение. Пока что все роботы — это только инструмент. Да сложнее простого автомата, но так же как и автомат или мина — имеет определенный и однозначный алгоритм работы.
Вопросы статьи актуальны только в ключе «а если когда-то человечество сможет таки создать интеллект, способный принимать самостоятельные решения — тогда как быть?».
AllexIn
06.07.2015 18:38Оффтоп:
Господа, скажите пожалуйста…
Это только мне приходят на почту сообщения о комментариях к этой статье, с учетом того, что я на robohunter не подписан, статью в избранное не добавлял и у меня вообще в настройках уведомления на почту отключены…
Polco
06.07.2015 19:18+1Проблема явно надуманна и уже давно имеет решение.
Если падает самолет или разбивается машина из-за технической неисправности или бага в ПО, то кого за это судят?
Никакой разницы между сломавшимся боевым дроном или упавшим самолетом я не вижу.
Lissov
06.07.2015 19:47+3Тут немного смешаны понятия. То, о чем говорят Хокинг, Маск и Гейтс — что если мы сможем создать настоящий ИИ, личность, способную принимать решения — как быть в таком случае? Но пока еще не создали, и далеки от этого, хотя может таки быть пора уже думать о моральном аспекте заранее.
А все указанные примеры роботов не имеют ничего общего с таким «настоящим» ИИ — это всего лишь механизмы с запрограммированным алгоритмом принятия решений. Они хоть и сложны, но принципиально ничем не «умнее» чем ножницы. Если такой робот убьет человека — то виноватого надо определять так же, как и в случае если на человека упадет кирпич. Пока мы не создали кирпич с личностью и волей, мы не можем сказать что кирпич виноват.
potan
06.07.2015 20:00Люди тоже сходят с ума, и на войне чаще, чем обычно.
Робот может стрелять значительно точнее. Знаменитый пример «винтовки с линуксом» это показывает. То есть вероятность убить не того уменьшается.
К тому же в современных войнах убивать вражеских солдат не столь эффективно. Лучше ранить, это создает противнику существенно больше проблем. Можно запрограммировать робота, что бы он стрелял по несмертельным точкам. При большом желании можно сделать регулируемой энергию пули, что бы добиться правильного воздействия на поражаемый объект — человеку лишний параметр управления создаст серьезные неудобства, а робот справится.
t3l3p4th
07.07.2015 00:38+1Хм…
А быть может не стоит упускать из поля зрения и ситуации выхода из под контроля носителя естественного интеллекта, контролирующегоискусственный интеллектвысокоразвитый автономный алгоритм?
Наглядный пример из классики отечественной мультипликации
m0Ray
Вот поэтому некоторые направления технологического прогресса и исследований стоит, скажем так, ограничивать. Нужна глобальная комиссия по этическому контролю.
ploop
Ну вы хоть пост до конца дочитайте. Он довольно интересный, есть разные точки зрения на эту ситуацию, и все они имеют право на жизнь. То есть пока не ясно, как к этому относиться, технологии опережают нас, и это с одной стороны радует, а с другой заставляет задуматься…
Melorian
И что вы делаете на GeekTimes…
m0Ray
То же, что делал на хабре. Читаю всякую фигню, которой с появлением гиктаймса на хабре поменьше стало, к счастью.
devlind
Вам лишь бы ограничить. Какие такие принципы этического контроля вы хотите к ним применять?
Или вы думаете что более гуманно когда человек убивает человека? Это этично?
По-моему пусть лучше машины сражаются на поле боя. Их дома не ждет семья и они не станут инвалидами как морально так и физически до конца жизни.
Плюсы в использовании самостоятельных компьютеров несравнимо больше нежели минусы.
Jack_Taylor
А как быть, когда у одной из сторон машин не останется, но признавать поражение она не захочет? Машинам другой стороны, в таком случае, придется убивать (и делать инвалидами, как морально, так и физически) тех, кого дома ждет семья.
VenomBlood
Здесь наоборот лучше чем сейчас. Когда у одной стороны не останется роботов, а у другой этих роботов — армия, тогда те, у кого не осталось роботов не смогут сажать в армейское рабство и насильно отправлять на войну (по крайней мере если так захочет другая сторона), роботы будут косить только тех кто сам решил воевать, а не тех кого насильно загнали. Это можно сделать и подводом роботов в страну и к военкоматам и также роботам будет проще это делать в полевых условиях. Т.е. если хотябы одна из сторон конфликта — гуманна и адекватна, то убивать будут только тех кто сам хочет умереть, что явно лучше чем текущее положение вещей, хотя и не идеально (когда войн вообще нету).
ilammy
Скорее другая сторона скажет: «Вопросы насчёт армейского рабства задавайте своему правительству. Мы предлагали им сдаться, когда у вас закончились роботы».
VenomBlood
Я же указал, что если там люди гуманные и адекватные — они не будут выпиливать тех кто на них не нападает. А у населения другой стороны появится возможность не идти в армию и послать свое правительство со своими рабскими замашками куда подальше.
Sadler
Послать Вы можете хоть сейчас. Только в случае войны скорее всего недолго после этого проживёте.
VenomBlood
В случае войны я постараюсь перебраться в страну где этой войны не будет. А вообще речь была о другом — если у государств будут роботы, то появляется гораздо больший шанс у людей остаться в живых если они не хотят иметь дела с войной.
devlind
То есть если человек убивает человека то это приемлемо, а если робот человека — то нет? Это по каким таким принципам вы так решили?
zorgrhrd
Вы случайно не в госдуме работаете?
VenomBlood
Когда я вижу словосочетание «этический контроль» во мне грустит один маленький биореактор.
vadimzz
Правильно, даешь по 2-3 куратора в каждый стартап. А то напридумывают там, понимаешь ли!