С тех пор, как компании начали разработку робомобилей, люди стали задавать вопросы о том, как дизайнеры собираются решать моральные вопросы, типа кого должен убить робомобиль в случае, когда авария неизбежна. Недавнее исследование говорят о том, что на этот вопрос, возможно, ответить будет ещё сложнее, чем считалось ранее, поскольку в разных странах моральные предпочтения людей разнятся.
Исследователи из Гарвардского университета и MIT разработали онлайн-игру, симулирующую ситуации, в которых ДТП с жертвами было неизбежно. Они опросили 40 млн человек из 200 стран мира, предлагая выбрать различные варианты того, как должны заканчиваться такие инциденты, к примеру, должны ли погибать пассажиры авто или пешеходы.
В результате было обнаружено три культурных скопления со значительно различающимися этическими предпочтениями. К примеру, в южном скоплении (куда входит большая часть Латинской Америки и бывшие французские колонии), большинство предпочитало щадить женщин в ущерб мужчинам. В восточном скоплении (куда вошли многие исламские страны, Китай, Япония и Корея) люди реже голосовали за то, чтобы спасать молодых в ущерб старикам.
Исследователи в заключении сказали, что эта информация должна влиять на решения разработчиков робомобилей. Но должна ли? Эта работа, освещая интересное открытие глобальных различий в моральных предпочтениях, также демонстрирует стойкое непонимание, касающееся ИИ и его возможностей. Учитывая текущий уровень технологий ИИ, используемых в робомобилях, ясно, что машина неспособна принимать моральные решения.
Фантазия о «моральных машинах»
Робомобили обучаются принимать решения о том, когда рулить и когда тормозить, используя ИИ особого рода, также известный, как "слабый (узкий) ИИ" – он концентрируется на выполнении одной узкоспециализированной задачи. Их разрабатывают с использованием различных датчиков, камер и дальномерных лазеров (лидаров), выдающих информацию центральному компьютеру. Компьютер использует ИИ для анализа входных данных и принятия решения.
И хотя сегодня эта технология относительно проста, в итоге машины смогут превзойти человека в простейших задачах, связанных с вождением автомобиля. Но нереалистично было бы считать, что робомобили должны уметь принимать этические решения, на которые даже у самых высокоморальных людей не было бы времени в случае аварии. Если мы хотим такого от автомобиля, в нём нужно будет запрограммировать искусственный интеллект общего назначения (ИИОН).
ИИОН эквивалентен тому, что делает нас людьми. Это возможность беседовать, наслаждаться музыкой, смеяться над чем-то или судить о морали. Сейчас сделать ИИОН невозможно из-за сложности человеческой мысли и эмоций. Если мы потребуем создать автономные автомобили, обладающие моралью, нам придётся ждать их несколько десятилетий, даже если это вообще возможно.
Ещё одна проблема с новым исследованием состоит в нереалистичности многих ситуаций, оцененных участниками. В одном сценарии обыгрывалась известная "проблема вагонетки", и участников спрашивали, кого должна переехать машина при отказе тормозов: трёх пассажиров (мужчину, женщину и ребёнка) или трёх пожилых пешеходов (двух старичков и одну старушку).
Люди могут тщательно поразмыслить над подобными проблемами, заполняя анкету. Но в большинстве реальных происшествий у водителя не будет времени на принятия такого решения за те доли секунды, за которые оно произойдёт. А значит, сравнение некорректно. Учитывая текущий уровень технологий ИИ, использующихся в робомобилях, эти средства передвижения тоже не смогут принять подобные решения.
Узкий ИИ позволяет робомобилям делать простейшие суждения по поводу окружающих объектов
В современных робомобилях заложены сложные возможности восприятия мира, и они могут отличать пешеходов от других объектов, например, фонарей или дорожных знаков. Однако авторы исследования считают, что робомобили могут, и, возможно, даже должны проводить более глубокие различия. К примеру, они могли бы высоко оценить степень полезности определённых людей для общества, к примеру, докторов или спортсменов, и решить спасти их в случае ДТП.
Реальность заключается в том, что для проведения таких сложных рассуждений потребуется создать ИИОН, что на сегодня невозможно. Кроме того, неясно, нужно ли вообще это делать. Если даже в программу машины можно будет внести возможность решать, чью жизнь сохранить, я считаю, что мы не должны позволить делать это. Мы не должны позволять предпочтениям, определённым в результате исследования, насколько бы велика ни была его выборка, определять ценность человеческой жизни.
В основе своей робомобили разрабатываются так, чтобы по возможности избежать ДТП или минимизировать скорость удара. Хотя, как и люди, они не смогут принимать решений на основе морали в случае неизбежного столкновения. Однако робомобили будут безопаснее, чем машины, управляемые людьми, более внимательны, скорость их реакции будет выше, и они смогут использовать весь потенциал системы торможения.
Пока что крупнейшим этическим вопросом в области робомобилей остаётся то, набрано ли в симуляциях достаточно свидетельств безопасного их поведения для того, чтобы можно было выпускать робомобили на улицы. Но это не значит, что они будут «моральными», или смогут стать таковыми в ближайшее время. Утверждать обратное – значит, путать узкий ИИ, занимающийся вождением, с ИИОН, который, вероятно, не появится при нашей с вами жизни.
В конечном счёте, робомобили будут безопаснее людей. Этого мы достигнем благодаря их дизайну и возможности избегать происшествий всеми силами, или уменьшать урон в случае неизбежности. Однако машины не смогут принимать моральные решения там, где даже мы этого не можем. Эта идея остаётся выдумкой, и не стоит на неё надеяться. Вместо этого сконцентрируемся на безопасности: вера в неё будет оправдана.
Комментарии (122)
Cast_iron
27.02.2019 10:50Я считаю идея создания «моральной машины» аморальна в принципе. Я не являюсь верующим человеком, но стараюсь придерживаться заповедей Библии. «Не суди, да не судим будешь» — то что касается морального выбора.
Авто должно любым способом пытаться минимизировать ущерб, соблюдая при этом ПДД. Точка. Надо просто создать безопасный транспорт и ИИ способный ежесекундно грамотно распознавать/читать дорожную ситуацию.Exchan-ge
27.02.2019 13:09Авто должно любым способом пытаться минимизировать ущерб, соблюдая при этом ПДД.
Полноценная эксплуатация таких автомобилей будет возможна только после исключения из участников дорожного движения водителей, сознательно или несознательно нарушающих ПДД.
Поэтому после повсеместного распространения самоуправляемых автомобилей — следующим шагом будет запрет на управление автомобилем человеком.
Vsevo10d
27.02.2019 13:21Я в своей статье пытался доказать ровно то же самое.
habr.com/ru/post/428181
Если кратко — абсолютно неважно, кого ты выбираешь сбить — ребенка, женщину, руководителя, кота или бомжа, потому что:
а) Выбирать строго по какому-то параметру (сбивать только бомжей или преимущественно руководителей) есть отъявленная дискриминация, сравнимая с рабством или геноцидом;
б) Абсолютно неважно, какой ролью или внешностью или статусом обладает жертва. Все равно массовость ДТП как явления сведет всех жертв к распределению их по пропорциям в обществе. Мужчин и женщин будет умирать примерно поровну, а руководителей или врачей будут сбивать относительно редко.
Отсюда вывод: исследование чисто социологическое и ни на какое обучение ИИ не претендует.
баттхертДа как вообще ИИ машины должен понять, что перед ним — руководитель, например? По одежде? Цукерберг носит джинсы и футболку. У врача диплом или пропуск на работу вообще в кармане! (сарказм далее) А как же быть с модными сейчас 50 гендерами? Вон в нашумевшей аварии Убера водителем был транс, идентифицировавший себя как женщина — так автопилот должен был решать между женщиной на дороге или женщиной или мужчиной внутри?? Ууу, как же бесит это исследование.
ZUZ
27.02.2019 18:22+1Всё очень просто — это готовый сценарий новой серии Чёрное зеркало:
у каждого человека есть «стоимость», ценность, если хотите: 1) младенец/ребёнок «стоит» дорого, потому что а) чтобы его вырастить/обустроить его родители затратили кучу времени и денег и б), потому что он впоследствии может принести кучу полезного обществу; 2) далее зависимость от текущей пользы человека обществу: высшее руководство и крутые учёные наверху, врачи редкий специфализаций, далее инженеры высших категорий и т.д. и т.п.
Так вот фишка для сериала: какой-нить хакер (безработный и т.д.) ломает направо и налево всякие системы и получает (или например (вот это поворот!) система сама назначает этому человеку за такое умение) наивысший приоритет. И при очередной техногенной катастрофе (ну или просто крупном ДТП) все роботы делают всё возможное, чтобы не дать ему погибнуть, «переключая вагонетку» навстречу «руководителям», «учёным» или «президентам» с некислыми последствиями для человечества, например.
Надо заслать сценаристам.
xsevenbeta
28.02.2019 23:42б), потому что впоследствии ребёнок может принести кучу полезного обществу;
Статистически (если говорить про Россию) — вряд ли. Какой процент, что из ребёнка вырастет учёный двигающий науку, а не маргинал все цели которого — напиваться каждый пивом? Вряд ли больше 1-3%. Хотя может, ради этих 1-3% и стоит рискнуть. Детей спасают первыми потому что у них меньше шансов выжить при бедствиях. Ну и подозреваю от того, что относятся к чужим детям примерно как к своим. Если смотреть здраво, спасение детей зачастую иррационально и противоречит здравому смыслу. Тут мы полностью во власти эмоций, а не логики…
Да и система должна быть гораздо сложнее, например должна оценивать его родителей, склонности ребёнка, как они этого ребёнка смогут воспитать и дать образование. Причём, тут же понятно, что все эти мерки крайне субъективны. Родители могут быть образованы, но «недолюбить»/«перелюбить» ребёнка, исходя уже из своих детских травм. «Ценность» такого человека для обществабудет низкой.
И потом, ценность человека не складывается только из того, учёный он или хороший художник. У меня вот бабуля ни одного открытия в жизни не сделала, но отлично воспитала 2 дочерей,3 внуков и 3ёх правнуков. И мамины подруги бабулю ни иначе как мамой называли — потому что она к ним как родная мать и относилась.
skyeff
27.02.2019 10:57-2На мой взгляд сам вопрос поставлен неправильно. Все эти исследования «кого давить будешь?!» — это попытка переложить ответственность за происшествия с производителей робомобилей на общество в целом. Не должен вопрос так стоять. Робомобили разрабатываются для того чтобы повысить безопасность движения. Не можете обеспечить такой уровень безопасности, который позволит исключить тяжелые травмы и смерть кого-то из участников — не занимайтесь разработкой, или платите штрафы в каждом случае. И не надо вот этих вот оправданий, что любая сложная система может выйти из строя. Это ваша задача сделать так, чтоб она не выходила из строя, либо выход из строя не приводил к катастрофическим последствиям, а значит вам и отвечать.
Dim0v
27.02.2019 12:39+1Не можете обеспечить такой уровень безопасности, который позволит исключить тяжелые травмы и смерть кого-то из участников — не занимайтесь разработкой, или платите штрафы в каждом случае.
Отличная идея. Давайте тогда еще заставим платить штрафы производителей бумаги за каждый случай пореза их бумагой. Должны же обеспечить уровень безопасности. И производителей столбов заодно, если их столб, будучи сбитым при ДТП, пришиб пешехода. Не могут исключить травмы — пусть не занимаются разработкой. Так победим.
И не надо вот этих вот оправданий, что любая сложная система может выйти из строя.
Во-первых, нередко "моральный выбор" нужно делать даже когда все системы в норме (например, на трассу с плотным и быстрым потоком неожиданно выскакивает ребенок. И робомобилю с исправными системами нужно сделать выбор: ехать ничего не предпринимая и давить ребенка; тормозить, провоцируя ДТП и создавая опасность для пассажиров автомобиля позади; пытаться объехать ребенка, все так же провоцируя ДТП и создавая опасность для автомобилей своей и встречной полосы).
В-вторых, как вам там живется в вашей утопии, где системы не ломаются и материалы не подвержены коррозии? Реки у вас там молочные или медовые?
Cast_iron
27.02.2019 12:44тормозить, провоцируя ДТП и создавая опасность для пассажиров автомобиля позади;
Не знаю, как на Украине, но в России едущий следом должен соблюдать безопасную дистанцию — не соблюдает сам виноват.Exchan-ge
27.02.2019 13:04Не знаю, как на Украине, но в России едущий следом должен соблюдать безопасную дистанцию — не соблюдает сам виноват.
Соблюдая безопасную дистанцию — вы рискуете получить вклинившийся в эту дистанцию автомобиль «шахматиста».
Если вы не успеете затормозить и таки врежетесь в его автомобиль — будете виноваты вы.
Так что данный тезис «не соблюдает — сам виноват» в этом случае весьма спорен.
(достаточно большой разрыв между едущими авто — провоцирует идиота на вклинивание в этот разрыв. Поэтому (увы) иногда нужно держать сокращенную дистанцию (и молиться, что бы успеть затормозить, если что). Как с этим будет справляться ИИ — просто не представляю.Mishootk
27.02.2019 15:14ИИ с этим будет справляться карательной мерой. Думаю, не составит большой проблемы подключить системы видеофиксации с робомобилей к системе штрафов. Каждое перестроение шахматиста пойдет по статье «агрессивное вождение». Если сейчас это труднодоказуемая статья, то с появлением робомобилей культура вождения повысится. Безнаказанно нарушать можно будет только на пустой дороге без стационарных приборов видеофиксации.
Exchan-ge
27.02.2019 23:07Думаю, не составит большой проблемы подключить системы видеофиксации с робомобилей к системе штрафов.
Это уже постфактум.
Проблема для инженеров по этике (спасибо Г.Гаррисону за термин ):
1) В случае подрезания — резко тормозить и тем самым подставить себя под удар идущей сзади машины
2) или бить нарушителя в зад, подставляя своего разработчика («виновник ДТП»)Mishootk
28.02.2019 08:11В случае подрезания сразу причин для аварии нет. Просто не по вине подрезаемого сокращается дистанция до впереди идущего автомобиля. В этом случае достаточно плавно снижать скорость увеличивая дистанцию. А вот если подрезающий начинает экстренно оттормаживаться, тогда да, риск аварии есть. Робомобиль к данному моменту в курсе, какая дистанция до машины сзади и есть ли там автоматические помощники экстренного торможения.
Подрезающего, кстати, ИИ вычислит намного раньше, чем человек на его месте. Летящий в соседней полосе при наличии препятствия (автомобиля со скоростью потока) и свободного места по диагонали в нашем ряду — подрежет. Начинающий ускоряться в соседнем ряду при тех же условиях — подрежет.Exchan-ge
28.02.2019 12:22В случае подрезания сразу причин для аварии нет
Это в том случае, когда все участники движения обладают отличной реакцией, умеют хорошо водить машину, а сами автомобили технически исправны.
В реале же либо подрезающий — самоуверенный новичок с двухлетним стажем вождения, либо за рулем подрезаемого авто сидит барышня 20...50 лет с мобильником у уха (и куча других возможных вариантов и их сочетаний)
У нас тут рядом есть прямой участок дороги, достаточно длинный и оканчивающийся регулируемым перекрестком (местом постоянных пробок)
Поэтому там постоянно кто-то, разогнавшись на прямом участке — пытается резко вклинится в тот ряд, по которому можно от перекрестка прямо (вклиниться с боковых полос, уходящих направо и налево)
/На боковых полосах трафик на порядок меньше, чем в основной полосе/
Поэтому столкнувшиеся машины там стоят ежедневно, а полиции в пору установить там стационарный пост, бо ездят они туда как на работу.
Подрезающего, кстати, ИИ вычислит намного раньше, чем человек на его месте
Подрезающего можно вычислить разве что спинным мозгом.
Поскольку он сам принимает решение за секунду (или даже меньше) до начала перестроения. См. описание выше — увидел зазор, принял решение, вклинился — получил подж… к — и сам не понял, что произошло.
ИИ будет отлично работать на дороге — но только в том случае, когда он будет «у руля» в каждой машине на дороге.
(вариант бунта машин пока не рассматриваем )
Mishootk
28.02.2019 17:00Вы, кстати, сами натолкнулись на менее проигрышный алгоритм. Подъезжая к перекрестку надо целиться не в попу остановившейся машины в своем ряду, а с запасом на место. Последние 10 метров можно и докатиться. Но есть любители оттормаживаться с крейсерской скорости сразу в ноль. Сами себя наказывают.
Автопилот в данном случае видит подлетающий сзади автомобиль идущий на опережение. Как только впереди появляется более маневренный объект, по признаку «есть место для перестроения по диагонали», вероятность, что он пойдет к нам, увеличивается. Смещение его еще в пределах своей полосы детектируется и начинается собственное замедление. Человек в данной ситуации реагирует намного позже.
Dim0v
27.02.2019 13:53В Украине так же. Но какой процент водителей в плотном потоке реально соблюдает дистанцию, достаточную для избежания столкновения, когда впередиидущий автомобиль резко остановится?
Кто виноват — дело десятое. Сейчас обсуждается вопрос "что делать?" (робомобилю).
Ребенок тоже должен играть во дворе и не выбегать на трассу. Но он выбежал. И то, что он "сам виноват", мало что меняет.
Cast_iron
27.02.2019 20:44Но у нас же по условию робомобиль не нарушает ПДД. Т.е. не будет шахматистов-робомобилей. А если и вклинился, то плавно увеличьте дистанцию, делов-то!
Dim0v
27.02.2019 20:58Если на дорогах будут исключительно автопилоты, то вы совершенно правы. Можно спокойно тормозить и быть уверенным, что автомобиль позади точно выдерживает дистанцию. Вот только дороги, на которых нет людей-водителей — это (в обозримом будущем, во всяком случае) такая же утопия, как и дороги, на которые никто и ничто никогда внезапно не выскакивает.
qw1
27.02.2019 22:16Лихачей довольно просто отучить. Достаточно в прошивку автопилотов добавить функцию, «подставляющую» этих гонщиков, чтобы они создавали аварии, когда есть железное зафиксированное в облаке доказательство, что они не правы. Тогда уж подумают, стоит ли высовываться — вдруг перед ним именно такой автопилот.
Exchan-ge
27.02.2019 23:12А если и вклинился, то плавно увеличьте дистанцию, делов-то!
У вас авто из легкой весовой категории (типа Смарта или классического условного «Запорожца»
За вами на такой же скорости идет тяжелый рамный внедорожник.
Вы, возможно — затормозить успеете…Cast_iron
28.02.2019 00:49Согласно стандартов при исправной тормозной системе их тормозные пути не должны сильно отличаться, вплоть до грузовика с прицепом.
Exchan-ge
28.02.2019 12:34Согласно стандартов при исправной тормозной системе их тормозные пути не должны сильно отличаться, вплоть до грузовика с прицепом.
Это в идеале.
В реале один мой знакомый, поставивший на свой «джип» какую-ту крутую и модную систему торможения, решил однажды показать нам ее эффективность. В результате эффект таки был достигнут — его машина вписалась в единственный во дворе дома бетонный столб. У человека был 20 летний стаж вождения на тот момент.
Exchan-ge
27.02.2019 12:54Отличная идея. Давайте тогда еще заставим платить штрафы производителей бумаги за каждый случай пореза их бумагой. Должны же обеспечить уровень безопасности.
Это чрезмерное упрощение.
В 50х годах производители автомобилей не занимались всерьез безопасностью своих автомобилей. И только давление общества заставило их реально заняться этой проблемой.
См. «Ральф Нейдер»Vsevo10d
27.02.2019 20:41Вообще-то читал мнение, что Нейдер зря погубил «Шевроле Корвейра», он не был менее безопасным, чем остальные автомобили своего времени. Просто тот раздул тему и грамотно на ней пропиарился.
Да, в 1966-м, всего через год после выхода в свет книги Нейдера, в США приняли “Национальный акт по безопасности автомобилей и дорожного движения” (National Traffic and Motor Vehicle Safety Act). Этот документ, позволивший государственным органам регламентировать стандарты безопасности автомобилей, многие считают прямой и явной заслугой Нейдера. Однако “Трафик акт”, как бы не утверждали сторонники одиозного адвоката, едва ли как-то сказался на политике автомобильных компаний.
Правда в том, что никто никогда не пытался сделать “Корвэйр” опасным по умолчанию. В самом худшем случае, речь шла об особенностях конструкции бюджетного автомобиля, которую пронырливый клещ от юриспруденции повернул в своих интересах. Еще в 1972 году исследование, проведенное по заказу “Страхового Института Дорожной Безопасности” (IIHS) подтвердило – даже “Корвэйр” первых лет выпуска по безопасности и управляемости не уступает конкурентам-одногодкам. Более того – превосходит большинство из них. На примере же появившихся много позже Ford Pinto и Mercedes-Benz А-класса можно утверждать, что конструктивные недоработки время от времени неизбежны. Несмотря на любые нравоучения и федеральные акты.
www.drive2.ru/b/515551107733259039
ns3230
27.02.2019 22:51Пинто, кстати, тоже почем зря облили грязью, отталкиваясь от единичного прецедента. Кто-то придумал байку, что из-за своего расположения его бак, при заднем столкновении, чуть ли не обязан гореть/взрываться, нашел подобный прецедент — и понеслась. И никому в голову не пришло сравнить статистику возгораний Форд Пинто со статистикой возгораний других массовых авто, с «безопасным» баком.
Exchan-ge
27.02.2019 23:53Однако “Трафик акт”, как бы не утверждали сторонники одиозного адвоката, едва ли как-то сказался на политике автомобильных компаний.
Это обычный черный пиар.
Мне как-то, лет 35...40 назад попался в руки (старый) номер журнала за 1969 год, где было фото нового на тот момент экспериментального американского авто.
Вся статья была посвящена многочисленным новинкам, позволившим кардинально улучшить безопасность автомобиля — начиная от усовершенствованных бамперов какой-то особой конструкции и до крыши автомобиля.
(Думаю, что если хорошо порыться в сети -можно будет найти информацию об этом автомобиле).
Так что меры таки были приняты, и довольно заметные.
skyeff
27.02.2019 13:16Я живу в мире, где у меня в контракте написано, что за любой вред, причинённый пользователю по моей вине, я несу ответственность вплоть до уголовной. Почему производители робомобилей не должны нести никакой ответственности? Тем более перед пешеходами. Ладно водитель — это его осознанный выбор контролировать транспортное средство или довериться автопилоту. Пешеходам никто выбора не оставляет. Их ставят перед фактом: либо согласитесь, что вас могут покалечить и никто за это не ответит, потому что все слишком сложно и никто не виноват, что система сломалась, или сидите дома.
fireSparrow
27.02.2019 13:29Вы не поняли суть вопроса.
Речь не о том, что система поломалась.
Речь о том, что исправная система попала в такую ситуацию, когда любое действие приведёт к ущербу, и единственное, что можно сделать — выбрать меньшее из двух зол. И весь вопрос в том, по каким критериям нужно оценивать величину зла.skyeff
27.02.2019 14:16Нет, это вы не поняли о чем я говорю. Проводя такие исследования компании заранее пытаются заключить «договор» с обществом: вот мы вам даем робомобили, но при этом периодически будут страдать люди, кто именно, пожилые, молодые, пассажиры, пешеходы — это уж вы сами решите, а мы заранее снимаем с себя ответственность. При этом «необходимость» того чтоб кто-то пострадал в дтп оправдывается тем, что производители все предусмотреть не могут. Так не пойдет, в отношении робомобиля и его производителя не должно быть презумпции невиновности. Я вот тоже все предусмотреть не могу, мне что же теперь произвести опрос среди пользователей и «договориться» с ними, что если пострадает всего 1% пользователей — это будет норм, но если среди них вдруг окажется «директор», то все, должен отвечать по полной?
Dim0v
27.02.2019 14:34Проводя такие исследования компании заранее пытаются
Вы бы хоть немного вникли в тему прежде чем разоблачать истинные мотивы проклятых капиталистов. Исследования проводили независимые исследователи.
Компаниям это все на данном этапе нафиг не сдалось.
мы заранее снимаем с себя ответственность
Ну вы прям правду-матку рубите. Снимать ответственность, которой нет и никогда не было — это сильно. За все, что происходит с автомобилем, отвечает водитель, независимо от того, корректно работает автопилот или нет и есть ли он в машине вообще.
fireSparrow
27.02.2019 15:08+1Вы сейчас чушь сказали.
На 100% избежать ДТП невозможно ни в ближайшем будущем, ни, скорее всего, вообще в каком-то обозримом будущем. Но при этом вполне реально добиться в ближайшем будущем на порядок меньшей аварийности по сравнению с живыми водителями.
И что же теперь — не выпускать на дорогу технологию, которая может спасти 90% жизней только по той причине, что остаются 10% аварий, которые всё-таки не удастся избежать?skyeff
27.02.2019 16:19И что же теперь — не выпускать на дорогу технологию, которая может спасти 90% жизней
Я где-то такое предлагал? Можно прямую цитату, только без сокращений, а со всеми «или»? Если производители робомобилей настолько уверены в своем продукте, пусть выпускают, приняв на себя всю полноту ответственности за то, что они собираются выпустить на дороги общественного пользования.fireSparrow
27.02.2019 16:55Но ведь если какой-то процент ДТП остаётся, то разумно заранее определиться, как должна вести себя машина в такой ситуации, чтобы минимизировать ущерб.
И это разумная предусмотрительность, а вовсе не попытка снять с себя ответственность.skyeff
27.02.2019 17:19Вопрос звучит: «задавить пешеходов или убить пассажиров об столб?», в любом варианте кто-то погибнет, о какой минимизации ущерба идет речь? Или у производителей робомобилей моральная дилемма выбора между: оттормозиться об соседнюю машину и заплатить за ремонт кузова или все-таки сбить «случайного пешехода»?
crazyk90
01.03.2019 12:57Либо тролль, либо НЕВЕРОЯТНО «тугой» человек… Вы понимаете вопрос? Он о гипотетической ситуации когда АБСОЛЮТНО исправный робомобиль не может избежать наезда с летальным исходом, не по своей вине (не очень умный пешеход прыгнул практически под колёса, например) и предлагается выбрать что делать, вернее кого угробить: пассажиров, этого самого не умного пешехода или в обще кого-то третьего. КАКОЕ ТУТ СНЯТИЕ ОТВЕТСВЕННОСТИ?
hokum13
01.03.2019 14:43АБСОЛЮТНО исправный робомобиль
Абсолютно исправный робомобиль не должен попадать в ситуацию, когда у него появляется такой выбор. Это для человека допустимо не увидеть лося на обочине. А робомобиль ДОЛЖЕН это увидеть, запомнить и обработать. Иначе мы будем постоянно получать вот такие аварии, в которых «ни кто не виноват», потому что общество «решило» маральную проблему выбора "кого давить".
Если он не способен необходимую информацию получить на скорости 100 пусть ездит на скорости 20, до тех пор пока инженеры не решат проблему.
Cast_iron
27.02.2019 20:50Пересмотрите условия экспериментов: у робомобиля отказывают тормоза и человеку предоставляется выбор, кого давить/убить, т.к. машина не может остановиться.
hokum13
28.02.2019 16:48Включать световую и звуковую сигнализацию (сигналить и моргать) и ехать по наиболее предсказуемой траектории (в общем случае прямо), чтобы у людей появился шанс увернуться. Либо по траектории исключающей жертвы (но такая не доступна?).
За сбитых людей ответит эксплуатант (владелец) либо производитель (в зависимости от того, чья вина в отказавших тормозах).
Dim0v
27.02.2019 13:58Почему производители робомобилей не должны нести никакой ответственности?
Примерно по той же причине, по которой врачи не несут ответственности за врачебные ошибки. Даже если из-за них умирает пациент.
Инженер и компания-производитель не ставили себе целью создать убийцу на колесах. А если ставили, то наказание они понесут, точно так же, как и врач, намеренно действующий во вред пациенту.
skyeff
27.02.2019 15:18Примерно по той же причине, по которой врачи не несут ответственности за врачебные ошибки.
За доказанные врачебные ошибки врач несет ответственность вплоть до уголовной. Например, если у пациента аллергия на препарат и запись об этом есть в медкарте, а врач по халатности не проверил и ввел ему этот препарат, врач будет отвечать. Проблема как раз в том что доказать ошибку сложно. Тоже будет и с робомобилями — производители будут всячески упирать на то, что в данной ситуации по другому поступить было невозможно, при этом максимально затрудняя доступ к логам робомобиля. Достаточно посмотреть как повели себя Uber.
Инженер и компания-производитель не ставили себе целью создать убийцу на колесах.
А сделали ли они все возможное чтоб предотвратить ДТП? Или по результатам их исследований полученная статистика смертности укладывается в приемлемый для покупателей/общества диапазон и дальше можно не тратить средства на повышение безопасности?qw1
27.02.2019 16:41«Всё возможное» сделать невозможно. Всегда есть место дополнительным исследованиям, с этим требованием продукт никогда не будет выпущен на рынок.
mkovalevskyi
27.02.2019 21:35именно по этому, страховки — основная статья расходов вышеозначенных врачей… ;)
alix_ginger
27.02.2019 18:11за любой вред, причинённый пользователю по моей вине, я несу ответственность вплоть до уголовной
Это уже совсем другой разговор. Если робомобиль едет, соблюдая все правила (включая соблюдение дистанции и скоростного режима), но тем не менее сбивает пешехода даже после экстренного торможения, очевидно, что виноват сам пешеход, а не разработчики.skyeff
27.02.2019 18:41А в чем тогда здесь моральная дилемма? Т.е. имеем исправный автомобиль, двигающийся с соблюдением ПДД и выполняющий все возможные действия для спасения пешехода. Это означает:
— автомобиль в состоянии себя продиагностировать и прекратить или не начинать движение в случае сомнений в исправности (если робомобиль этого не может, то о каком выборе в сложной ситуации вообще может идти речь, если он даже свое состояние не может адекватно оценить?);
— автомобиль двигается в таком скоростном режиме, что экстренное торможение в текущих условиях не должно причинить пассажирам серьезный вред (если робомобиль выбирает скоростной режим, опасный для пассажиров, то зачем такой робомобиль нужен?);
— автомобиль двигается в таком скоростном режиме, что в случае появления препятствия на границе чувствительности сенсоров будет в состоянии прекратить движение не столкнувшись с препятствием либо обогнуть препятствие (если робомобиль не в состоянии обнаружить препятствие заблаговременно или не в состоянии выбрать скоростной режим для текущих погодных условий, то зачем такой робомобиль нужен?).
Моральная дилемма, для решения которой нужно привлекать общественность, может возникнуть только в случае, если производители не в состоянии обеспечить хотя бы одно из этих условий.Dim0v
27.02.2019 18:58+1Чем больше вас читаю, тем больше складывается впечатление, что вам важнее наличие возможности быстро найти (или назначить) виноватого, чем более безопасное движение на дороге.
Водитель-человек не в состоянии обеспечить ни одно из ваших условий. "Зачем такой водитель нужен?" (с)
Что дальше? Будем за аварии штрафовать автошколы, в которых водитель учился? Может родителей оштрафовать, которые такого водителя зачали? Врачей, которые вовремя не убедили сделать аборт? Или запретим автомобили в принципе?skyeff
27.02.2019 19:51Чем больше вас читаю, тем больше складывается впечатление, что вам важнее наличие возможности быстро найти (или назначить) виноватого, чем более безопасное движение на дороге.
Это вам показалось. Цель подобных исследований показать, что есть некий приемлемый выбор в ситуации "вагонетки", определяемый общественным консенсусом. Я же пытаюсь донести, что нет приемлемого выбора в этой ситуации. Мне бы хотелось знать, что разработчик робомобиля узнав о ДТП с трагическим исходом первым делом подумал не: "По исследованиям А, В, С наш ИИ действовал наиболее гуманно с точки зрения общества, значит мы все сделали правильно.", а: "Наш продукт попал в ДТП с жертвами. Это неправильно. Как нам не допустить такого в будущем?".
А штрафы и презумпция виновности — это способ надавить на корпорации, которые оперируют отнюдь не категориями морали.
Dim0v
27.02.2019 20:52Цель подобных исследований показать, что есть некий приемлемый выбор в ситуации "вагонетки", определяемый общественным консенсусом.
Это вам тоже показалось. Никто такой цели не ставил.
Я же пытаюсь донести, что нет приемлемого выбора в этой ситуации
Но выбор все равно делать нужно. Невозможно полностью избежать подобных ситуаций.
первым делом подумал не:… а: ...
Разработчик в любом случае подумает и о первом и о втором. Потому что ДТП с жертвами — это в любом случае репутационные потери. А от того, насколько общественно приемлемое действие предпринял автопилот, зависит объем этих потерь.
Если вас так волнует тот факт, что разработчик задумается об этом не из чистых высоко-моральных побуждений, а по причине банальных и бездуховных потерь денег и репутации — тогда да, вы правы. Стоит запретить робомобили, да и вообще весь бизнес как явление. На всякий случай, там ведь очень часто всем движет отнюдь не мораль.
А штрафы и презумпция виновности — это способ надавить на корпорации
Нет. В вашей радикальной формулировке — это способ уничтожить индустрию.
Ваши сообщения сводятся к тому, что робомобили должны либо быть идеальными, либо их не должно быть вообще. При том, что к людям-водителям таких-же требований вы не предъявляете по какой-то причине. Хотя я, кажется, знаю, по какой. В случае с людьми виноватого можно определить, а значит все, якобы, будут чувствовать ответственность, садясь за руль. И плевать, что уровень аварийности может быть выше, чем у автопилотов. Там ведь виноватых нет, а значит ответственности никто не чувствует. А это очень плохо.
qw1
27.02.2019 22:22Наш продукт попал в ДТП с жертвами. Это неправильно. Как нам не допустить такого в будущем?
Проблема в том, что корпорация-разработчик — большая. Какой-нибудь менеджер может иметь такие убеждения. Но, с другой стороны, он будет давить на своих подчинённых разработчиков «давай быстрее фигачь фичи» (в этом его работа менеджера) и кто-то из рядовых разработчиков просто не успеет всё проверить, когда будет в большой запарке и упустит какой-нибудь баг. И каждый из этой истории будет уверен, что действовал с лучшими побуждениями и приложил все возможные усилия.
psman
01.03.2019 14:43Кстати, общества разные и при пересечении границ автомобиль будет менять «поведение»
alix_ginger
27.02.2019 20:33+1С другой стороны, зачем нужен робомобиль, который ездит не быстрее 20 км/ч? Уже давно существует (и периодически обновляется) компромисс между скоростью и безопасностью, и это правила дорожного движения. Никаких вопросов «давить ли одного академика или пятерых гопников» в них не задается, все ограничения точны насколько это возможно, и потому могут быть реализованы программно. Кстати, что-то про «обязан убедиться в исправности ТС» там вроде было.
В общем, производитель должен нести ответственность только за нарушение ПДД его робомобилем. А если робомобиль, не нарушая правил, применив все меры к снижению скорости, кого-то всё-таки сбил, и компания сможет это доказать — значит, что виноват сам сбитый, как его ни жалко.
Cast_iron
27.02.2019 20:57Т.е. вы не предполагаете вины третьих лиц или форс-мажорных обстоятельств?
В тех же самых задачках как минимум присутствует светофор, который может всем участникам движения показывать зелёный.
ns3230
27.02.2019 22:57Нет, их ставят перед фактом: «либо соблюдайте ПДД, либо согласитесь, что вас могут покалечить». Потому что исправный робомобиль должен фиксировать сигналы светофора, знаки, зебры, и ситуации с неожиданной необходимостью тормозить возникают лишь при условии нарушения правил другими участниками движения. Робомобиль ведь не захочет просто так неожиданно перестроиться через двойную сплошную, проскочить на мигающий красный, или обогнать караван фур, не видя что там впереди. Поэтому и ситуации «кого давить будем?» возможны лишь как следствие форс-мажорных обстоятельств, порожденных третьей стороной.
Или вы считаете, что за смерть придурка, внезапно выбежавшего на дорогу, должен отвечать разработчик робомобиля/водитель/кто-то еще?
kuza2000
27.02.2019 17:03+2Не можете обеспечить такой уровень безопасности, который позволит исключить тяжелые травмы и смерть кого-то из участников — не занимайтесь разработкой, или платите штрафы в каждом случае.
Окей. Добустим, в государстве N гибнут в автокатастрофах 100 тысяч жителей в год. Внедрили робомобили, заменили на 50% обычных водителей. Стало гибнуть 50 тысяч в год, в том числе с участием робомобилей, например, 20 тысяч.
А теперь вопрос. Робомобили спасают 50 тысяч в год, или же убивают 20? Производителям памятник поставить или привлечь к ответственности? Или запретить и пусть гибнет 100 тысяч вместо 50?
GarryC
27.02.2019 10:59Присоединяюсь к предыдущему комменту, главное — соблюдать ПДД. «умирай в своей полосе»
Вспомнилась история о цепочной аварии под Клином с комментариями типа «Ну да, при задымлении и в условиях ограниченной видимости машины двигались со скоростью 90 км/ч и водители не успевали среагировать на препятствия, но виновато все равно ГАИ, поскольку не было знака „Опасный участок“. Я, как автомобилист, конечно же, ГАИ не люблю, но должны же быть границы этой нелюбви.Cast_iron
27.02.2019 11:15«умирай в своей полосе»
Не совсем так. Если есть возможность управляемо и безопасно сменить траекторию — то пожалуйста, тот же «лосиный тест» — тормозить некогда, лучше объехать, но это должен быть предсказуемо безопасный маневр, а не на «авось».
GokenTanmay
27.02.2019 13:42Т.е. подразумевается, что у робомобиля будет настолько мало сведений об окружающей обстановке, что возможно внезапное появление объекта столкновения?
Почему робомобиль должен двигаться со скоростями допускающими столкновения в условиях «ограниченной видимости»?
Lendges
27.02.2019 18:16Потому безопасность по сути антипод удобству. Как часто вы едете на скорости 20 км/ч на трёх полосной дороге где по обочине дороги стоят заборы до метра высотой и деревьями за этими заборами? Лично я, если всё спокойно, крайне редко в обычной ситуации. Но вот в моём городе из-за таких деревьев через забор лихо перепрыгивают бабки потому что им лень в подземный спуститься. Значит ли это, что у робомобиля мало сведений и это условия ограниченной видимости?
GokenTanmay
28.02.2019 10:17Все верно, следовательно вопрос «морали» робомобилей, сводится к определению верховенства приоритета «удобства» пассажира и приоритета «общей безопасности». А это уже из разряда социальных договоров и ни какого отношения к какой либо морали не имеет. Или робомобиль едет со скоростью позволяющей на основании всех данных остановиться без столкновения, либо мы допускаем/«договариваемся», что робомобиль едет по «правилам» на основании которых при разрешенной скорости 60км/ч на расстоянии 5м по курсу движения из-за мусорного бака может выскочить старушка за руку с ребенком у которого в переноске кошка.
oracle_and_delphi
28.02.2019 11:30робомобиль едет по «правилам» на основании которых при разрешенной скорости 60км/ч на расстоянии 5м по курсу движения из-за мусорного бака может выскочить старушка за руку с ребенком у которого в переноске кошка
*фейспалм* Если есть объект закрывающий обзор, то соблюдение ПДД, означает сброс скорости при приближении к этому объекту.
А наличие мусорного бака, означает, что вы едете по дворам между жилых домов, а туда не относится разрешённая скорость в 60км/ч.
Вместо мусорного бака может оказаться и куст из-за которого на дорогу вылезет лось, и ваше «едем дальше не сбрасывая скорости, давим быдло, и едем дальше» — может стоит жизни водителю.GokenTanmay
28.02.2019 16:10Я про и это говорю, что текущие ПДД не запрещают такое движение.
Да без разницы «мусорный бак»-«рекламный щит»-«другой автомобиль», ты все равно не видишь, что за ними, а за ними может быть все что угодно, но рекомендованная скорость движения равна скорости потока.
сброс скорости при приближении к этому объекту
да ладно? и многие сейчас так делают? я вижу 90% идиотов которые ездят как хотят, а здравый смысл подсказывает считать каждого водителя «обезьяной с гранатой» заочно. Почему при движении по городу со скоростью 60 км/ч я стараюсь держать дистанцию от впереди идущего 4-7 метра (и то мое ИМХО этого не достаточно в случае экстренной ситуации) и всегда какое то говно на своем ржавом ведре влезет в этот проем?
Робомобили с согласованными траекториями и сфетофорами идущими со скоростями 30км/ч в городе — значительно увеличат пропускную способность дорог, чем идиоты доезжающие до следующего светофора с превышением скорости на 20 км/ч и тратящим время на разгон-торможение.oracle_and_delphi
28.02.2019 16:22Правила предписывают сбрасывать скорость, если имеется объект закрывающий обзор.
здравый смысл подсказывает считать каждого водителя «обезьяной с гранатой» заочно
Видел видео, где после зелёного сигнала светофора, водитель резво рванувшийся вперёд всех, из-за закрывшего ему обзор автобуса — не увидел, лихача едущего на перерез автобусу и словил его в бок. :(
Cast_iron
28.02.2019 18:30Вы явно контракте про 4-7 метров. При длине лпгкового авто от 4х метров, вы явно создаёте опасную ситуацию на скорости в 60 км/ч. А перестроение в габарит меньший размера авто это что-то из разряда идиотизма. В 7 метров можно ещё втиснуть авто, но и в этом случае остаётся чуть больше метра спереди и сзади. Не верю!
Из моей практики на скорости в 60 км/с дистанции 7-15 меня метров и более.
Exchan-ge
28.02.2019 17:29А наличие мусорного бака, означает, что вы едете по дворам между жилых домов, а туда не относится разрешённая скорость в 60км/ч.
У нас в городе мусорные баки уже давно ставят не во дворах, где сложно проехать и развернуться мусоровозу — а возле проезжей части (как в штатах )
И да, жителям теперь приходиться топать с мусорными пакетами довольно далеко.
Наиболее ленивые берут мусор в машину и выбрасывают по дороге на работу.
(а освободившееся во дворах место — теперь занимают припаркованные автомобили...)oracle_and_delphi
28.02.2019 18:11возле проезжей части
А место там есть?
Если во дворах не хватает места для парковок, то на дороге тем более не должно хватать места из-за припаркованных вдоль улицы машин.Exchan-ge
28.02.2019 23:25Если во дворах не хватает места для парковок, то на дороге тем более не должно хватать места из-за припаркованных вдоль улицы машин.
По нашим правилам ДД — возле мусорных баков парковка запрещена (должен быть обеспечен подъезд мусорной машины)
stalinets
28.02.2019 18:42Реальность всё равно непредсказуемее любых предположений.
Знакомый знакомого ехал на Волге Газ-24 по сильно разбитой улице, со скоростью около 10 км/ч (быстрее просто что-то оторвалось бы). На обочине были посажены кусты. И из кустов когда он их уже почти проехал выкатились двое дерущихся мальчишек. Одному из них ЗАДНЕЕ колесо Волги переехало ногу. И водителя сделали виновным, заставили платить за лечение. По-Вашему, это справедливо?
По сути есть 2 подхода:
1) Лояльничать и тормозить перед каждым потенциально опасным местом. Всё ради безопасности людей.
2) Ехать напролом как поезд, нарушителей сознательно давить, попытку силовой остановки робота воспринимать как нападение с попыткой ограбления и расстреливать останавливающих, нигде кроме предусмотренных в ПДД ситуаций не тормозить, кто нарушил и попал под колёса — сам виноват.
Первый подход сразу снизит число жертв, но потом люди потеряют страх и будут смело перебегать через трассу, зная, что вся трасса оттормозится.
Второй подход будет очень кровавый поначалу. Будет много криков и протестов. Но в итоге люди поймут, что ПДД — не пустое слово, а идиоты погибнут чётко по Дарвину, и ДТП станет очень мало, чем дальше, тем меньше. Ведь работает же это на железной дороге!
Может быть, нужно искать какой-то компромиссный вариант, не слишком отклоняясь ни в одну из крайностей.oracle_and_delphi
28.02.2019 19:21Ехать напролом как поезд, нарушителей сознательно давить,
в итоге люди поймут, что ПДД — не пустое слово, а идиоты погибнут чётко по Дарвину, и ДТП станет очень мало
От всей души желаю тебе напролом, как ты и мечтаешь, въехать на полной скорости в ЭТО
и получить заслуженную Премию Дарвина!
работает же это на железной дороге!
И что будет поезду, если на пути окажется лось? Ничего! А при въезде автомобиля в подобное препятствие — и водитель и пассажиры отправятся в реанимацию.
Cast_iron
28.02.2019 20:26Вы удивитесь узнав сколько несчастных случаев на ж/д из-за халатности пешеходов.
Heian
27.02.2019 14:36Машины тем и хороши, что они не обладают моралью (и даст б-г, никогда не будут, а если и будут, то своей собственной), ибо это позволяет им принимать нейтральные, объективные решения, не отягощенные грузом эмоций и морали, которая, ко всему, весьма однобока и не справедлива.
Допустим, морально не сбить старую женщину в ущерб молодому пассажиру — окей. Но что, если старая женщина — крайне нехороший по жизни человек, и особой ценности не представляла даже в молодости, а молодой пассажир — подающий надежды студент физмата? И наоборот, старая женщина может быть известной актрисой или ученым, а молодой человек — гопником, который только вчера отжал очередную мобилу. Ни одна мораль этого не учитывает. А холодный «разум» потенциального ИИ, сухие алгоритмы — могут. И это было бы гораздо справедливее.
Serge78rus
27.02.2019 16:00Для этого придется провести такую противоречащую любой морали процедуру, как количественную оценку стоимости той или иной человеческой жизни. Задачу кого давить — гопника или академика можно решить и без такой оценки, но в случае жизни N гопников против жизни академика без строго определенной «цены» каждой жертвы уже решения не найти.
kahi4
27.02.2019 17:11Я лично не понимаю предмета спора вообще.
Какими бы словами там не кидались про слабый или сильный ИИ, беспилотный автомобиль не более чем классическая (пусть и значительно усложненная) система автоматического управления. По большому счету, речь идет о решении задачи оптимального управления, которая сводится к поиску управления, дающего минимум заданного критерия.
Таким образом, говорить о морали машины тоже самое что говорить о морали операции суммы или типа того. "Вот эта сумма просто аморальна!".
Конечно условно можно считать, что мораль задается через этот самый критерий. Например для посадки самолета я бы брал штрафные очки у критерия примерно так:
выезд за ВПП — 10
вероятность повреждения ЛА — 100
вероятность травмы пассажира — 1000
вероятность смерти пассажира/пассажиров — 10 000
въезд в терминал — 100 000
Соответственно, алгоритм никаких там моральных задач решать не будет, все что он сделает — попытается набить минимум "очков".
Но есть большое НО — сложность критерия значительно влияет на возможность эту траекторию просчитать. Иными словами, критерий из серии "если там стоит человек, но он без трости, но ему на вид 50 лет" — да машина с места с такими критериями не сдвинется, пока все просчитает. Результатом будет являеться что-то типа поля запрещенных областей — по аналогии с аэропортом, места, при въезде в которые будут начисляться штрафные баллы.
Хотел бы я посмотреть на то, как начисляются разные штрафные баллы в соответствии с возрастом, полом, расой или родом деятельности человека, в современном мире толерантности.
Так что, на мой взгляд, калькулятор на колесах не может быть моральным либо аморальным, а всегда будет до последнего поступать совершенным с точки зрения математики образом.
P.S. Это если научатся решать уравнение Беллмана или иной строгий способ решения задачи. Пока же машина действует статистически оптимально, но за три сигмы вылететь есть шанс у всех.
QwertyOFF
27.02.2019 17:18+1Что-то мне подсказывает, что те робомобили, у которых в инструкции есть надпись в духе «наматывает на столб водителя вместо столкновения с перебегающим дорогу ребенком» будут не очень хорошо продаваться.
Cast_iron
27.02.2019 21:22Сторонники убийства пешеходов постоянно забывают про принятые ограничения скоростей и надежность авто. Как будто сейчас середина 20 века и в машинах даже ремни безопасности не предусмотрены.
Если вы скажете, что в условиях задачи сказано или смерть пешехода или пассажира, то отвечу, что условия задачи взяты «с потолка».QwertyOFF
28.02.2019 21:45Почему же? В принципе желающим ничто не мешает "прицельно" выпрыгивать под колеса даже с соблюдением ПДД со стороны автомобиля, а большинство современных автомобилей не очень хорошо держат столкновение со встречной фурой, например. Ситуация конечно не на каждый день, но никто не застрахован.
Можно развить тему ещё дальше. Какой автомобиль выберет человек, тот, который спасет жизнь внезапному пешеходу, но сам будет не подлежать восстановлению (крутим бочку в кювет), или тот, который собьет человека, но ремонт обойдется недорого (тормозим по прямой)?
Cast_iron
28.02.2019 22:49В подобных ситуациях для большей объективности я стараюсь представлять себя не только внутри авто, но и с другой стороны — на месте пешехода. И что-то мне не нравится идея с самоуправляемым авто, которое при наличии логики предпочтет мою жизнь помятому кузову.
oracle_and_delphi
28.02.2019 22:54Для объективности нужно представить ещё и ситуацию, когда наместе пешехода оказался — лось!
hokum13
01.03.2019 12:34Для объективности: здесь нет альтернативы. Даже скорее альтернатива влететь под фуру или в столб выглядит более жизнеутверждающей для водителя, чем влететь под лося.
Ну и собственно возвращаясь на пару секунд до столкновения: если не можешь увидеть лося на обочине — сбавь скорость.
QwertyOFF
28.02.2019 23:04Вот только голосовать рублем за тот или иной подход будут не пешеходы, а водители. При наличии возможности выбора, конечно. Пока что наши ПДД предписывают тормозить не меняя направления движения, но было бы логично сделать допущения для робомобилей, если они смогут предсказывать последствия внезапных маневров (что человеку как правило не под силу).
stalinets
27.02.2019 21:09Нужно не забывать про проблему грабителей. Живой водитель, если увидит, что наперерез его грузовику выскочил непонятный человек, а рядом стоит авто и около него группа людей в масках и с оружием, вероятно, притопит и поедет напролом. Или притормозит, но сразу снова наберёт ход и уедет.
Или если его начнёт подрезать машина с «братками», он тоже, вероятно, не остановится, а столкнёт их в кювет, спасая свою жизнь. В девяностые такое бывало у дальнобоев, сейчас это редкость.
А грузовики-роботы, получается, совсем беззащитны. И такие дерзкие ограбления снова расцветут. Выскакиваешь перед роботом-грузовиком, он останавливается. Заблокировали его машинами, прорезали на всякий случай покрышки, и по-быстрому вскрыли фуру и перекидали всё ценное в другой грузовик.
Как с этим планируется бороться?mkovalevskyi
27.02.2019 21:42дронами. уже при текущей грузоподьемности, у них вполне достаточно огневой мощности для подавления не бронированной техники.
или, как вариант — недоставкой грузов в такие районы. как прямо сейчас амазон делает ;)
Exchan-ge
28.02.2019 00:00А грузовики-роботы, получается, совсем беззащитны. Как с этим планируется бороться?
Традиционно — с помощью охраны в кабине.
(классический киносюжет — ограбление поезда. См. )
Ramzzes
27.02.2019 22:11«умирай в своей полосе»
Не совсем так, есть одно маленькое исключение. Любое развитие событий лучше встречного лобового столкновения. Да хоть в кювет вылететь. Если конечно при этом никого давить не надо будет. И то не понятно что возьмет вверх, инстинкт самосохранения, или страх убить человека.
sergq
27.02.2019 22:12Судя по всему, многие не понимают сути вопроса. Он не в том, что машина будет ездить не по ПДД или сама создавать аварийные ситуации. Вопрос в том, что делать если случилась экстренная ситуация и что-то сделать без ущерба просто невозможно! Или вы думаете что все дело в автопилоте, а обычные машины никого не сбивают и сами не разбиваются? Но это же не так! Дело в том, что человек делает что-то (тормозит, уворачивается..) инстинктивно, не осознавая или принимает решение, но очень быстро. И вопрос в том, как в ТАКОЙ ЖЕ ситуации поступить автопилоту — у него же нет инстинктов и интуиции… Ему все надо расписать «по буквам». И вопрос в том, что писать туда (в программу)? Хотя и в жизни такое есть — когда тебя подрезают, то если нет угрозы жизни нужно бить виновника, но инстинктивно ты будешь выворачивать руль… стукнешь невиновного и будешь оплачивать свой и его ремонт, а истинный виновник будет дома пить чай и смотреть сериальчик… Вот тут как раз можно запрограммировать на действие. А если 1 человек, а рядом 3, а остановиться уже не успеваешь (лед), куда направлять машину? В стенку и покалечить водителя или убить 1 или 3?? Вот это и есть вопрос. Логичнее предположить, что приоритет отдать пешеходам — они менее защищены, но отдавать свои кровные большие деньги и каждый день садиться в машину, которая при первом удобном случае тебя убьет — так себе удовольствие…
dididididi
28.02.2019 10:30Будет тариф «норм» и тариф «вип». При «норм» машина с тобой внутри тормозит в бетонную стену при тарифе вип во что-то более мягкое.((
semennikov
27.02.2019 23:26Господа, насколько я понимаю ИИ обучается не программированием а накоплением образцов решений которые принимают люди, и в статье как раз речь о том что в разных местах ИИ будут предъявляться разные наборы решений
MOPOH
28.02.2019 00:09В конечном счёте «мораль робомобиля» сведётся к банальной математике и минимизации страховых выплат.
Mishootk
28.02.2019 17:11На некоторые автомобили ставится подушка безопасности для пешехода. На городских скоростях она спасает жизнь при приеме человека на капот. Только ее недостаток в том, что она срабатывает от контакта с человеком.
Система умеющая распознавать человека и сознательно принимающая решение столкнуться с ним может активировать раскрытие такой подушки для смягчения удара еще до контакта с человеком. Второй травматичный момент — отброс человека после столкновения. Что если снабдить аварийную систему захватом? После приема человека в подушку на капоте он вязнет в ней и удерживается на капоте или крыше. Если нет других отягчающих факторов, то такое решение может спасти жизнь.
perfect_genius
28.02.2019 23:18+1А если выбирать кого сбить по позе/положению человек, чтобы выбрать из них того, поза/положение которого увеличивает вероятность получить меньше всего вреда?
А давайте ещё дальше — выбирать, какой стороной головы пешеход ударится и какую область мозга повредит. Что лучше — лишить его зрения? Обоняния? Слуха? «Лоботомировать»? Или парализовать?
Выглядит абсурдно, но для высокоскоростного «мыслящего» компьютера мир замедлен, почти заморожен, и у него может быть прорва времени всё расчитать.
MaxxONE
Кстати, не совсем понятен ажиотаж вокруг упомянутой «проблемы вагонетки», который обычно возникает в комментариях под статьями на эту тему. По-моему, вся проблема в том, что задача слишком абстрагирована.
Каноничная вагонетка движется по строго определенным путям, и жертвы не имеют никакой возможности сбежать. Таким образом, для вагонетки не стоит проблема в том, куда повернуть: всё сводится к тому, что должна быть выбрана определенная жертва.
Автомобиль же не по рельсам едет: для него есть понятия «ехать прямо», «влево», «правее», «ещё правее». И, если мы в любом случае сбиваем одного из пешеходов, то следует ехать по максимально предсказуемой траектории. А там уж будь что будет. Если очень повезёт, то пешеход успеет спастись.
Простой, предсказуемый в опасной ситуации инструмент — это хорошо. Самонаводящееся орудие, которое себе на уме — плохо. И это вот общее рассуждение — единственное место, где мы касаемся вопросов морали; всё остальное — дело техники.
Snakey
Вообще подразумевается что система управления прикинула все реальные пути решения и задача в итоге свелась к вагонетке.
Логично, что увидев пешехода, перебегающего дорогу, авто не будет кидаться на него всеми колесами (или сразу сворачивать в ближайший столб, в зависимости от настройки). Попытается объехать, оттормозиться. И рассматривать такие очевидные вещи (и тем более проводить по ним исследования с соцопросами) нет никакого смысла:)
MaxxONE
Я полностью согласен со второй частью вашего комментария. Что касается первой части, то я и так предполагал, что ситуация уже безвыходна, и объехать (безопасно для себя) никак не получается. В этом случае просто тормозим, сохраняя направление движения. Мы даже не пытаемся решать проблемы вагонетки, у нас их просто нет.
Snakey
Тормозить по прямой — самый верный способ по ПДД, но и живые водители не постоянно им пользуются.
Эти исследования — скорее размышления на тему «а что если?». Автопилоту гораздо проще прикинуть все варианты развития событий, следовательно летящий в полную остановку автомобиль можно направить в столб, тем самым мораль, общество и все такое.
И это классическая вагонетка — есть два пути — тормозить по прямой или маневрировать в кого-то. Вагон же тоже либо продолжает ехать как ехал, либо можно изменить его траекторию.
MaxxONE
Вагонетка не имеет руля, доступен лишь перевод стрелок. Это я вам как железнодорожник говорю :) Неперевод стрелок в этом случае равнозначен активному выбору жертвы. Потому её и приняли в качестве теоретической модели(дискретность вариантов выбора — это удобно для мысленного эксперимента), и поэтому же её нельзя применить к автомобилю.
Впрочем, разговор на эту тему стремится к дискуссии, которую я уже осудил выше.
p_fox
В каком это пункте ПДД написано "Тормозить по прямой"?
gaidukav
10.1 — «При возникновении опасности для движения, которую водитель в состоянии обнаружить, он должен принять возможные меры к снижению скорости вплоть до остановки транспортного средства.»
В ГИБДД это интерпретируется как — «нефиг уворачиваться, просто тормози, если не можешь предотвратить дтп».
Если увернулся и предотвратил — молодец.
Deepwarrior
Даже, если на пути движения человек 20, а сбоку лишь один, тоже лучше вести себя предсказуемо?
MaxxONE
Эта ситуация ни у кого затруднений не вызывает. Естественно, в этом случае следует минимизировать число жертв. Обычно у спорщиков особый интерес вызывает предельная ситуация, когда при любом выборе количество жертв одинаково.
Deepwarrior
И законом выживания в роботизированном мире станет «Ходи с большой компанией».
Если бы ситуация не вызывала затруднений ни у кого, классическая проблема вагонетки не появилась бы. Там же очевидно, переводишь стрелки, убиваешь всего одного…
black_semargl
Те кто на пути движения — очевидно нарушили ПДД… почему надо давить того кто не нарушил?
oracle_and_delphi
Впереди фура, и дорога рядом кажется свободной.
Но, из-за фуры, вместо «быдла», которое ты хотел ржа от смеха раздавить, а затем выложить смачное видео об этом ради лайков от таких же как ты, выезжает ЭТО:
Ты всё ещё считаешь, что на дороге кроме двуногих кожаных мешков, которые так весело давить, больше никто не может оказаться?
KrechTech
Где гарантия, что эти 20 человек, видя несущийся на них автомобиль, не кинутся врассыпную? И там где секунду назад был один, станет 10?
NetBUG
Тормозим, включаем фары и гудок.
(это как в анекдоте, кого ты будешь давить? — тормоз дави, идиот!).
Многие люди на переходе обладают хотя бы одним органом восприятия (слух, зрение) и могут за пару секунд принять какое-то решение.
imanushin
Возможно (правда, это всего лишь мое мнение) подобную тему пиарят ради того, чтобы в дальнейшем привязать логику автомобилей к социальному рейтингу.
Если сейчас судимость усложнит работу, аренду и ипотеку (по крайней мере в США/Великобритании), то в будущем «неблагонадёжный» может ещё и пораньше попасть под колёса.
qw1
Если любой автомобиль видит рейтинги всех людей на улицах, несложно будет сконвертировать это в очки дополненной реальности, которые любому покажут анкеты всех людей в поле зрения. Не слишком ли фантастично?
imanushin
Не знаю. А если будут законы, в которых:
Ну и к тому же: я не считаю это далеким будущим.
qw1
А при чём здесь автомобиль, если вопрос в том, «кого из пешеходов давить». У каждого пешехода должен быть маяк?
200sx_Pilot
psman
Кстати по штанам быстрее распознание работает
oracle_and_delphi
Если соблюдать скоростной режим, то проблема вагонетки просто не возникнет = всегда можно успеть затормозить, и ответом на «кого давить?» должно быть «тормоз дави! тормоз!».
MaxxONE
С чего вы решили, что соблюдение скоростного режима всегда позволит затормозить? Внезапное появление пешеходов на дороге — обычное дело. Это у ГИБДД логика порочная: сбил — значит нарушил скоростной режим.
oracle_and_delphi
Пешеход не телепортируется из под земли.
Если стоит автобус, то нужно быть ООООООООООчень тупым, чтобы не догадаться, что может появиться пешеход и не сбросить скорость.
MaxxONE
Предположим, вдоль дороги кусты. Вы хотите сказать, вдоль такой дороги всегда следует держать 20 км/ч?
oracle_and_delphi
Если вдоль всей дороги кусты, то вы едете явно не в том месте, где стоит разгоняться до максималки. Вероятней всего это какой-то дачный массив, где даже тротуаров нет.
MaxxONE
Или загородная трасса.
oracle_and_delphi
Где вы такую скоростную трассу видели?
У всех трасс, где можно ехать на высокой скорости, по сторонам, как правило, достаточно пусто.
MaxxONE
А вот почти всё, что ведет из Екатеринбурга. И кусты, и лес близко бывают. Лоси оттуда ломятся, грибники, дети.
Да сами на ютубе посмотрите — кто, откуда и куда лезет.
oracle_and_delphi
Лоси?! Вы что мечтате получить ачивку «пытался сбить лося» и селфи из реанимации?
hokum13
п. 10.1 ПДД:
«Водитель должен вести транспортное средство со скоростью… учитывая при этом… в частности видимость в направлении движения. Скорость должна обеспечивать ... выполнения требований Правил.
При возникновении опасности для движения… вплоть до остановки транспортного средства.»
Т.е. в правилах четко прописано, что если не уверен в возможности возникновения препятствия — превышаешь! Или это не ИИ ехал слишком быстро, а просто судьба такая у старушки/девочки?
MaxxONE
Я в курсе. В реальной ситуации мы почти нигде не можем быть уверены в том, что перед нами не вылетит внезапно пешеход. Везде будете ехать 20 км/ч?
oracle_and_delphi
В вашей же собственной цитате, hokum13, прямо написано:
а гнать на маскималке руководствуясь принципом «судьба у быдла такая» — это плевать на видимость нарушая ПДД.
А если вместо старушки/девочки окажется вот ЭТО
— то чья «судьба такая»?
Ваша идея «ДАВИ БЫЛО!», приведёт именно к влетанию на скорости в ЭТО.
hokum13
Если кусты обтирают двери автомобиля — да, 20км/ч.
Это не моя идея. Я, разумом, против того чтобы доводить до состояния, когда рождается «дилема вагонетки». Но я человек и я совершаю ошибки. Потому что некогда, гормоны, молодость, наивность… Да мало ли причин.
Но у ИИ нет мотивации. Автопилот — «слабый ИИ». Соответственно ИИ дойдет до дилемы вагонетки только в том случае, если это заложит разработчик. Соответственно либо нужно полноценно шерстить код на наличие изъянов (что не возможно для передовых проектов за отсутствием паттернов ошибок), либо вводить ответственность производителя за действие его ИИ.
ИМХО дилема вагонетки появилась именно по той причине, что разработчики хотят снять с себя ответственность за смерти от их изобретения. И ИМХО реальные сроки заключения и неотвратимость наказания за аварии для владельцев бизнеса устранят ошибки и в коде, и в железе.