Я не перестаю читать в новостях о неизбежном наступлении беспилотных автомобилей. Финансовые новости все время трещат об этой идее, и технологические тоже. Прогнозируют, что в течение следующих пяти лет водители грузовиков, таксисты и уберисты останутся без работы.
У меня есть одно слово для всех этих прогнозов: Торонто!
Вы помните тот момент, когда IBM Watson играл и выиграл в «Джеопарди»? [Jeopardy — ТВ игра в США, похожая на «Свою игру». — прим. пер.] Это произошло в феврале 2011 года. Успех был впечатляющим. Watson так значительно превосходил соперников-людей, что было несколько грустно. После этого, Кен Дженнингс [Ken Jennings], один из оппонентов Watson'а, который перед этим выиграл 74 игры подряд, нехотя признал поражение, приветствуя «наших новых компьютерных повелителей».
Несмотря на выдающийся успех IBM, не обошлось без недоразумений. И они были очень показательными. Ошибки, которые допустил Watson, были не такими, какие сделал бы человек. Действительно, от них глаза на лоб лезли — и, если представить последствия, то и волосы встают дыбом.
Один такой случай произошел, когда соперников попросили назвать город в США, в котором есть один аэропорт, названный в честь героя Второй Мировой Войны, и другой аэропорт, названный в честь битвы в ней же. Задумайтесь на секунду. Пробегитесь по трем крупнейшим городам в США. Нью-Йорк? Нет, Аэропорт Джона Кеннеди, Ла-Гуардия и Ньюарк не подходят. Лос-Анджелес? Нет, Аэропорт Лос-Анджелес, Аэропорт Джон Уэйн, Онтэрио не подходят. Ага! О'Хара и Мидуэй! Это они. Так какой город США выбрал Watson?
Торонто.
Конечно, сейчас ясно, что существовала причина, по которой Watson выбрал Торонто вместо Чикаго. В конце-концов, Watson был компьютером и у компьютеров всегда есть абсолютно дискретные и однозначные причины, по которым они делают что-либо. Ряд
Я не знаю подробностей. Я хотел бы знать, поскольку я думаю, что ответ был бы интересным с технической точки зрения. С другой стороны, меня не сильно волнует, какие были причины, потому что, какими бы они ни были, ответ, который дал Watson, был в высшей степени дурацким.
Ни один человек со средним интеллектом не допустил бы такой ошибки. И ни один человек не смог бы понять, как другой человек может так ошибиться. Действительно, любой человек, который бы настаивал на таком ответе (как это делал Watson), мог бы легко быть признанным недееспособным.
Итак, налицо дилемма: Watson превосходит соперников по «Джеопарди» со значительным отрывом. Заявляется, что машины без водителей будут так же значительно превосходить водителей-людей. Беспилотные автомобили уменьшат количество аварий и жертв, сделают дороги безопаснее. Так утверждают.
Со временем, произойдет неизбежная трагедия. Мы можем себе ее представить. Однажды, беспилотный автомобиль может сбить двухлетнего ребенка, заблудившегося на улице.
У машины будет веская причина убить его. В конце концов, автомобиль — это компьютер, а у компьютеров всегда есть абсолютно дискретная и однозначная причина того, что они делают. И, поверьте мне, каждый захочет узнать причину, по которой маленький ребенок должен был умереть.
Представьте себе зал суда. Обезумевшие родители, гневная пресса, подавленные адвокаты, представляющие компанию, выпустившую автомобиль. Бортовой компьютер находится на стойке. Он вот-вот ответит на вопрос. Стоит тишина, поскольку все склонились к нему. Обвинитель задает вопрос по существу: «Почему этот ребенок должен был умереть?». И компьютер, распарсив все данные из памяти, бежит по цепочке
У меня есть одно слово для всех этих прогнозов: Торонто!
Вы помните тот момент, когда IBM Watson играл и выиграл в «Джеопарди»? [Jeopardy — ТВ игра в США, похожая на «Свою игру». — прим. пер.] Это произошло в феврале 2011 года. Успех был впечатляющим. Watson так значительно превосходил соперников-людей, что было несколько грустно. После этого, Кен Дженнингс [Ken Jennings], один из оппонентов Watson'а, который перед этим выиграл 74 игры подряд, нехотя признал поражение, приветствуя «наших новых компьютерных повелителей».
Несмотря на выдающийся успех IBM, не обошлось без недоразумений. И они были очень показательными. Ошибки, которые допустил Watson, были не такими, какие сделал бы человек. Действительно, от них глаза на лоб лезли — и, если представить последствия, то и волосы встают дыбом.
Один такой случай произошел, когда соперников попросили назвать город в США, в котором есть один аэропорт, названный в честь героя Второй Мировой Войны, и другой аэропорт, названный в честь битвы в ней же. Задумайтесь на секунду. Пробегитесь по трем крупнейшим городам в США. Нью-Йорк? Нет, Аэропорт Джона Кеннеди, Ла-Гуардия и Ньюарк не подходят. Лос-Анджелес? Нет, Аэропорт Лос-Анджелес, Аэропорт Джон Уэйн, Онтэрио не подходят. Ага! О'Хара и Мидуэй! Это они. Так какой город США выбрал Watson?
Торонто.
Конечно, сейчас ясно, что существовала причина, по которой Watson выбрал Торонто вместо Чикаго. В конце-концов, Watson был компьютером и у компьютеров всегда есть абсолютно дискретные и однозначные причины, по которым они делают что-либо. Ряд
if-выражений, сравнивающих взвешенные значения при помощи сложного ассоциативного дерева, дал конечный, определенный результат. То есть, безусловно, существовала причина. Веская причина.Я не знаю подробностей. Я хотел бы знать, поскольку я думаю, что ответ был бы интересным с технической точки зрения. С другой стороны, меня не сильно волнует, какие были причины, потому что, какими бы они ни были, ответ, который дал Watson, был в высшей степени дурацким.
Ни один человек со средним интеллектом не допустил бы такой ошибки. И ни один человек не смог бы понять, как другой человек может так ошибиться. Действительно, любой человек, который бы настаивал на таком ответе (как это делал Watson), мог бы легко быть признанным недееспособным.
Итак, налицо дилемма: Watson превосходит соперников по «Джеопарди» со значительным отрывом. Заявляется, что машины без водителей будут так же значительно превосходить водителей-людей. Беспилотные автомобили уменьшат количество аварий и жертв, сделают дороги безопаснее. Так утверждают.
Со временем, произойдет неизбежная трагедия. Мы можем себе ее представить. Однажды, беспилотный автомобиль может сбить двухлетнего ребенка, заблудившегося на улице.
У машины будет веская причина убить его. В конце концов, автомобиль — это компьютер, а у компьютеров всегда есть абсолютно дискретная и однозначная причина того, что они делают. И, поверьте мне, каждый захочет узнать причину, по которой маленький ребенок должен был умереть.
Представьте себе зал суда. Обезумевшие родители, гневная пресса, подавленные адвокаты, представляющие компанию, выпустившую автомобиль. Бортовой компьютер находится на стойке. Он вот-вот ответит на вопрос. Стоит тишина, поскольку все склонились к нему. Обвинитель задает вопрос по существу: «Почему этот ребенок должен был умереть?». И компьютер, распарсив все данные из памяти, бежит по цепочке
if-выражений, сравнивая все аккуратно взвешенные значения, и наконец, отвечает: «Причина была в том, что Торонто».Поделиться с друзьями
Amareis
Ну да, ведь человек никогда так не сделает. Никто и никогда не собьёт (возможно что и осознанно) двухлетнего ребенка! Только бессердечные компьютеры могут делать абсолютно нерациональные поступки, которые не в силах объяснить!!11
sim-dev
Проблема не в том, мог или не мог. Проблема в том, что понесет наказание или нет. Очевидно, что ни один разработчик робота не понесет, т.к. см. лицензионное соглашение на ПО — "… а так же последствия от применения ПО...". Очевидно, что робот тоже не понесет, ибо… Даже если будет дана команда демонтировать его на SMD-компоненты, это не будет наказанием, т.к. наказание в нашем понимании это в первую очередь причинение моральных страданий за содеянное, побуждение раскаяться — естественно, робот лишен этих чувств.
Поэтому сравнение водителя-человека, задавившего ребенка, с водителем-роботом некорректно. Общество (во всяком случае на нынешнем уровне развития) не примет этого.
Eldhenn
Наказание — самоцель и высший смысл любой деятельности?
sim-dev
Нет, но речь об этом:
Смысл суда в чем? Установить виновного и наказать. После того, как человек погиб, речь может идти только о наказании виновных. В том суть правосудия: не предотвращать, а наказывать.
Eldhenn
> В том суть правосудия: не предотвращать, а наказывать
Ломающие новости, однако.
Nakosika
В древности суд назначал виновникам выплатить или отработать ущерб родственникам, особенно если был убит кормилец. Но современный гуманный суд выше этого. Только наказать.
sophist
А смысл наказания в чем? Создать антистимул для совершения подобного поступка другими в дальнейшем.
В случае робота можно без всякого антистимула внести изменения в механизм принятия решения. Именно для этого
sim-dev
Обвинитель или адвокат — мастера задавать риторические вопросы «по существу». Ответом может быть вполне естественное «потому что такова его судьба, назначенная Богом», и пусть докажет, что судьбы нет и Бога тоже. Уводить разговор в этом направлении — пустая трата времени.
sophist
Это вам так хотелось бы.
Автор статьи говорит о другом:
sim-dev
Что говорит автор — я отлично понял. Как и не понятый вами факт, что желаемое действие наказания и реальное — разные вещи.
Дело в том, что автор верно ставит вопрос: робот будет принимать решение в бинарном варианте. И именно по этой причине я считаю, что ему нельзя поручать решать вопросы жизни или смерти! Как вы не поймете этого? Робот должен решать совсем иные задачи, и пусть их решает «или-или», а уж окажется труп в итоге или нет — пусть будет делом случая. В качестве вводной должна быть не «давить того, чей ранг по такому-то алгоритму меньше всех», а «избегать столкновения со всеми людьми и преградами, стремясь сохранить устойчивое (без переворотов и т.п.) торможение вспомогательными средствами». Надо принципиально иначе ставить задачу, чтобы исключить моральный выбор в ходе её решения!
Если в суде будет предъявлена запись «черного ящика», показывающая, что робот «тормозил и избегал столкновений», но из-за отказа тормозов эти меры были не достаточно эффективными — вопрос «почему должен был умереть» не будет поставлен, ибо на него просто нет ответа иного, кроме выше уже мною озвученного. Так сложилось, увы…
t13s
А как вы тогда предлагаете решать оптимизационную задачу без наличия целевой функции?
sim-dev
Во-первых, я не постановщик задачи для разработчика и даже не разработчик робомобилей, я не обязан знать «как» это сделать.Я — сторонний наблюдатель.
Во-вторых, в случае надвигающейся катастрофы наилучшим (в плане морального выбора, а точнее — его отсутствия), с моей точки зрения, было бы отказаться от высокого интеллекта робота и действовать на простейших «инстинктах», вроде замшелого ПИД и других алгоритмов неинтеллектуального управления.
Как-то так…
t13s
На языке кусков мяса предложенное вами называется «состоянием аффекта». Вы уверены в том, что хотите, чтобы в любой непонятной ситуации ИИ начинал нещадно тупить?
sim-dev
Перечитайте мои сообщения в этой теме. Тупить, как раз, робоводитель и не должен, в отличие от куска мяса. Он не должен терять контроль над всеми системами, курсом и т.п., он лишь должен «отключить» размышления о том, кто перед ним менее ценен, чтобы прикончить его, а вместо этого должен, не отвлекаясь на ИИ, сосредоточенно рулить мимо всех препятствий активно снижая скорость всеми средствами, сохраняя устойчивость собственного экипажа.
t13s
ОК, гипотетическая ситуация: город, гололед. С учетом этих условий правильное робоавто едет на скорости, допустим, 30 км/час (ну, или даже 20). Едет по очень узкой, но хорошо освещенной фонарями улочке. И тут на середину этой узкой улочки внезапно выскакивает сумасшедшее бабко.
По-вашему: отключаем оценку и прогнозирование, пытаемся бабку объехать на авось, в результате чего ее давим?
Или всё-таки понимаем, что на 30-20 км/час мы можем без фатальных последствий затормозить о вот этот вот фонарный столб?
Или, допустим, есть 2 столба с разных сторон, и напротив одного из них стоит другая, более разумная бабка.
Выбираем произвольный столб и с вероятностью 50% давим ни в чем не повинную бабушку, или все-таки ПОДКЛЮЧАЕМ соображалку и тормозим о свободный фонарь?
sim-dev
Ок, моё предложение в силе: перечитайте мои другие сообщения, возможно, вопросы ваши исчезнут. Повторяться не хочу.
j_wayne
Ниже правильно сказали, антистимул.
Уголовное наказание в случае наезда на пешехода — очень серьезный стимул для водителя не давить людей.
Если не будет антистимула для производителя беспилотного автомобиля, то получит большое преимущество производитель, который забил на безопасность и очень условно говоря затолкал в машину Raspberry Pi и нанял джуниоров, на коленке написавших софт для него.
zharikovpro
Тут самое время вспомнить про выплаченные Макдаком миллионы за то, что кто-то обжегся горячим кофе в стаканчике и т.п. Механизм (анти)стимулирования производителей беспилотных автомобилей есть, и очень хороший — финансовый. Т.к. один пострадавший юзер может засудить компанию на миллионы.
Или заставить Тойоту выплатить 16 миллиардов долларов и отозвать 5,5 миллионов автомобилей.
Я предполагаю, что такой механизм предотвращения ДТП намного эффективнее, чем посадить одного пьяного водителя за одного сбитого пешехода, например. Потому что другие пьяные водители так и будут ездить «непропатченными» в это время.
Triffids
понесет компания и руководитель, который дал добро выпустить не протестированную модель на дороги. в любом случае компьютер с «Торонто» много меньше поубивает, чем людская тупость.
j_wayne
Да, и еще — суд не мыслит категориями «прогресс», «неизбежные потери», «вероятность».
Есть производитель, коммерческая фирма, которая производит беспилотные автомобили на продажу, для получения прибыли. Изделие причинило человеческие жертвы. Кто-то должен нести ответственность.
sophist
Насчет вероятности вы поторопились.
j_wayne
Да. Скорее опоздал)
Stchee
Разработчик как раз может изрядно огрести. Логичным решением судьи в деле США против Tesla v 3.75 adv (совпадения случайны :) выглядит как «признать виновным в непредумышленном убийстве автопилот модели хххх, запретить эксплуатацию всех моделей автопилота данной компании на дорогах общественного пользования вплоть до… и присудить выплату наследникам от собственника источника повышенной опасности (транспортное средство yyyy оснащенное автопилотом модели xxxx).
Выплата скорее всего перекроется страховкой (не факт что полностью — но предположим) а вот отзыв авто и автопилотов убьёт разработчика и производителя волной исков от пользователей.
dmitryrublev
Автор, не читайте Дядю Боба перед сном.
Лучше поиграйтесь с MoralMachine — и скажите, кого должен был сбить беспилотный автомобиль.
sim-dev
Такое ощущение, что эта моральная_машина сделана не для поиска решений проблемы, а для самобичевания людей, которых ставят перед выбором из двух идиотских вариантов. Например, самый первый тест: машина с вышедшими из строя тормозами на дороге с отбортовкой перед пешеходным переходом. Кроме предлагаемых 2 дурацких вариантов ДАВИТЬ ЛЮДЕЙ есть как минимум несколько ПРАВИЛЬНЫХ вариантов поведения:
1. Выключить зажигание и тормозить двигателем. Если робот не нарушает правила, то он ОБЯЗАН подготовиться к торможению на расстоянии, достаточном для полной остановки перед переходом, т.е. он ДОЛЖЕН был узнать о неисправности тормозов достаточно заблаговременно. Это означает, что при торможении двигателем скорость к моменту пересечения с переходом будет либо не смертельно опасной для пешеходов, либо вообще столкновения может не быть — пешеходы ведь не слепые, и будут разбегаться.
2. Тормозить в отбортовку, совмещая с торможением двигателем. См. выше — если скорость в пределах нормы и момент принятия решения своевременный, думаю, столкновения с пешеходами не произойдет.
3. Тормозить включением задней передачи. Как правило, чревато поломкой трансмиссии, но зато (на сухой дороге) может быть эффективнее многих иных средств экстренной остановки БЕЗ ТОРМОЗОВ.
4. Тормозить «ручником» (или резервной системой торможения — она ОБЯЗАНА быть)
В случае этого «теста» робомобиль не должен выбирать, кого ДАВИТЬ, он должен предпринять ВСЕ МЕРЫ, чтобы не задавить никого, ну а там — как выйдет. Точно так же, как должен поступать и водитель-человек.
В том и преимущество роботов, что он НЕ ДОЛЖЕН ТУПИТЬ, как человек. Но если алгоритмы вождения разрабатывают такие люди, как придумавшие эти «моральные тесты», то беды не миновать.
Hayate
Ещё, судя по тесту, там где нужно выбирать между бетонным блоком и людьми, тест не учитывает что после удара по людям машина поедет дальше сбивать других людей до тупика, где пассажиры всё равно погибнут.
sophist
Эта моральная машина действительно сделана не для поиска решений проблемы — она сделана для выявления структуры приоритетов общественной морали.
Если робот (или человек) МОЖЕТ не задавить никого, то никаких вопросов, как ему следует поступать, не возникает. Вопросы появляются тогда, когда выбор ограничен только плохими вариантами.
У вас же получается решение, подобное этому:
sim-dev
Вы на самом деле считаете, что робот должен оценивать возраст, пол и здоровье пешеходов, чтобы по каким-то загадочным критериям выбрать жертву? Это же нонсенс!
Моё мнение таково: в описанном в тесте случае робот должен следовать моделированию человеческого поведения. Он не должен ничего оценивать с точки зрения морали или «ценности жизни», он должен стремиться предотвратить ущерб людям всеми доступными средствами. Т.е. не должен гарантировать, но должен стремиться. В случае неизбежности столкновения следует только тормозить или рулить «мимо», нельзя выбирать и давить намеренно. Будет результат эффективен по количеству смертей или нет — это не важно, алгоритм не должен допускать даже возможность оценки человеческой жизни, т.е. если жертвы и будут, они будут ненамеренными.
Только в этом случае будет отсутствовать моральная составляющая при рассмотрении поведения бездушного робота. Понимаете? Главное — не хотеть убить кого-либо.
В случае с Буратино по моему сценарию должно быть и продолжение: "… а если Некто меня побьёт и отнимет яблоки — что ж, я старался...".
sophist
Еще раз: моральная машина предназначена НЕ для разработки конкретных алгоритмов для робота. Она предназначена для того, чтобы понять, какого поведения МЫ от него ожидаем в случае конфликта интересов, то есть в ситуации, когда любое из возможных решений приводит к чьей-либо смерти.
Ваш ответ: делай что должно, и будь что будет. Это один из возможных ответов. Но, возможно, для общества в целом будет приемлем другой ответ. Вот чтобы узнать это, и нужна моральная машина.
Смысл примера с Буратино в том, что, вводя дополнительные возможности, вы решаете другую задачу, не ту, для которой предназначена рассматриваемая модель.
Теперь предположим, что тормозить означает гарантированно убить пешехода, а рулить «мимо» означает гарантированно убить водителя. Так как следует поступить?
sim-dev
Еще раз: нельзя в принципе допускать ситуацию «морального выбора». Спрашивать «в ж.пу дашь или мать продашь» не менее безнравственно, как и не спрашивая убивать.
Робот не должен оценивать моральность ситуации. Мораль — для человека. Робот в лучшем случае должен вести себя, ка человек, если не может иначе. А человек в момент критического выбора говорит «да поможет мне Бог» и поступает «как-нибудь». И тогда, если результат плохой, его наказывают. Как поступить в случае с роботом (кого наказывать) — это вопрос интересный, но не моральный. Закладывать в робота алгоритм, принимающий решение «жить кому-либо или умереть» — вот тут и есть главная аморальность, этого нельзя делать вообще. Лучше случайная смерть, чем преднамеренная.
По порядку.
1. Водителя нет, водитель — робот, его техническое состояние после аварии смертью назвать нельзя, и оно никого не беспокоит.
2. Есть третий вариант, который вы упускаете: рулить мимо, тормозя одновременно. Как говорят англичане, способов убить кота больше одного.
3. Как робот может гарантированно рассчитать, что пешеход не отпрыгнет, не убежит, что он вообще не Бетмен? Никак, это гарантировать нельзя. Пешеход может быть акробатом, каскадером, просто выброс адреналина у него может быть такой, что он на 4 метра подпрыгнет — история такие случаи знает, поэтому на 100% быть уверенным в его неизбежной смерти при экстренном торможении «заменителями тормозов» (как я упоминал) нельзя. Равно как нельзя с той же уверенностью считать, что погибнет пассажир — можно только предполагать и надеяться, что помогут пассивные меры безопасности (подушки, ремни, каркасы кузова и т.п.)
Именно это я и говорю: делать все, что возможно, в надежде на хороший исход. И не более того. Но ни в коем случае не вычислять, кто должен умереть. Мы ведь о моральном выборе говорим?
sophist
У меня складывается ощущение, что я говорю с троллем.
Да, мы говорим о моральном выборе. И поэтому рассматриваем абстрактную ситуацию, в которой ровно два исхода, а третьего нет. Не потому что третий невозможен в принципе, а потому что когда он есть, выбор очевиден, и проблемы не возникает.
И в этой ситуации с двумя исходами ваш подход — переложить ответственность на Бога — дает сбой. Бог возвращает вам ответственность, и становится ясно, что ответа у вас, на самом деле, нет.
Создавать ситуацию морального выбора, действительно, безнравственно. Но задаваться вопросом, как поступать, если она все-таки возникнет, вполне разумно.
sim-dev
Не надо ставить перед роботом неразрешимую задачу спасти всех, не надо ставить задачу выбрать жертву, надо дать ему перечень максимально эффективных в сложившейся ситуации инструментов уменьшить риск столкновения — и пусть действует! Корректирует траекторию «между» пешеходами, шкребет боковиной о стену, сигналит в иерихонскую трубу, идет в управляемый занос и т.п. — пусть ДЕЛАЕТ, а не ДУМАЕТ.
sophist
Ваш ответ ясен, но вы действительно не понимаете, что конфликт интересов зависит НЕ от робота?
sim-dev
Философствовать об абстрактном выборе — можно сколько угодно. Но роботу это не надо навязывать. Это потом в суде адвокат и обвинитель будут рассуждать, а тупая железка должна тупо тормозить и уворачиваться. Как-то так.
Eldhenn
> он должен останавливаться всеми способами
Косвенно калеча едущих позади. Нет уж, полумеры нам не нужны — в аварийной ситуации робот должен мгновенно эвакуировать пассажира в безопасное место — где бы оно ни находилось, а сам мгновенно исчезать.
wildlion
В каком месте Вы в роботизированной машине найдете заднюю передачу так, чтобы пытаться ей тормозить? Рычаг на R перевести и газу дать? Хрен получится, только после полной остановки и полного выжима педали тормоза… Какое торможение двигателем, если коробка вариатор, или автомат? Какой ручник? В Тесле Вы пока в менюшках будете шариться по поводу стояночного тормоза — переедете немало народа. Так что только вправо, на обочину, в кусты, а там как кривая вывезет. Не нужно свой опыт контр-аварийного вождения на ВАЗ 2106 переносить на высоко технологичные продукты.
sim-dev
Именно об этом я и говорю: вместо решения надуманных «моральных» проблем надо сосредоточенно думать о том, как в случае необходимости все вышеперечисленное включить. На то и разработчик, чтобы решить проблему торможения двигателем с коробкой автомат. А опыт ВАЗа нужно вкладывать в алгоритмы робота — у него мозги железные, он сможет воспользоваться, когда потребуется. В том и смысл, чтобы думать о реальном, а не пытаться разобраться с немыслимым…
Надеюсь, робот не будет тормозить по пунктам меню…
dzzh
Еще варианты:
— включить звуковой сигнал «я сломался, разбегайтесь»
— сообщить о неполадке соседним беспилотникам, один из которых вырулит перед сломанной машиной и оттормозит ее
Ugrum
— Ты едешь на машине по горной дороге. Делаешь поворот и вдруг видишь,
что перед тобой на дороге слева стоит бабушка, а справа — красивая
девушка. Кого давить будешь?
— Бабушку, — после продолжительной паузы ответил курсант.
— Дурак! Тормоз давить надо!
Hayate
Наверное годы не идут на пользу. Кстати человек идущий пешком не может набрать скорость достаточную для того чтобы погубить заблудившегося ребёнка. Задумайтесь о этом.
https://youtu.be/oupXLgqqR_U?t=1m14s
DrZlodberg
Ой да ладно!
Во первых легко наберёт. При «удачном» стечении обстоятельств и взрослого можно. С месяц назад спешившая на поезд тётка выскочив из-за угла снесла меня (не ребёнка!) с лестницы. Ногу не сломал чудом.
А во вторых некоторым особо крупным на ребёнка достаточно просто упасть.
Hayate
Ну можно придумать какое-нибудь другое утрирование, которое показывает двойные стандарты по отношению к одним вещам которые воспринимаются нормально (ну потому что просто привыкли), а другие вещи воспринимаются в штыки.
Что-то вроде «Готовы ли вы сказать отцу что у вас была веская причина вести машину быстрее 5 километров в час и убить его выскочившего на дорогу ребёнка — вы спешили в
Торонтона работу?». Ну и так далее.Invisibler
42
punpcklbw
Судя по всему, автор статьи не имеет представления о работе нейросетей и машинном обучении вообще. У компьютера может и не быть явной причины для действия, если применяемые алгоритмы стохастические и описывают только математическую базу самообучающейся системы. Тем не менее, приведённая ошибка указывает на явные пробелы в логике Watson (Торонто расположен вообще не в США, а в Канаде). Впрочем, продуктивность ИИ напрямую зависит от обучающей выборки, где-то может быть недообучение либо переобучение (overfitting), что приводит к ошибочным результатам.
akhmelev
Сейчас нет нейросетей без ошибок. Более того, именно наличие ошибок есть критерий отсутствия переобучения. Так что ИИ не просто способен на описанную в статье ситуацию, а это его технологическая особенность. Но постановка вопроса идиотская конечно. Сравнивать нужно статистику аварийности, а не рисовать сцены в двухлетими малышами и понурым ИИ за решеткой. И это блин даже не на гиктайме а на Хабре… омг
j_wayne
Как я понял посыл Дяди Боба:
Он не ратует за полный запрет робоавтомобилей.
Он не верит вот в это:
Слишком оптимистичны прогнозы. Любая трагедия — акции производителя падают и его душат законодательными ограничениями. Напоминаю, прогноз — «водители останутся без работы». Это значит, что беспилотников будут миллионы и ошибки будут масштабироваться.
Hayate
Дядя Боб должен понимать, что компаниям требуется привлекать инвестиции и это сделать проще сказав про 5 лет, а не про 20.
Vjatcheslav3345
Скорее всего судья, не являющийся программистом и основываясь на опыте применения "чёрных ящиков" в авиации, может решить, что разрабы автопилота — некомпетентные редиски. Они должны были спроектировать программу так, чтобы она могла показать не только конечный ответ "Торонто", но и сохранённую в "чёрном ящике" полную цепочку исходных данных и логического вывода, начиная с подачи ей на ввод сырой инфы с датчиков а также результатов обратной связи от исполнительной механики, выглядящую так, чтобы быть понимаемой человеком, в том числе и самим судьёй (т. е. — это д. б. текст лога и данные в форме текста) и точно соответствующую реальным вычислениям и действиям машины (своеобразную "запись мыслей робота"): если Х=55 м/с и У=6 градусов и текущая дата находится между… тогда: считаем по i-ой формуле из списка… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем… принимаем решение и выполняем следующее действие,… получаем новую входную информацию… считаем…
Кто то, возможно, сядет и это будет не автопилот.
hungry_ewok
>Со временем, произойдет неизбежная трагедия. Мы можем себе ее представить. Однажды, беспилотный автомобиль может сбить двухлетнего ребенка, заблудившегося на улице.
1. Аргумент из серии «вы что, не любите детей?» верный признак попытки навешать лапшу.
2. Беспилотный автомобиль не будет гонять со всей дури во дворе, где встречаются свободно бегающие дети.
Если же свободно бегающий двухлетний ребенок внезапно оказался на оживленной дороге — то все вопросы надо задавать его родителям и только им — какого х… они так за ним следят и воспитывают что он там оказался? Иначе по этой логике пора уже производителям кастрюль и чайников задавать вопросы «почему вы решили что этот ребенок должен умереть», после того как очередное бешеное дитятко на себя кипяток опрокинуло.
madkite
Так посыл как раз в том, что баги в ПО неизбежны и компьютер вполне себе может "гонять со всей дури во дворе", точно также как отвечать Торонто на вопрос про город в США. За примерами не надо даже к беспилотным автомобилям ходить, тут обычные довести до ума не могут. С другой стороны надо посчитать — ошибки то у компов будут другие, чем у людей, но в целом людей, может, гибнуть станет меньше.
robert_ayrapetyan
Неужели у кого-то могут быть сомнения в том, что на карте США не найдется место для города Торонто?
Amareis
Более того, в одном из этих Торонто есть даже мемориал, посвящённый мировой войне. Первой, правда, не второй, но всё равно уже можно хотя бы предположить почему всё же именно Торонто.
madkite
Какой-нибудь город то может и найдётся, а вот город с аэропортом, точнее с двумя… не уверен.
Jef239
Ну вот и слились у него 6 Торонто в один город.
hungry_ewok
>компьютер вполне себе может «гонять со всей дури во дворе»,
Компьютер только _может_. Если баг обойдет вшитое в его мозги распознавание разметки, знаков, а также дублирующие их GPS и карты. Причем ровно до тех пор, как баг не вылезет, потом — дебаг, добавление правил, апдейт, и больше не может.
А человеки — уже гоняет вовсю, и на одного который попался и лишен прав рождается еще десяток таких долбоклюев, которых воспитывать с нуля надо…
Jef239
Разметка не во всех дворах есть, как и знаки… GPS… ну, например, война в Сирии давала сбои GPS в Крыму. Могу подробно объяснить, при каких условиях «локальное» уменьшение точности GPS распространяется весьма далеко. Карты… знаете, не все новостройки есть на картах.
Так что остается только ИИ. И вот для ИИ ситуация 5 домов строится, один заселяется может быть распознана как «стройплощадка» или «промзона», а не как «жилой массив».
Долюоклюев — меньше процента в любом дворе. А вот сбой карты/программы/GPS… Представляете 100% машин, едут не так, как от них ожидаешь?
Помните у Перельмана про вероятность, что 100 человек подряд будут мужчины? И тут пошел полк солдат… и велосипед был проигран.
al_creator
Суть спора про выбор действий робота некорректен. Не стоит забывать, что есть глобальная разница в усвоении данных между роботом и человеком. Робота обучают, но подборку материалов осуществляют люди и ввиду этого неизбежны ошибки. Например я до статьи понятия не имел где Торонто, да мне вообще плевать на то, где он расположен. В подборке данных я вполне мог найти про Торонто информацию и устав от нудной работы просто не обратить внимания на мелочи, вот и появилась коллизия — есть Торонто в США, в нем мемориал, есть Торонто с двумя аэропортами — вывод все один и тот же город. Сами алгоритмы обучения я не видел в этом роботе, но они в любом случае не идеальны. Дело в том, что мы всю информацию пропускаем через свой опыт и чем он больше, тем меньше вероятность ошибки. У нас есть критическое мышление, но далеко не в любой области — где-то мы сильны, где наоборот.Мы же пытаемся сделать критическое мышление роботу без осознания информации и наработки опыта в жизни. Что-то вроде идеального коня- круглого и в вакууме, но предугадать все узкие места пока просто не можем. Любая роботизированная платформа всегда будет сохранять вероятность ошибки, только ошибка будет очевидна для нас, а не для него -с его точки зрения нарушения условий не было.