«Figures never lie, but liars always figure.»
«Скажи мне, какую сторону ты поддерживаешь, и я предоставлю статистику в поддержку твоей точки зрения»
2016 Tesla Model S 70D с Автопилотом (фото: Sam Abuelsamid)
Варианты вышеприведенных цитат существуют многие годы и их происхождение неизвестно. Но в обеих идиомах есть большая доля правды. Обсуждается ли число безработных, рост экономики, результаты голосований или заявления о безопасности — прежде, чем воспринимать полученный ответ нужно определить, какой вопрос был задан. Разные вопросы могут дать совершенно разные ответы.
Это относится и к заявлениям о безопасности автоматизации транспорта, включая недавний пост в блоге компании Тесла, в котором было сказано о гибели Джошуа Брауна в столкновении с трейлером в начале мая, который ехал в своей Tesla Model S с активированный автопилотом. В заявлении Теслы сказано:
Это первый известный случай со смертельным исходом за более чем 130 миллионов миль, в которых был активирован Автопилот. Среди всех транспортных средств в США смертельные случаи происходят 1 раз на 94 миллиона миль
Как обычно, мы должны спросить: а на какой вопрос был дан ответ? На основании заявления компании Тесла можно предположить, что с момента появления автопилота в октябре 2015 год все автомобили моделей S и X в мире проехали 130 млн. миль. Если мы принимаем такое толкование, то мы также должны предположить, что во всем мире не было других инцидентов со смертельными случаями, о которых мы не знаем на данный момент. Учитывая, что Тесла собирает огромный объем телеметрии со своих автомобилей, поверим, что так и есть — на данный момент 1 смертельный случай на 130 млн. миль.
Экран опций Автопилота показывает, что все функции в бета-версии, хотя большинство пользователей, возможно, не понимают, что это значит (фото: Sam Abuelsamid)
А что же насчет 1 смертельного случая на 94 млн миль в США? Наилучшим источником подобной информации являются данные системы Fatality Analysis Reporting System (FARS) Министерства транспорта США, в которой представлены данные по ДТП по штатам и местным организациям для всего США. Эта система – восхитительный источник информации по ДТП и трендам. Поскольку данные за 2015 год были только предварительно оглашены, последние полные представленные данные есть за 2014 год, потому воспользуемся ими. В 2014 году жители США пропутешествовали 3,026 триллионов миль (прим. переводчика 3,026х10^12)) по дорогам и погибло за это время на дорогах 32 675 человек. Это означает примерно 1 смерть на 92 миллиона миль, немного хуже заявления Теслы, и 2015 год будет несколько хуже по этому показателю, так как погибло большее число мотоциклистов и пешеходов.
Анимация происходящего вокруг в панели инструментов с показом движущихся вокруг транспортных средств, но без указания пешеходов, велосипедистов или дорожных знаков (фото: Sam Abuelsamid)
Последнее очень важно, так как система FARS включает в себя данные всех смертей на дорогах, как в легковых автомобилях и грузовиках, так и те, которые произошли в случае ДТП автомобиля с другими участниками транспортного движения (мотоциклы, велосипеды или пешеходы). Насколько известно на сегодня, ни одна из машин оборудованных Автопилотом пока не сбила и не убила пешехода или велосипедиста. Потому компания Тесла по сути сравнивает два разных набора данных. В 2014 году 4 586 мотоциклистов и 5 813 пешеходов/велосипедистов погибли в результате ДТП в США.
Это оставляет 22 276 участников движения в автомобилях (водителей и пассажиров), которые погибли. Это число и следует, скорее всего, сравнивать с цифрой 1 смерть на 130 млн миль. В таком случае выходит одна смерть на 135,8 млн миль при управлении транспортным средством человеком. И по этой статистике живые водители водят лучше, чем компьютеры. Однако даже это, скорее всего, также не самое корректное сравнение. Каждая смерть — трагическая потеря, сегодняшние данные в 1 смерти на более чем 90 млн. миль фактически очень малая величина. Набор данных «всего одна смерть» недостаточен для статистически корректного суждения.
Эти 130 млн. миль звучат как огромное число в отрыве от реальности и в 87 раз больше, чем наезд тестового флота компании Google в Кремниевой долине и Остине, Техас. Однако это всего лишь 0,0043% от всего расстояния, что проехали транспортные средства в 2014 году. До появления большого числа данных (я не хочу, чтобы погибло больше людей, хотя это неизбежно на определенном суммарном числе поездок) слишком рано для каких-либо суждений о том, есть ли какой-то прогресс в вопросах безопасности.
Точно известно следующее — Тесла не сообщила о том, если ли у них данные о том, как часто водители вели себя не как Браун и обращали внимание на то, что Автопилот некорректно работал и не видел того, что должен был, и брали управление на себя. Если бы большинство водителей вели себя, как Джошуа Браун, считая машину полностью автономной, число жертв могло бы быть выше сейчас. Или нет. Для такого вывода просто недостаточно данных.
Я верю, что автоматические технологии вождения улучшатся со временем и уменьшат число аварий, травм, смертей и сопутствующих расходов. Я просто не убежден, что у нас есть такие данные сегодня, для подтверждения или опровержения этой информации.
Я также не убежден, что следует использовать людей как подопытных мышей, поскольку я не уверен, что их можно обеспечить адекватной информацией и обеспечить реальное информированное согласие от них. Даже если эти участники были проинформированы как следует, миллионы других людей на дорогах не давали согласие на то, чтобы быть частью эксперимента, а их жизни так же ценны для общества, как и жизни водителей автомобилей Тесла. Тот факт, что жизнь мистера Брауна была единственной утраченной в том инциденте являлось всего лишь случайным совпадением.
Автор является старшим аналитиком команды Transportation Efficiencies в Navigant Research.
Комментарии (35)
edd_k
24.07.2016 18:19+5Впечатление о ленте новостей за прошедшие сутки:
«Ехал Тесла через Теслу. Видит Тесла в Тесле Теслу!»
maestr086
24.07.2016 19:06+2О какой статистике можно вообще говорить, когда произошел всего один случай??
Число 130 млн миль говорит лишь о том, что не надо паниковать в духе «ааа, Тесла убивает людей!». Сравнивать аварийность можно будет при суммарном пробеге хотя бы в 10 раз больше.SilvioMenuel
25.07.2016 07:48Вот именно, о какой статистике можно говорить. Однако самой компании Тесла это не мешает утверждать, что езда с их автопилотом безопаснее, что не может являться правдой до тех пор, пока не приведены статистические доказательства. И не мешает им приводить статистику, которая не правдива, что показано в данной статье.
Видимо, просто кому-то очень нравится маркетинговая лапша, которую вешают им на уши.
И да, я не против прогресса, я только двумя руками за разработку автопилотов, однако, как и автор оригинальной статьи в Forbes, считаю, что тестирование сырой версии продукта на реальных пользователях просто недопустимо в столь ответственной с точки зрения безопасности области, как вождение автомобиля. И такую маркетинговую политику (а это именно маркетинг — выпуск сырого продукта, но главное первыми, чтобы был инфоповод), считаю также недопустимой. Ну, и помимо этого, я вообще против фанбойства.Kanut79
25.07.2016 10:27+1Точно так же как ничто не мешает «критикам» делать из единственного смертельного случая мировую катастрофу и сообщать о нём во всех СМИ. Давайте тогда уж говорить о всех смертях связанных с автомобилями и каждый раз указывать марку и производителя.
Так что лапшу на уши вешают все и всем. Тесла в данном случае просто «играет по правилам». Так что «blame the game, not the player».
П.С. И я так посмотрю что Вы может и против фанбойства, но вот хейтерство Вам вполне по душе :)
saboteur_kiev
25.07.2016 00:08Я не думаю, что эти данные можно так прямо сравнивать.
1. Если сравнить мотоцикл и легковое авто, то процент смертности между этими двумя видами транспорта сильно отличается, вдобавок мотоциклы в принципе не могут быть оборудованы такой системой защиты как авто.
2. Если посмотреть на http://www-fars.nhtsa.dot.gov/States/StatesCrashesAndAllVictims.aspx, то можно увидеть большую разницу в процентах между разными штатами.
Думаю Tesla имеет смысл сравнивать с другими легковыми авто, а не брать среднее по больнице между автобусами, мотоциклами, грузовиками, пешеходами.Mad__Max
26.07.2016 01:10По хорошему действительно нужно бы вычесть смертельные случаи для мотоциклистов, но в этом случае тогда и весь пробег пройденный мотоциклами за год обязательно нужно из общего пробега тоже убрать. А не как этот писака сделал — вычел смерти среди мотоциклистов, пешеходов и велосипедистов из общего уровня смертности, а вот пробег оставил полный по всем видам транспорта (>3 триллионов миль) чтобы натянуть данные на нужные ему вывод.
А пешеходов и велосипедистов из статистики вообще нельзя исключать — они от столкновений друг с другом или разбившись о неподвижное препятствие не погибают. Их сбивают насмерть именно машины, даже если виновником ДТП был сам пешеход.
Так что
«Figures never lie, but liars always figure.»
«Скажи мне, какую сторону ты поддерживаешь, и я предоставлю статистику в поддержку твоей точки зрения»
в первую очередь он сам про себя писал.
Если в цифре у Тесла просто недостаточно точные данные / слишком упрощенный подход (не учитываются тонкости типа более высокой смертности мотоциклистов в ДТП). То у него уже явная подтасовка данных/манипулирование.idiv
26.07.2016 10:21>>Так что
>>«Figures never lie, but liars always figure.»
>>«Скажи мне, какую сторону ты поддерживаешь, и я предоставлю статистику в поддержку твоей точки зрения»
>>в первую очередь он сам про себя писал.
>>Если в цифре у Тесла просто недостаточно точные данные / слишком упрощенный подход (не учитываются тонкости типа более высокой смертности мотоциклистов в ДТП). То у него уже явная подтасовка данных/манипулирование.
Да-да. У Теслы «неточные данные», а у автора статьи «подтасовка данных». Почему не там и не там подтасовка данных? Они же посчитали, к примеру, случаи «мотоциклист с неподвижным препятствием» или снегоходы.
old_bear
25.07.2016 12:12+1Откровенно говоря, я так и не понял почему тот факт, что Тесла не сбила ни одного пешехода и велосипедиста (и случай из вступления статьи показывает, что в этом может быть заслуга автопилота), трактуется автором как повод исключить из сравнения статистику по пешеходам и велосипедистам.
ssneg
25.07.2016 13:32+1Химия цифр не лжет, но лгуны всегда химичат с цифрами :)
old_bear
25.07.2016 15:05+1Да тут не «химичат», а откровенно врут. :)
Это же шедевр:
«Насколько известно на сегодня, ни одна из машин оборудованных Автопилотом пока не сбила и не убила пешехода или велосипедиста. Потому компания Тесла по сути сравнивает два разных набора данных.»
С какого перепугу нулевая статистика происшествий с пешеходо-велосепидистами у Теслы вдруг стала «разным набором данных» по сравнению с ненулевой статистикой у прочих автомобилей?
И далее:
«Это оставляет 22 276 участников движения в автомобилях (водителей и пассажиров), которые погибли. Это число и следует, скорее всего, сравнивать с цифрой 1 смерть на 130 млн миль.»
Типовая подмена понятий. А после страховочного «скорее всего» можно смело эту подмену эксплуатировать небезосновательно надеясь, что читающий эту подмену уже не вспомнит.old_bear
25.07.2016 15:11Упс, я сильно извиняюсь. Зашёл в профиль автора и наблюдаю:
О себе: Не сторонник «Церкви свидетелей Маска»
так что можно было и не писать предыдущий комментарий, :)
idiv
25.07.2016 21:27>>С какого перепугу нулевая статистика происшествий с пешеходо-велосепидистами у Теслы вдруг стала «разным набором данных» по сравнению с ненулевой статистикой у прочих автомобилей?
А как можно считать столкновение мотоциклиста с деревом при учете безопасности Автопилота компании Тесла? Не поделитесь подходом?old_bear
25.07.2016 22:09> так и те, которые произошли в случае ДТП автомобиля с другими участниками транспортного движения (мотоциклы, велосипеды или пешеходы)
Где вы в своём, вполне правильном, переводе прочитали про столкновение мотоциклиста с деревом? Не поделитесь ли подходом? :)idiv
26.07.2016 10:15>>Где вы в своём, вполне правильном, переводе прочитали про столкновение мотоциклиста с деревом? Не поделитесь ли подходом? :)
Вы вообще не поняли статью. Он использовал аналогичный подход, как и Тесла — перекрутил данные для получения нужного результата. Он об этом в выводе пишет.
Та система, на которую он дает ссылки, содержит огромную базу данных, ее можно просмотреть.
Например, на странице http://www-fars.nhtsa.dot.gov/Vehicles/VehiclesLocation.aspx указано про ДТП, произошедшие с одним транспортным средством и двумя и более. Случай с Теслой явно относится к случаю «с двумя и более», т.е. уже их подход несколько спорный.
Дальше, на странице http://www-fars.nhtsa.dot.gov/Vehicles/VehiclesMotorcycles.aspx указано, что 1189 мотоциклистов погибли при столкновении с неподвижным объектом. Их явно считать Тесле нельзя было, но они их учли.
http://www-fars.nhtsa.dot.gov/Crashes/CrashesTime.aspx — 26 тысяч из 29 тысяч ДТП произошли при нормальных условиях, не в дождь или снег, когда Автопилот не работает. Тоже нельзя учитывать.
http://www-fars.nhtsa.dot.gov/Vehicles/VehiclesAllVehicles.aspx — здесь указано, что в статистике есть такие средства, как Snowmobile, Golf Cart,Other vehicle type (includes go-cart, fork-lift, city street sweeper, dune/swamp buggy, golf cart). Их тоже обе стороны не учли.
Потому да, он тоже перекрутил, но почему-то такое же перекручивание от Теслы вызывает возмущение в стиле «а в Америке негров линчуют», а здесь «Тесла хорошая, то автор плохой», хотя там лапши регулярно навешивают.old_bear
26.07.2016 12:20Если честно, то мне лень копаться в той статистике, поэтому я попридираюсь к вашим передёргиваниям. :)
>ДТП, произошедшие с одним транспортным средством и двумя и более. Случай с Теслой явно относится к случаю «с двумя и более»
Не вижу никакого «явно». Про какой случай вы говорите, про не сбитого пешехода из письма во вступлении? Там нет никаких «двух и более». Ровно также не относятся сюда те гипотетические случаи, когда автопилот не дал машине уехать в кювет, например. Т.е. вы тут передёргиваете пытаясь подсунуть ваше слово «явно» вместо фактов.
>26 тысяч из 29 тысяч ДТП произошли при нормальных условиях, не в дождь или снег, когда Автопилот не работает. Тоже нельзя учитывать.
На каком основании вы делаете заключение, что автопилот не работает в сложных условиях? Решение о его работе принимает водитель и он может принять это решение как в простых так и в сложных условиях. Мало того, сама Тесла позиционирует свой автопилот как помощь водителю, которая лучше всего работает при типовых условиях (разделительная полоса и т.п.). Таким образом вы опять выдаёте свои измышления за факт.
>здесь указано, что в статистике есть такие средства, как Snowmobile, Golf Cart,Other vehicle type (includes go-cart, fork-lift, city street sweeper, dune/swamp buggy, golf cart). Их тоже обе стороны не учли.
И? Тот факт что «обе стороны не учли» в чём то уличает одну из этих сторон — Теслу? :)
>Потому да, он тоже перекрутил, но почему-то такое же перекручивание от Теслы вызывает возмущение в стиле «а в Америке негров линчуют», а здесь «Тесла хорошая, то автор плохой», хотя там лапши регулярно навешивают.
Я одинаково плохо отношусь к искажению фактов и подмене их всяческой демагогией, независимо от того, кто этим занимается. Но хочу поделиться с вами одним наблюдением из своей жизни. Почему то люди, которые провозгласили своей целью борьбу с «сектами», довольно часто используют для этой борьбы те же или даже ещё худшие методы, чем эти самые «секты». При этом они считают, что их благородная цель вполне оправдывает эти методы и искренне недоумевают (а часто и проявляют агрессию) когда видят непонимание этих методов окружающими. Сочетание подписи в вашем профиле и вашего подхода к сожалению снова подтверждает мои слова, по крайней мере частично.idiv
27.07.2016 08:28>>Если честно, то мне лень копаться в той статистике, поэтому я попридираюсь к вашим передёргиваниям. :)
Вы еще и не в курсе, о чем речь в целом и о каких ДТП речь.
>>>ДТП, произошедшие с одним транспортным средством и двумя и более. Случай с Теслой явно относится к случаю «с двумя и более»
>>Не вижу никакого «явно». Про какой случай вы говорите, про не сбитого пешехода из письма во вступлении? Там нет никаких «двух и более». Ровно также не относятся сюда те гипотетические случаи, когда автопилот не дал машине уехать в кювет, например. Т.е. вы тут передёргиваете пытаясь подсунуть ваше слово «явно» вместо фактов.
Тесла делала свое заявление про 1 случай на 130 млн миль касательно ДТП, когда Тесла въехала под трейлер, который разворачивался. Там снесло крышу автомобилю. Статистика, в которой вам лень разбираться — по таким случаям.
Про пешехода — в статье выше было сказано, что Тесла в принципе неспособна отличить пешехода или велосипедиста, на что последовал ответ компании с письмом о «пешеход распознается в виде автомобиля». Это как раз не очень хорошо, автомобиль где-то раза в 4 шире пешехода, это не нормальная работа датчика. Повезло, в общем.
>>На каком основании вы делаете заключение, что автопилот не работает в сложных условиях?
Здесь, на ГТ, были неоднократные комментарии с цитатами про это из инструкции к машине. Также есть видео на ютюб, где видно, что в снег машина просто перестает видеть разметку.
>>Мало того, сама Тесла позиционирует свой автопилот как помощь водителю, которая лучше всего работает при типовых условиях (разделительная полоса и т.п.). Таким образом вы опять выдаёте свои измышления за факт.
Не типовых, а тепличных. По недавнему ДТП, когда Тесла на автопилоте въехала в ограду вдоль дороги, было сказано, что Автопилот работает только на хайвеях, с разделительной полосой, а там просто была загородная дорога по одной полосе в каждую сторону. А это гораздо более частое и типичное — разделение сплошной разметкой. Но там Автопилот не очень хорошо работает. Про это тоже есть статья на ГТ.
>>И? Тот факт что «обе стороны не учли» в чём то уличает одну из этих сторон — Теслу? :)
В статье выше сделан вывод, что выводы делать просто нельзя. Раз Тесла сделала — да, это ее уличает в перекручивании статистики. Могли бы сравнивать с числом ДТП хотя бы на загородных трассах (условия от города сильно отличаются).
>>Я одинаково плохо отношусь к искажению фактов и подмене их всяческой демагогией, независимо от того, кто этим занимается.
Почему же вы с улыбкой относитесь к перекручиванию фактов компанией Тесла? Кроме того, вы даже не хотите с фактами ознакомиться, и уже делаете выводы при перекручивание с обоих сторон.
Priapus
>В 2014 году жители США пропутешествовали 3,026 биллионов миль
По-русски биллион называется миллиардом.
Ну и в целом, очень забавно видеть в примечании «автопилот спас пешехода» и в самой статье «нужно выкинуть из статистики пешеходов». Кручу, верчу…
Kh_artem
Так прекрасная же иллюстрация написанного в статье, всё зависит от вопроса. Он задал другой вопрос, и получил противоположный ответ. А если серьёзно то проверка статистических гипотез в данном случае нам подсказывает что 1 случай, это не статистика, так что статистику ещё набирать и набирать.
Но вообще даже в теории автопилот должен быть безопасней чем человек, ибо автопилот никогда не устаёт, ни на что не отвлекается и никогда не сядет пьяным за руль (конечно при условии что он всегда будет в исправном состоянии).
pianomaster
>>ибо автопилот никогда не устаёт, ни на что не отвлекается и никогда не сядет пьяным за руль
Напомнило.
— Я смотрела, как Джон играл с роботом. И я поняла, что Терминатор никогда не остановится. Он никогда не покинет его, никогда не сделает ему больно, никогда не закричит на него, не напьётся, не ударит его и не скажет: «Я слишком занят и у меня нет времени на тебя». Он всегда будет рядом, и он умрёт, чтобы защитить его. Из всех отцов, когда-либо рождавшихся на Земле, этот робот был единственным достойным кандидатом на это место. В нашем безумном мире это был бы самый разумный выбор.
idiv
>>По-русски биллион называется миллиардом.
Даже в википедии сказано, что это миллиард или триллион (10 в 9 или 10 в 12 степени). В случае статьи — триллион (10 в 12 степени), я специально указал степень.
>>Ну и в целом, очень забавно видеть в примечании «автопилот спас пешехода» и в самой статье «нужно выкинуть из статистики пешеходов».
Статистика Теслы по жертвам сравнивается со статистикой смерти сидящих в автомобиле. Это основное в статье.
Примечание к тому, что это как раз отлично идет по порядку:
1. Сначала замечательная статистика от Теслы
2. Ответ-статья на Форбс, что статистика в общем-то ни о чем, а машина даже пешехода распознать не может.
3. «Письмо в редакцию от читателя» с текстом, «а у меня чудом распознало».
EndUser
То есть в США/России в «короткой шкале» «биллион=10e12»? Точно не в «длинной»?
idiv
Так в статье использована длинная шкала, потому счел нужным в переводе использовать ее же. А так да, рекомендовано в официальных заявлениях биллион как миллион миллионов, или 10 в 12.
Просто же проверяется 3,026*10^12 / 32 675 = 92,6*10^6.
Это кстати и ответ Priapus, почему сразу не написать триллион — потому что есть еще и длинная шкала (это тоже есть в Википедии).
Да, разу уже сделал ссылку на второго комментатора:
>>Я читал статью и считаю, что это подтасовка и игра числами.
Точно такая же, как и у Теслы. Или только им можно?
>>Если автопилот способен предотвратить гибель любого участника дорожного движения (а он должен быть способен, иначе зачем он нужен)
Нет, не способен. В статье выше (вы же читали?) написано, что ни пешеходов не сидит, ни знаки, ни велосипедистов.
wormball
Я вам открою секрет. Языки различаются не только названиями для миллиардов, но и десятичными разделителями. В частности, в Америке для отделения дробной части используют точку, а запятую — для разделения тысяч. А в России запятой, напротив, отделяют дробную часть, а тысячи разделяют либо пробелом, либо ничем (хоть и в школе зачем-то говорят, что надо это делать точкой). Стало быть, 3,026 billion — это 3026 миллиардов, а billion — один миллиард.
idiv
В статье оригинальной написано 3.026 trillion (с точкой) и число жертв за это расстояние — 32,675 (с запятой).
Кстати, статью исправили, так как я могу писать только раз в неделю, то копировал текст к себе в редактор, там у меня было именно что биллион. Теперь естественно, что я исправлю на триллион.
wormball
> В статье оригинальной написано 3.026 trillion
Тогда тем более непонятно, откуда вы биллион взяли? Так бы и писали — 3 триллиона.
idiv
>>Тогда тем более непонятно, откуда вы биллион взяли? Так бы и писали — 3 триллиона.
Вы второе предложение моего комментария читали?
Priapus
Даже в википедии сказано:
>в России[1], название «биллион» не используется, а числа с 9 и 12 нулями называются соответственно «миллиард» и «триллион».
>В случае статьи — триллион (10 в 12 степени), я специально указал степень.
Почему сразу не написать «триллион»? В России термин «биллион» не используется, в США, откуда родом тесла, используется короткая шкала и термин значит «миллиард», но вы решили добавить туману и написать степень. Кстати, я изначально подумал, что с указанием степени вы просто ошиблись, но не стал заострять на этом внимание. Зачем так делать перевод, вы хотите донести информацию или покрасоваться?
>Статистика Теслы по жертвам сравнивается со статистикой смерти сидящих в автомобиле. Это основное в статье.
Я читал статью и считаю, что это подтасовка и игра числами. Если автопилот способен предотвратить гибель любого участника дорожного движения (а он должен быть способен, иначе зачем он нужен), учитывать нужно все смерти, кроме случаев, не связанных непосредственно с дорожным движением (если Вася пристрелил Петю на дороге, эту смерть в расчет не берем).
Mad__Max
Только когда рано или поздно Тесла едущая на автопилоте все-таки собъет насмерть пешехода или велосипедиста вы вместе с другими «разоблачителями» Теслы не забудьте дружно написать что «это не считается» тоже. Потому что сейчас их не учитываете.
Иначе см. крестик — трусы.
Однако уверен — сразу же кинетесь строчить и эту смерть в статистику приплюсуете.
Единственная разумная мысль во всей статье — 130 млн миль это все еще слишком маленькая статистика, чтобы делать какие-либо обоснованные выводы — как положительные так и отрицательные о надежности/безопасности.