Национальная администрация безопасности дорожного движения (NHTSA) крупно рискует своей репутацией после разгромного отчёта, который опубликовала маленькая исследовательская и консалтинговая фирма под названием Quality Control Systems. Этот отчёт посвящён анализу доклада NHTSA от 2017 года, в результате которого чиновники выяснили, что автопилот Tesla снижает риск попасть в ДТП на 40% (диаграмма выше).
Отчёт опубликован только сейчас, почти через два года. Quality Control Systems пришлось подать в суд на NHTSA, чтобы в соответствии с законом «О свободе информации» получить данные, лежащие в основе выводов агентства.
В своём докладе QCS говорит о недостатках методологии NHTSA, которые достаточно серьёзны, чтобы полностью дискредитировать 40-процентную цифру, которую Tesla несколько раз цитировала за последние два года, подчёркивая пользу автопилота для безопасности.
NHTSA изучила безопасность автопилота после аварии со смертельным исходом владельца Tesla Джошуа Брауна в 2016 году. Автопилот, а точнее функция поддержания полосы Autosteer, была активна во время аварии, и Браун проигнорировал несколько предупреждений, чтобы положить руки обратно на рулевое колесо. Критики задались вопросом, может автопилот снижает безопасность, стимулируя водителя меньше внимания уделять дороге?
Однако NHTSA выяснила, что на самом деле Autosteer снизил аварийность на 40%, так что всё в порядке. Tesla цитировала эту цифру в своём блоге, где приводила аргументы в защиту технологии. Через несколько недель Илон Маск даже ругал репортёров, которые «зациклились» на авариях Tesla, а не рассказывают о том, что автопилот объективно делает вождение более безопасным.
Как выясняется, доводы Илона Маска могли возникнуть в результате фатальной ошибки экспертов Tesla в подсчёте статистики.
В чём суть, если вкратце. Как NHTSA оценивала безопасность транспорта? Самым понятным и логичным способом. Они запросили у Tesla полную статистику по всем автомобилям, проданным между 2014 и 2016 годами, и посчитали коэффициент аварийности до и после установки Autosteer.
Методику выбрали такую: взяли количество аварий до установки автопилота и поделили на количество пройденных миль до активации Autosteer. Аналогично, взяли количество аварий после установки автопилота и тоже поделили на количество пройденных миль после активации Autosteer.
Всего Tesla предоставила данные по 43 781 автомобилю.
Проблема только в том, что в таблице от Tesla по большинству автомобилей данные неполные. Например, не указано, в какой момент на автомобиле был активирован Autosteer. Оказалось, что по 29 051 автомобилю в базе отсутствуют необходимые поля для проведения таких вычислений.
NHTSA при подсчёте посчитала все эти автомобили как на 100% оснащённые Autosteer, словно они ни одной мили не проехали перед активацией этой функции. Однако 18 ДТП, которые произошли с участием этих автомобилей, занесены в статистику до Autosteer, а это более 20% из всех 86 аварий, которые произошли с автомобилями Tesla без функции Autosteer!
Совершенно очевидно, что такой серьёзный перекос в подсчёте итоговой статистики сильно сдвинул результат в пользу безопасности Autosteer. Насколько сильно — неизвестно. Мы не можем посчитать реальные данные по всей выборке, поскольку бoльшая часть данных повреждена. Однако QCS провела аналогичные вычисления для 5714 автомобилей, по которым была полная информация одометра «до Autosteer» и «после Autosteer» без зазора между этими двумя пунктами (это ещё один недостаток базы Tesla: во многих автомобилях эти две цифры не совпадали). Так вот, на нормальной выборке подсчёт показал, что аварийность после установки Autosteer увеличилась на 59%. Хотя и это нельзя считать объективной цифрой, потому что 5714 машин представляют слишком малую часть автопарка Tesla и нет способа понять, являются ли они репрезентативной выборкой.
Судя по всему, NHTSA давно заметила свою ошибку, просто стеснялась в ней признаться. Ещё в мае прошлого года ведомство дистанцировалось от собственного отчёта, назвав его «беглым сравнением», которое «не оценивает эффективность технологии Autosteer».
Почему они так долго отказывались передать QCS исходные данные для повторной экспертизы? Ведь запрос на информацию был отослан в феврале 2017 года, примерно через месяц после публикации оригинального отчёта. Агентство не могло сразу выдать информацию потому, что компания Tesla заявила о конфиденциальности данных.
Только в ходе судебного разбирательства суд отверг аргументы NHTSA о конфиденциальности статистики и приказал рассекретить информацию.
Комментарии (116)
Igor_Shumilov
19.02.2019 00:46+1«Есть ложь, наглая ложь и статистика» (с) Марк Твен
А анализировались ли последствия аварий на автопилоте и без него?
Человеческие ошибки приводят к ДТП вида «отпустил педаль тормоза на светофоре и притёр машину спереди». А ошибка автопилота может привести к «не распознал кузов грузовика как препятствие и проехал сквозь него не снижая скорости».
Первых аварий может быть сто, а вторых пять на одинаковый пробег. Но фактически безопасней будут первые.Ogra
19.02.2019 05:11Рассматриваются только аварии, при которых сработала подушка безопасности. На мой взгляд, достаточно неплохой критерий для оценки именно безопасности.
KonkovVladimir
19.02.2019 05:41А на мой взгляд — лучшим критерием является «Средний километраж до ДТП со смертельным исходом» для США это примерно 150 млн км.
ГрафикOgra
19.02.2019 06:11Ну блин, вы уж определитесь, что вы хотите — большую выборку, или лучший критерий. Потому что сейчас по Теслам получить и то и то ну никак не представляется возможным.
KonkovVladimir
19.02.2019 07:18Да любую выборку — главное error bars нарисуйте, подтверждение 0-й гипотезы тоже является значимым результатом.
red_perez
19.02.2019 12:41А на мой взгляд — лучшим критерием является «Средний километраж до ДТП со смертельным исходом»
Количество смертей находится зависимости например от доступности и качества мед помощи, то есть критерий не дает однозначности трактования.KonkovVladimir
19.02.2019 14:06Вы хотите сказать, что если в США на одной и той же улице разбился обычный автомобиль и Tesla, то в последнем случае приезжают какие-то особенные врачи?
А вот что отвечает Алан Маск по поводу количества смертей
twitter.com/elonmusk/status/996112995636858880, у Теслы оно таки в 4 раза меньше.red_perez
19.02.2019 14:40Вы хотите сказать, что если в США на одной и той же улице разбился обычный автомобиль и Tesla
В этом и заключается противоречие: если на одной улице
Я беру карту США со смертями и беру карту распределения владельцев Тесла и вижу что разбиваются и умирают в бедных штатах а владельцы Теслы живут в богатых штатах.
Карты под спойлеромLissov
19.02.2019 16:32у Теслы оно таки в 4 раза меньше
Меньше среднего по стране. Было бы интересно сравнить со статистикой автомобилей похожего возраста и ценовой категории. А то может оказаться, что любая машина с подушками, АБС, датчиком пристёгивания ремня, выпущенная после 2010 года будет в 4 раза безопаснее, чем более старая машина без всего этого. А может и нет.KonkovVladimir
20.02.2019 06:01Ну так а кто вам мешает, берите за точку отсчета средне-статичтический автомобиль, если Тесла его лучше в 4 раза, а автомобиль выпущенный после 2010 года в 3 раза, то сразу ясно кто есть кто.
Можно ранжировать все типы и категории автомобилей на этой шкале.
Вот если взять Авто-ваз то до повышения цены его нужно было сравнивать с одной категорией автомобилей, а после повышения с другой — и он по вашему автоматически становится «менее надежным» просто в силу повышения цены.Lissov
20.02.2019 16:49Ну так а кто вам мешает, берите за точку отсчета
Мешает то, что у меня нет доступа к такой статистике. Если у меня есть 70к, то меня не интересует предлагаемое мне сравнение со среднестатистическим авто, а то что меня интересует — не предлагают.
Вот если взять Авто-ваз то до повышения цены его нужно было сравнивать с одной категорией автомобилей, а после повышения с другой
Совершенно верно. Если Автоваз стал стоить как Тесла или Мерседес, но при этом не стал надёжнее/безопаснее, то он таки в разы хуже однокласников и покупать его никто не будет. Хотя по текущей цене это вполне конкурентноспособная машина.
ainoneko
19.02.2019 19:43+1А ещё есть двусмысленные заголовки: до конца первого абзаца я думал, что NHTSA как-то порочила Теслу (утверждала, что автопилот плохой), но облажалась на математике (в чём-то другом), поэтому ей не верят и про Теслу.
TrueMaker
19.02.2019 06:51Не знаю как статистика у них работает, но Tesla с Autopilot 2.5 меня уже 2 раза спасала от аварий. Первый раз было резкое аварийное торможение и машина остановилась не врезавшись в машину впереди раньше, чем я вообще понял, что произошло. Второй раз, какой-то чудный водитель пикапа пытался перестроится в мою полосу, Тесла резко выехала на обочину резко сбросив скорость, на этом этапе я уже перехватил управление и вернулся назад на полосу.
grondek
19.02.2019 07:56>> Первый раз было резкое аварийное торможение и машина остановилась не врезавшись в машину впереди раньше, чем я вообще понял, что произошло
Надо держать дистанцию и не щелкать клювом — это лично ваш косяк.
>> Тесла резко выехала на обочину резко сбросив скорость
А вот так делать нельзя, последствия могли быть намного хуже, чем если бы вы впечатались в зад пикапа.TrueMaker
19.02.2019 08:04Согласен с первым, мой косяк в некотором смысле, но был спасён. И машина которая остановилась впереди меня остановилась об другую машину практически мгновенно, не знаю какую дистанцию я должен был держать.
Во втором случае не согласен, эта обочина используется для аварийных остановок в обычном случае. Там нормальное асфальтированное покрытие и вполне можно остановится если что-то случится.grondek
19.02.2019 09:05Дистанция грубо половина скорости в метрах + немного. Это на хорошем асфальте летом.
Все равно, чтобы уходить от столкновения надо четко понимать, что там куда ты уходишь все хорошо, нет помех, и покрытие однородное. Если tesla видела ситуацию на обочине — отлично, если тупо отворачивала от опасности, то поведение надо дорабатывать.striver
19.02.2019 10:12
TimsTims
Ну вот и еще одним скандалом попахивает.
Прямо как скандал с выхлопными газами: все производители автомобилей врут, даже Тесла.
Пророчу уровень 2: Тесла начинает предоставлять ограниченную статистику и только по самому безопасному региону, где приятней всего статистика.
Уровень 3: Тесла нагло манипулирует данными, подменяя одно на другое.
striver
Уровень 0: выдаем отчет по безопасности ежеквартально.
mk2
Уровень -1: и в этом отчете найдут ошибки
striver
Ну, они подписывают эти данные, с ними можно идти в суд… и откусить не слабый кусок черной икры.
mk2
Сначала надо у Теслы получить сырые данные, на основе которых они делают свой отчёт. А с этим будут проблемы, у них нет никакой обязанности их давать.
BlackMokona
Так пусть запросит для начала
Dee3
Финансовые аналитики пророчат уровень «дно» — из компании в последний год ушло много топов, особенно связанных с финансами. Если в этом году компания выживет — возможно и ваше пророчество сбудется
BlackMokona
Финансовые аналитики каждый год это пророчат, а Тесла ударными темпами растёт
ggreminder
Всё так и есть, только манипуляции это не отменяет.
Я очень радею за подвижки в этой области, только не нужно выдавать желаемое за действительное.
Тесла в поквартальном отчёте не раскрывает аварийность по компонентам, а выше речь шла только про Autosteer (а не про весь «автопилот»).
striver
Ну, каждый находит нужные ему данные.
lingvo
А в обсуждаемом отчете NHTSA вообще шла речь о airbag deployment crash rate. О чем тут можно судить?
Lissov
Если я правильно понимаю английский, то речь идёт о критерии что называть аварией. С точки зрения «безопасности автопилота» звучит логично. Во-первых, нас не интересуют аварии вида «зацепил столбик на парковке» или «поцарапал ключом дверь». Во-вторых, срабатывание подушки однозначно видно по телеметрии.
rsashka
vvzvlad
fixed