Эксперты по безопасности из McAfee провели исследование систем помощи водителю (ADAS) электромобиля Tesla и сумели их обмануть, заставив разогнаться авто на 50 миль в час выше допустимой скорости. Об этом говорится в их блоге на сайте McAfee.
Исследование проводили еще осенью 2019 года, однако его результаты эксперты опубликовали только сейчас, спустя три месяца после передачи информации Tesla и MobilEye, которая предоставляет оборудование и софт для электромобилей.
Эксперты пытались смоделировать ситуации, в которых камеры, установленные на Tesla, считывали бы информацию с дорожных знаков неправильно. Для этого использовались светоотражающие наклейки разных цветов и форм. Их клеили на знаки в разных местах и под разными углами, чтобы запутать системы помощи водителя и заставить их «увидеть» ошибочную информацию. При этом исследователи отмечают, что изучали только реакцию камер на знаках ограничения скорости — причина этому в том, что современные ADAS пока не предусматривают таких функций, как автоматическое торможение автомобиля до полной остановки.
«Мы понимаем, что камера MobilEye используется для определения предела скорости, отображения его на дисплее в салоне электромобиля и, возможно, будет использоваться автопилотом для автоматического снижения скорости. Поэтому мы изучали только ограничительные знаки», — говорится в блоге.
Эксперты заставили систему помощи водителю в Tesla Model S и Tesla Model X с помощью четырёх наклеек распознать знак ограничения скорости до 35 миль в час как аналогичный знак, только показывающий 85 миль. Затем исследователи начали постепенно снимать наклейки, чтобы определить момент, когда камера идентифицирует значение правильно. В конечном итоге на знаке остался только кусок чёрной изоленты, однако система по-прежнему видела 85 миль в час вместо 35.
Кроме того, эксперты начали изучать, могут ли показания камеры влиять на механические функции автомобиля. На одном из форумов выяснилось, что автоматический круиз-контроль Tesla теоретически может использовать знаки ограничения скорости в качестве входных данных для установки скорости автомобиля. Однако, как отмечается в блоге, среди участников форума возникла путаница, поэтому эксперты изучили техническую документацию Tesla. Оказалось, что созданная Tesla в 2014 году технология Speed Assist может полагаться на показания ADAS и таким образом сама повышать скорость автомобиля, уверяют исследователи из McAfee.
Отмечается, что тесты проводились на более ранних версиях системы контроля камеры MobilEye (аппаратный пакет Tesla 1, версия EyeQ3 mobilEye). McAfee провели аналогичные исследования и на автомобилях 2020 года и не смогли получить ошибочные данные камеры, хотя тестирование и было очень ограниченным. По заверениям экспертов, MobilEye действительно работают над решением этой проблемы.
В конце января аспирант Университета Бен-Гуриона Бен Насси под руководством профессора Ювала Эловичи смог обмануть автопилот Tesla с помощью беспилотников и проекторов с батарейным питанием. Студент имитировал спуфинговые атаки благодаря разнице между распознаванием изображений человеком и ИИ — спроектированные им изображения не запутали бы типичного человека водителя.
Согласно опросу 2019 года, почти половина водителей считают, что при использовании автопилота можно безопасно снимать руки руля. Кроме того, 6% ответили, что при таком вождении можно даже вздремнуть. При этом в самой Tesla отмечают, что автопилот пригоден к использованию только, если водитель полностью сосредоточен на дороге — современные системы не превращают автомобиль в полностью автономное средство, а только помогает владельцу.
staticmain
Налепить кусок изоленты, который на скорости не каждый водитель сможет отличить от оригинального знака — это «обманули автопилот»?
BlackMokona
Следующая новость.
Автопилот Теслы заставили нарушить скорость путём жесткой сцепки с грузовиком который разогнал машину выше положеного!
Nova_Logic
странно что не было новости о преышении скорости теслой, которую отправили в космос
Bedal
вот да, не хватает контрольной группы — водятлов-человеков, которые безошибочно проехали при залепленных всякой фигнёй знаках. Причём фигнёй отражающей, ярче знаков.
Nagg
Нормально там всё видно и вообще ничего общего с 8, к тому же в США нет знаков 85 нигде, к тому же такие знаки ставят обычно по какой-то причине: город, ремонт и т.п. и адекватная нейронная сеть = мозг явно бы не топила гашетку. Это всё показатели насколько мы далеко от полного автопилота.
Порой мне кажется, что если тесла просто так задавит людей на переходе на красный, то ее все равно будут защищать аргументами "человек бы тоже не увидел" -_-.
staticmain
Я сидя перед монитором с минуту пытался понять что не так со знаком «85» на третьей картинке, пока не понял, что это 35. А водителю нужно сделать то же самое за пару секунд в слепящее солнце или туманный вечер.
А каждый водитель в США знает какие знаки вообще существуют? А знак «419.9» существует? А «68.9»?
Nagg
Не обязан, но если это не какой-то хайвэй то такого ограничения скорости не может быть в принципе нигде в мире, достаточно чуть-чуть применить логическое мышление, а текущий автопилот теслы походу даже на проселочной радостно поедет если его обманут через незаметный adversarial images. Это почти 140кмч.
Если у вас возникли трудности с распознаванием знака (напоминаю, скорость можно набирать только после проезда знака, т.е. вы будете видеть его в упор) то скорее всего вам нельзя за руль с таким зрением.
А вообще когда лично у меня сомнения правильно ли я увидел знак я обычно выбираю скорость потока или следую с предыдущей скоростью хотя бы.
NBAH79
ахаха представил себе как будут развлекаться пацаны из окрестных деревень около шоссе, где будут проезжать автоматические грузовики (вспомнил анекдот про юбилей Москва 850)