Симулятор Nvidia

Грубо говоря, существует два направления в сертификации автомобилей. В США популярна самосертификация. Публикуется стандарт безопасности, и производители заявляют, что их продукт ему удовлетворяет. Если возникает проблема, и выясняется, что они солгали, то они сталкиваются с дополнительной юридической ответственностью.

Европейцы склоняются к другому подходу, известному как омологация, в котором правительство или утвержденное им стороннее агентство по проведению испытаний удостоверяют, что транспортное средство соответствует стандартам.

В реальной жизни мы зачастую сталкиваемся с комбинацией этих подходов. Так, например, в США внешние краш-тесты проводят как NHTSA (государственное учреждение), так и институт страхования и безопасности автомобильных дорог. Таким образом была получена рейтинговая система NCAP. Европа приняла эту рейтинговую систему и она стала ключевым способом сертификации безопасности. Соответствие NCAP является добровольным, но производители автомобилей считают, что если они не заработают звезды NCAP, это сильно скажется на продажах, так что на самом деле это не так уж и добровольно.

Сторонники каждого из методов считают другой подход безумным. Это особенно верно, когда речь идет о беспилотных автомобилях, которые не подчиняются множеству старых правил.

На конференции по графическим ускорителям от Nvidia в среду представители AVL, крупной европейской частной испытательной лаборатории и крупнейшей частной компании в автомобильной промышленности, выдвинули свое представление о том, как они могут тестировать и сертифицировать беспилотные автомобили.

Это был некоторый план испытаний, которые многие могли себе представить, и он включал в себя следующие пункты:

• Тестирование вживую, проводимое на частном полигоне
• Тестирование программно-аппаратной модуляцией с добавлением случайной выборки сценариев из богатой библиотеки уже известных тестов, включая тестирование экстремальных ситуаций, которые нелегко проверить в реальном мире.
• Некоторые тесты на дорогах общего пользования

Европейцы выразили мнение, что более старый американский подход, который включает в себя самосертификацию по стандарту функциональной безопасности ISO 26262, а также обязательное соответствие федеральному стандарту безопасности транспортных средств и добровольному рейтингу NCAP, является неверным. Все другие виды транспорта проходят испытания и сертификацию, проводимые государственным надзорным органом. Они также заявили, что недавние 737 аварий показывают, что происходит при неправильном подходе, поэтому они хотят большей сертификации с более строгим соблюдением стандартов.

Это не единственный подход, предложенный в Европе. Нидерландское сертификационное агентство RWB предложило своего рода программное водительское удостоверение, которое больше будет похоже на экзамен по вождению, чем на сертификацию по списку параметров.

Проверки человеческого вождения ужасны

Любой набор стандартизированных тестов будет покрывать лишь малую долю того, что должно быть проверено. Тяжело представить, что может быть иначе. Примером является получение водительских прав, особенно в США. Этот тест едва ли покрывает что-либо, и водители-подростки с ужасным уровнем знаний его рутинно проходят. Мы соглашаемся с этим потому что считаем, что люди по своей сути знают, как делать некоторые вещи, не доказывая это в тестах, и потому что мы не хотим делать тест слишком сложным. Но в некоторых странах все намного сложнее.

Рассмотрим лидера отрасли, Waymo. Машины Waymo уже проехали 15 миллионов тестовых миль. Также они записали около 10 миллиардов «миль» в симуляциях. (Кроме того, в отличие от настоящих миль, которые в 99.9% случаев представляют собой обычное скучное вождение, мили в симуляции представляют из себя особые ситуации, предназначенные для нагрузки на программное обеспечение).

Но несмотря на все это, Waymo едва ли готовы безопасно выпускать свои автомобили на дороги. В прошлом году они объявили, что к концу года будут работать в режиме реального времени, и что они уже эксплуатируют транспортные средства, в которых нет водителя, или устройства с монитором безопасности, которое не может перехватить управление.
На самом деле, они реализовали лишь малую часть автономных операций, а их коммерческие услуги очень ограничены (моя теория заключается в том, что авария с автомобилем компании Uber снизила общественную терпимость и заставила Waymo вести себя более консервативно).

Впрочем, дело в том, что даже после всех этих испытаний (которых было проведено в тысячи раз больше чем в любой исследовательской лаборатории) Waymo все еще не уверены, что они уже готовы к выпуску, хотя есть ощущение, что они уже близки. Повторюсь, в тысячи раз больше испытаний.

Сертификационная лаборатория в лучшем случае подтвердила бы, что тестируемый автомобиль соответствует всем базовым требованиям. Это будет означать, что команда разработчиков не халатна или не испытывает нехватку экспертизы. Это важно и ценно, но не подтверждает, что автомобиль готов выехать на дороги без присмотра. Автомобиль Uber, возможно, не прошел бы такой тест, но они и не пытались сертифицировать его для беспилотной или коммерческой эксплуатации. Это был только прототип, который, возможно, управлялся небрежным водителем.

Таким образом, процесс сертификации будет и дорогим, и трудоемким, и едва ли полезным. Слишком большой объем бюрократии и нехватка реальной проверки безопасности – не очень хороший набор.

Симуляция для сертификации

Стандартизированные тесты, особенно симуляции, плохо подходят для сертификации. Все потому что производители будут хотеть и получать доступ к сценариями симуляций. Производители хотят проверять свои машины на этих сценариях заранее, и если какой-то из тестов не будет пройден, то в машину внесут исправления. Производители не будут сдавать машину на сертификацию, пока она не получит отличную оценку во всех тестах. Это заставляет производителей улучшать свои машины, но не дает информации о качестве этих автомобилей. Мы лишь знаем, что они проходят те тесты, которые должны пройти.



Симулированная улица дождливым днем.

Вы не узнаете насколько качественно сделан автомобиль, если будете проверять его на тестах, которые он уже видел. Вы узнаете насколько он хорош, когда проведете тонну тестов, которые этот автомобиль видит впервые, и когда увидите насколько хорошо он с ними справляется. Только так вы сможете узнать, насколько хорошо этот автомобиль может справиться с бесконечным количеством новых ситуаций, с которыми он столкнется в реальном мире.

Единственный способ действительно испытать автомобиль — это проверить его в сложных ситуациях, которых он никогда не видел прежде. Как только ситуация появляется в каком-либо из тестов, поставщики узнают об этом и помещают его в свои собственные тестовые подборки. Это означает, что орган по сертификации должен постоянно предлагать большое количество новых, осмысленных и реалистичных тестов. Существует великое множество различных вариантов тестовых ситуаций, а в случае беспилотных автомобилей краевые случаи могут быть найдены даже посреди улицы, но есть некоторые ограничения.

Регулирующие органы должны обновлять тесты на регулярной основе. Многие автопроизводители будут часто выпускать новые версии программного обеспечения. Во время тестирования они и вовсе выпускают новые версии каждый день. Когда машины будут выпущены в производство, обновления все равно будут выходить примерно раз в месяц, а при обнаружении ошибок безопасности – еще чаще. Ежемесячно проводить новые тесты для каждой из компаний непрактично. Можно легко на регулярной основе создавать сценарии моделирования, которые являются вариациями уже существующих, но необходимы реалистичные тесты, которые похожи на то, что может произойти в реальном мире. Вы не хотите совершить ошибку или передать в производство машину, основываясь только на том, как она справляется с ситуациями, которые никогда не произойдут.

Стоит также отметить, что те миллиарды миль в симуляции, которые проехали автомобили Waymo, совсем не похожи на симуляторы от AVL или те, которые были показаны Nvidia. Они представляют собой полноценные симуляторы, требующие распознавания визуальной информации, которые пытаются создавать виртуальный мир в стиле видеоигр, затем подают программному обеспечению автомобиля искусственное изображение с камер, сканы лидаров и данные радаров, после чего дают компьютеру пробовать управлять виртуальной машиной. Есть три разных уровня тестирования, которые стараются симулировать как можно больше данных, чтобы максимально проверить работу машины.

Эти симуляции полезны, но намного быстрее делать симуляции, работающие с информацией, которую не нужно распознавать. В этом подходе вы не создаете видимый виртуальный мир, вместо этого вы создаете его базовое представление. Симулятор знает где находятся все объекты на абстрактном уровне, но не отображает их для распознавания программой. Вместо этого тесты опускаются на один уровень ниже и заменяют систему восприятия на модуль, который сообщает ту же информацию, что и замененная система. Например, он может сообщить, что с вероятностью 85% в определенном направлении едет машина, или что в определенной зоне с вероятностью 90% находится пешеход. В таких симуляциях проверятся то, что машина получает всю эту информацию. Это лишь частичное тестирование, но оно настолько быстрее, что таким образом вы можете провести гораздо больше тестов. Необходимо использовать комбинации разных методов, но большинство тестовых миль будут пройдены в тестах с пост-восприятием, и, как я понимаю, миллиарды тестовых миль автомобилей Waymo были получены именно таким образом.

Тесты, требующие распознавания, или симуляции с визуализацией, выглядят намного лучше в качестве демонстраций, поскольку они предлагают реалистичную картинку в стиле видеоигр, которая нравится людям. Они хороши для тестирования всех аспектов автомобиля, включая системы восприятия, но проблема в том, что они проверяют работу машины в искусственном, а не настоящем мире. Вполне возможно, что система будет очень хорошо распознавать виртуальных игровых пешеходов, но не очень хорошо справляться с настоящими в реальном мире. Эта ситуация будет означать, что вы получили неверную информацию из симуляции такого типа.

Проверяющие из государственных структур идут еще дальше. Они используют 3 вида симуляций с визуальным отображением:

• Базовая симуляция, в которой вы просто запускаете автомобильное программное обеспечение на компьютере, компьютер генерирует искусственные изображения с датчиков и позволяет управлять виртуальной машиной с помощью программных команд.
• Программно-аппаратная модуляция, в которой реальный автомобиль подключается к компьютеру с симуляцией, который старается вести себя как настоящие датчики и автомобиль для бортового компьютера реальной машины.
• Аппаратное моделирование реальной езды, где автомобиль помещается на роликовый стенд, на котором автомобиль может прокручивать колеса. Этот стенд находится в большом помещении, в котором роботы переделаны так, чтобы быть похожими на машины и пешеходов и двигаются вокруг стенда, симулируя поведение объектов из реального мира. В идеале должны использоваться настоящие датчики, хотя может быть необходимо использовать искусственные камеру и радар. В случае с камерами, вы можете просто направить их на зафиксированный экран.

Все эти варианты звучат хорошо, хотя номер 3 невозможен в некоторых случаях (например для автомобиля Waymo, который определяет свое положение по освещенной лазером текстуре дороги, масштабируемой под его колесами и пользуется рядом других сложных датчиков). Однако все эти варианты медленные, дорогие и страдают от описанных выше проблем. Они должны работать в режиме реального времени, что на самом деле может быть большим ограничением по сравнению с обычным тестированием или тестированием без отображения, которое может быть масштабировано для выполнения серьезных объемов необходимого тестирования.

Аутсайдеры не знают как проводить испытания

В случае со сторонней лабораторией, проведение испытаний без визуализациии сильно отличается. Они могут проводиться только в тесном сотрудничестве с командой разработки автомобиля. Правда в том, что команда знает как тестировать свой автомобиль лучше, чем кто-либо другой. Кроме того, поскольку эти команды разрабатывают совершенно новые способы обеспечения безопасности, которые не существовали ранее, люди со стороны могут не иметь возможности полностью разобраться в системах безопасности тестируемого автомобиля. Стандарты могут определять только прописные истины и уже существующие лучшие методики. Они не подразумевают инноваций. Не существует понятного теста для проверки качества инноваций в области безопасности. Для этого вам придется придумывать новый тест.

Все это не дает четкого представления о важности лабораторного подхода к тестированию, но это не значит, что он не важен. Такой подход может установить минимальные тестовые требования, и разработчики беспилотных автомобилей будут заключать контракты с тестирующими компаниями и пользоваться их услугами, чтобы понять, что их автомобили удовлетворяют этим самым минимальным требованиям. А также контракты могут заключаться для того, чтобы поднимать уровень качества выше минимальных требований.

Тест, предложенный AVL, однако, не дал бы достаточно информации. Беспилотный автомобиль может пройти эти тесты и все равно иметь серьезные проблемы и создавать большой риск. Единственный способ минимизировать этот риск – проведение тестов, которые были разработаны производителем автомобиля, а также тестирование на реальных дорогах в различных ситуациях. Необходимо убедиться, что интересы производителя совпадают с интересами общества, и что существуют сильные причины не мошенничать, не лгать и не допускать халатности. Это все еще не решенная проблема, но на нее обращено достаточно много внимания.

---

Читать еще полезные статьи:

• Камеры или лазеры
• Автономные автомобили на open source
• McKinsey: переосмысляем софт и архитектуру электроники в automotive
• Очередная война операционок уже идет под капотом автомобилей
• Программный код в автомобиле
• В современном автомобиле строк кода больше чем…