Лидары и камеры — два стандартных элемента конфигурации практически любого робомобиля. Как первые, так и вторые работают с отражаемым светом. Камеры при этом работают в пассивном режиме, то есть ловят отражение сторонних источников освещения, а вот лидары генерируют лазерные импульсы, измеряя затем «ответку», отраженную от близлежащих объектов. Камеры формируют двумерную картинку, а лидары — объемную, нечто вроде «облака точек».
Компания Ouster разработала гибридное устройство, которое работает как камера, так и как лидар. Называется эта система OS-1. У этого девайса апертура больше, чем у большинства зеркалок, при этом сенсор, созданный компанией, очень чувствительный.
Изображения, получаемые системой, состоят из трех слоев. Первый — это изображение, полученное как бы обычной камерой. Второе — «лазерный» слой, полученный с использованием отражения луча лазера. И третий — это «глубинный» слой, который позволяет оценивать расстояние между отдельными пикселями первых двух слоев.
Стоит отметить, что у изображений по-прежнему есть существенные ограничения. Во-первых, это изображения низкого разрешения. Во-вторых, они черно-белые, не цветные. В-третьих, лидар работает не с видимым источником света, он имеет дело со спектром, близким к инфракрасному.
В настоящий момент стоимость лидара достаточно высокая — около $12 000. На первый взгляд, смысла в системе, которая получает изображения более низкого разрешения, чем стандартные камеры, а стоит, как чугунный мост, нет. Но разработчики утверждают, что здесь используется иной принцип работы, чем в обычном случае.
Это графические материалы, предоставленные компанией Ouster. Здесь показаны три слоя изображений и общая «картинка», что получается в результате
В обычной ситуации робомобили совмещают данные с нескольких различных источников, что требует времени. Камеры и лидары работают в разных режимах, результат работы — тоже разный. Кроме того, они обычно смонтированы в различных местах корпуса автомобиля, так что компьютеру приходится еще и заниматься корреляцией изображений, чтобы они были совместимы. Более того, сенсоры требуют регулярной рекалибровки, что сделать не так просто.
Некоторые разработчики лидаров уже пробовали совмещать камеру с лидаром. Но результаты получались не очень. Это была система «стандартная камера+лидар», что не слишком отличалось от существующих схем.
Ouster вместо этого использует систему, позволяющую OS-1 собирать все данные в одном стандарте и из одного положения. Все три слоя изображения превосходно коррелируют, как во времени, так и в пространстве. При этом компьютер понимает, какое расстояние между отдельными пикселями финального изображения.
По словам авторов проекта, именно такая схема практически идеальна для машинного обучения. Для компьютерных систем обработка такого рода изображений не представляет особого труда. «Скормив» системе несколько сотен снимков, ее можно обучить точно понимать, что изображено на финальной «картинке».
Некоторые разновидности нейронных сетей спроектированы таким образом, чтобы без проблем работать с мультислоями пиксельных карт. Кроме того, изображения могут содержать красный, синий и зеленый слой. Обучить такие системы работать с результатом работы OS-1 не составляет особенного труда. Компания Ouster уже решила эту задачу.
В качестве исходного материала они взяли несколько нейросетей, которые разработаны для распознавания RGB-изображений, и модифицировали их под свои нужды, научив работать с разными слоями своих изображений. Обработка данных ведется на оборудовании с Nvidia GTX 1060. При помощи нейросетей компьютер автомобиля научили «раскрашивать» дорогу в желтый цвет, а потенциальные препятствия — другие автомобили — в красный.
По мнению разработчиков, их система является дополнением к уже существующим, а не заменой. Лучше всего совмещать разного рода датчики, сенсоры, камеры, лидары и гибридные системы для формирования четкой картины окружающей среды, которая поможет автомобилю ориентироваться.
Zmiy666
дороговато выходит… камера по цене б/у теслы. На эти деньги можно личного водителя нанять на весь срок действия гарантии на авто…
Интересно, а можно вывернуть идею со зрением робомобилей на изнанку… например сделать так, чтоб автомобиль ориентировался по данным с уличных камер… их же дофига кругом… таким образом он будет видеть не только то, что видит водитель но и все траектории всех объектов в радиусе действия сотен камер на улице. Конечно вне города автомобиль не сможет ехать на автопилоте, но зато в городе он станет безопаснее и практически без увеличения цены самого автомобиля, ведь его будет вести удаленный ИИ…
BlackMokona
Только это потребует единых стандартов между странами и триллионных вложений в инфраструктуру. Против которых будет масса протестов водителей не пользующихся автопилотом но вынужденных со своих налогов оплачивать это изобилие.
200sx_Pilot
Начать с автобусов.
Электрических.
Их меньше, они больше.
Маршруты и расписания постоянны.
Нарубить статистику, а затем двигать дальше.
Метро как-то работает ведь…
BlackMokona
Так это не отменяет потребности тратить огромные деньги для мизерного процента. Вы просто уменьшили и вложения фиксировав маршруты но и уменьшили число пользователей системы
Zmiy666
ну большая часть инфраструктуры для такого уже готова — камеры и так всюду натыканы, частные, государственные… почти все крупные улицы Питера например полностью покрыты камерами так, что скрыться от них нельзя. А по дворам автобусы не ездят. Тут скорее вопрос в ИИ который будет обрабатывать записи в реальном времени, отслеживая объекты…
roscomtheend
И у каждой свой стандарт, приведение к единой базе будет уже стоить немало, и это не считая задержек радиосигналов (и уязвимостей, шутка про S в слове camera).
Alex_ME
Примерно 800к рублей. Столько стоит и обычный лидар Velodyne VLP-16
DGN
Это может быть только дополнением. Как и данные с других машин. Которых может не быть, а ехать надо.
AllexIn
Это где вы нашли БУ теслу за 12 000?
Bedal
old_gamer
Подозреваю, что даже это дороже 12К. По крайней мере, если там батарейка на месте.
hardegor
А цифры-то есть, или это обычный пиар? Разрешение, частота кадров, чувствительность и т.д.
slovak
Стоит упомянуть, что это перевод.
nouhau
Лидар + камера, хм, = интересная штука
3Dvideo
Вежливо замечу, что идея скрестить сравнительно медленный лидар со сравнительно быстрой камерой давняя. Например, половина эффекта камеры Lytro Cinema, сделанной в 2016 году был лидар, который они скрестили с пленоптической камерой (у которой, если на то пошло апертура тоже зашкаливает). В начале 2017 они поставили на камеру два более новых лидара, в 10 раз подняв количество точек и улучшив характеристики 3D камеры. А весной 2018 их купил Google и чем история дальше закончится — вопрос открытый )
Также еще с давних пор почти все Structured Light камеры, например, MS Kinect существенно повышали свои характеристики именно за счет скрещивания RGB картинки и разреженного поля с сенсора глубины. А это, никого не хочу обидеть, массовый продукт 2010 года. Т.е. все соображения про то, что если в одной железке объединить будет лучше — правильные, только это уже придумано, реализовано и даже успешно продано )
В общем — товарищи из Ouster с помпой двинули хорошо известную идею.
Ну и как занимающегося нейросетями всегда радует фразы типа «По словам авторов проекта, именно такая схема практически идеальна для машинного обучения». Чем именно идеальна, простите? )
Именно такие фразы практически идеальны, чтобы толкнуть какую угодно схему журналистам так, чтобы они массово разнесли новость )))
Характерно, что при этом полностью отсутствуют хотя бы минимальные сравнения с конкурирующими решениями. Хотя бы со старыми… Хотя бы с открытыми…
Понятно, что Ouster образовались 2 года назад и пора радовать инвесторов: www.crunchbase.com/organization/ouster, а то они рискуют пополнить печальную статистику закрывшихся стартапов BayArea, но смысл такое переводить?
Ну, господа, и если переводили — можно было сохранить возможность посмотреть первую картинку в большом разрешении, и вторую с анимацией.
safari2012
в вольве с адаптивным круизом (АСС), вроде как, уже ставят лидары (правдв, не круговые, а узконаправленные) и камеры. в 2015г. ACC стоил примерно 100к рублей.
fido25080205
Приведу аналогию с автомобильными фарами — поначалу, когда только начиналась автомобилизация, фара была прожектором, корторому требовалось светить как можно ярче и дальше. А сейчас фара может быть довольно сложной конструкцией с камерами и «мозгами», только чтобы светить ярче и дальше, не ослепляя других участников движения.
Теперь радары, лидары и прочее излучающее хозяйство — представим, что на дороге ВСЕ автомобили, включая припаркованные по сторонам дороги, херачат в пространство лучами, сугубо одновременно — скажем, в радиусе действия одновременно пилит сотня лидаров. Какая там будет трехмерная картина сформирована у каждого из них?