Teledyne объявила о приобретении Flir Systems, занимающейся тепловизорами. Сумма сделки составила 8 миллиардов долларов наличными и акциями, и она дала четкий сигнал всем автопроизводителям: тепловидение набирает обороты.

Этот шаг со стороны Teledyne хоть и несколько внезапен, не должен вызывать удивления.

2020 год научил нас тому, что ни в беспилотных автомобилях (многие из которых сейчас тестируются на публичных дорогах), ни в ADAS-решениях пока нет систем «зрения», которые работали бы в любых погодных условиях, в любой местности, на протяжении всего дня и в темноте.

С одной стороны, разработчикам беспилотных автомобилей удалось собрать объемные логи о поездках беспилотных автомобилей с посадкой и высадкой пассажиров в солнечной Аризоне, тест-драйвах в Флориде и круизах по центру Сан-Франциско (как правило машины заезжали только в определенные районы и только в определенное время). С другой стороны, никто не показывает роликов, в которых машины-роботы ездят в условиях тумана, дождя, снега, метели, низкой освещенности и в полной темноте.

Именно поэтому на рынке сейчас есть большие возможности для компаний, занимающихся датчиками – включая тепловизоры.

Сторонники тепловизоров (такие компании как Flir, Adasky и Foresight) встраивали свои решения как обязательные компоненты в наборы датчиков для продвинутых систем помощи водителю и беспилотных автомобилей. Некоторые тепловизоры были разработаны в качестве дополнительной функции для повышения комфорта езды, и в стандартную комплектацию не входили.

Фил Мэгни, основатель и президент VSI Labs сказал нам: «Самая удачная сфера применения камер с тепловизорами – распознавание пешеходов в условиях низкой освещенности» В настоящий момент ведомства, регулирующие нормы безопасности, еще не тестируют этот функционал, но как только к нему будут сформированы требования, в ADAS-решения сразу будут встроены камеры с тепловизорами".

В своем недавнем интервью EE Times Чак Гершман, генеральный директор Owl Autonomous Imaging (стартап из Рочестера, штат Нью-Йорк) сказал, что его компания присоединяется к гонке тепловизоров.

Компания Owl представила «молекулярный тепловизор, создающий изображения высокой четкости с трехмерной картой дальностей», пояснил Гершман.

На вопрос об особенностях этой технологии Гершман отметил, что решения от Flir, Adasky и Foresight выдают VGA-изображения, а не HD. Также решения от Flir и Adasky выдают двумерные изображения. Устройство от Foresight строит трехмерное изображение, но в системе используется четыре камеры. Owl утверждают, что в их системе используется только одна.

Ни одна из компаний-разработчиков не продвигает свои продукты как универсальные датчики для ADAS. Тем не менее, все они бросают вызов общим убеждениям о традиционных наборах датчиков. Многие считают, что в наборе по умолчанию хватит камеры видимого света и радара (возможен еще лидар, если пройдет по стоимости).

Сторонники тепловидения отмечают, что привлекательность этой технологии заключается в том, что она может повысить производительность ADAS-решений (и беспилотных автомобилей) в различных погодных условиях, включая пыль, смог, туман, дождь и снег.

Кто такие Owl

Owl – компания-новичок на рынке тепловизоров для автомобильного рынка. В компании трудятся 15 инженеров (некоторые из них раньше работали в Kodak и занимались разработкой технологии цифровой фотографии). Сейчас Owl готовится к инвестиционному раунду А.

Отмечая обширную домашнюю работу своего стартапа, Гершман сказал: «Нам нелегко было выйти на этот рынок».

Датчик от Owl работает в длинноволновом и среднем инфракрасном диапазоне (LWIR и MWIR) и полностью пассивен. Как и в случае с другими тепловизорами, это устройство основано на принципе, согласно которому все объекты излучают тепловую энергию. Как сказали бы инженеры из Owl, «у всех объектов есть уникальная тепловая сигнатура».

Другим же датчикам напротив, необходимы активные источники света/энергии. Так, например, камеры видимого света зависят от солнечного света, уличных фонарей или фар. Лидары посылают лазерные лучи и засекают энергию отражений для измерения времени полета. Радары посылают радиосигналы и замеряют их отражения.

Одно из явных преимуществ тепловизоров заключается в отсутствии необходимости полагаться на источники света для обнаружения объектов. Впрочем, возникает вопрос – насколько точно тепловизоры могут классифицировать объекты и фиксировать их скорость и расстояние до них.

Согласно заявлениям Owl, их устройство может делать все: обнаруживать объекты, распознавать их и определять их дальность/скорость днем, ночью и в любую погоду.

Основные компоненты тепловизора от Owl

Устройство от Owl состоит из трех компонентов: монокулярного тепловизора; чипа, который принимает фотоны, преобразует их в электроны и оцифровывает данные и мультиапертурной оптической линзы, которая в сочетании со сверточной нейронной сетью стоит трехмерную карту глубин.



Owl утверждает, что тепловизор компании может формировать данные о глубине и дальности с помощью одной камеры, не полагаясь на стереозрение.

Тепловизоры, формирующие трехмерные карты глубин

Для получения информации об удаленности объектов, Owl сделали несколько интересных вещей. Во-первых, мультиапертурный объектив камеры в тепловизоре захватывает разные перспективы одного и того же изображения. Используя методы вычислительной фотографии, датчик от Owl синтезирует цельное изображение для каждого кадра в потоке.

Во-вторых, для определения расстояния до объектов в датчике от Owl используется сверточная нейронная сеть. Вместо обучения сети на новых датасетах, основанных на изображениях с тепловизора (сбор данных для нескольких датасетов требует много времени), инженеры из Owl обучали сеть с помощью стереовидео применяя метод, который называется Transfer learning.

Как объяснил Гершман, «во время работы датчика используется как мультиапертурная оптика, так и наша предобученная нейронная сеть, которая позволяет оценивать смещения пикселей для вычисления расстояния. Также мы используем метод оптического потока, который работает посредством измерения смещений пикселей в кадрах». В конечном итоге, «сочетание этих методов позволяет нам оценивать удаленность объектов с помощью одной камеры».

На этом видео от Owl видно, как черно-белый видеопоток, получаемый с тепловизора, перекрывается цветной картой глубин, получаемой от нейросети.



На видео слева представлен отраслевой стандарт двумерной визуализации с прямоугольниками классификации объектов. На изображении справа представлен результат работы пассивного трехмерного тепловизора от Owl также с объектами, выделенными рамками. Исходное изображение выводится в черно-белом спектре, цвета накладываются в результате работы алгоритмов ИИ и отражают удаленность объектов в кадре. Для классификации объектов на обоих изображениях используется Yolo v5.

Гершман подчеркнул, что черно-белый видеопоток с тепловизора и трехмерная карта «генерируют одновременно», а затем объединяются. По его мнению, такие методы измерения дальности в сфере тепловидения «ранее не применялись».

Конечно, как признал Гершман, «оценка дальности объектов с помощью нескольких камер существует уже давно. Более того, оценка дальности с использованием одиночной камеры с помощью эталонов тоже не нова». Под «эталоном» Гершман подразумевает заранее определенный размер объекта в сцене. «Так, например, если я помещу одиночную камеру на переднюю часть поезда и заранее узнаю ширину путей, я смогу оценивать расстояние с помощью подсчета пикселей между ними, поскольку абсолютная ширина путей не меняется», – пояснил Гершман.

Трехмерный тепловизор от Owl, в свою очередь, использует для определения расстояния сверточную нейронную сеть. «Этот подход сравнительно нов», – отметил Гершман. Впервые он был представлен в академической литературе в сентябре 2016 года в статье под названием «Unsupervised Monocular Depth Estimation with Left-Right Consistency»

По словам Гершмана, Owl постоянно совершенствует свою нейросеть с помощью дополнительных итераций обучения.



На видео от Owl видно, что в тепловом потоке измеряется расстояние и распознаются велосипедисты, транспортные средства, пешеходы и припаркованные автомобили. В видеопотоке же наоборот, почти все эти объекты остаются нераспознанными. На изображении выше подробно разобраны некоторые из важных объектов. Обратите внимание на кадр с двумя велосипедистами (изображение вверху слева) и кадр с внедорожником и женщиной (слева внизу), снятые тепловизором от Owl и кадры, снятые обычной камерой (вверху и внизу справа).

Хоть Owl и не стремится вытеснить RGB-камеры и заменить их своими тепловизорами, Гершман утверждает, что тепловизоры их компании обеспечивает больший угол обзора.

«Дальность обзора RGB-камеры ограничена дальностью освещения ваших фар – примерно 40-50 метров, ширина освещенного участка равна ширине фар. Мы же хотим создать датчик с широким углом обзора – от 105 до 110 градусов».

Тепловизор от Owl против радара

В последнее время многие компании, занимающиеся радарами, говорят о собственных трехмерных и четырехмерных датчиках.

Признавая прогресс в этой области, Герман считает, что радары все еще генерируют изображения со слишком низким разрешением.

В разговорах о разрешении есть простая лакмусовая бумажка для проверки четырехмерных радаров. Предположим, что в поле зрения такого датчика попадет большой автомобиль. Затем рядом окажется человек. Ясно, что автомобиль больше и выше.

Проблема радара в том, что он увидит машину, а не человека. Из-за того, что радары посылают радиосигналы и обрабатывают их отражения, они скорее заметят автомобиль, потому что чем больше объект, тем больше энергии от него возвращается. Более слабый отклик, исходящий от меньшего и менее твердого объекта потеряется. «Именно поэтому радары считают шумными», сказал Гершман.

По сравнению с радарами, тепловизор от Owl создает менее зашумленные изображения более высокого разрешения.

Лидар против тепловизора от Owl

Мэгни скептически относится к качеству трехмерных изображений, генерируемых тепловизором от Owl, в контексте сравнения с лидарами. Он считает, что лидары «предельно точны», поскольку для расчета дальности они замеряют время полета лучей. Тепловизор от Owl, по его мнению, наоборот, просто делает оценку.

Здесь мы возвращаемся к изначальному вопросу: в чем реальное преимущество тепловизора от Owl перед лидаром?

Гершман из Owl считает, что «лидары создают разреженные облака точек, что делает обнаружение и классификацию мелких объектов на большом расстоянии ненадежной».

Также он добавил, что «Как правило точки в облаках лидаров имеют довольно хорошую точность – порядка 10 см. Однако эта точность основана на возвращаемом наборе точек. Поскольку лидары формируют разреженные облака, объекты на большом расстоянии могут быть не задеты лучами, а значит не будут замечены».

По словам Гершмана, плотное облако точек, генерируемое датчиком от Owl позволяет получать информацию об удаленности больших и малых объектов даже на большом расстоянии, что позволяет активировать экстренное торможения для предотвращения контакта с пешеходами, велосипедистами и животными.

Впрочем, Гершман также отметил, что цель продвижения их датчика не в том, чтобы вытеснить или заменить камеры или радары. «Наша цель — дополнить существующие датчики», – резюмировал он.

Почему OEM-производители настроены прохладно

Несмотря на все очевидные преимущества тепловизоров (работа в любую погоду, в условиях низкой освещенности и при ее полном отсутствии), «OEM-производители настроены к ним весьма прохладно», отметил Мэгни.

«Во-первых, эти датчики дороги». Аргумент стоимости также применим к автопроизводителям, которые не хотят добавлять лидары в свои ADAS-решения.

По словам Гершмана, Owl ведет переговоры примерно с 40 компаниями. включая Tier-1 и OEM-производителей, которые уже тестируют прототипы устройств от Owl. Также он добавил, что «в первой половине 2021 года компания запустит еще ряд пилотных проектов».

Новая и улучшенная версия устройства должна выйти в середине 2021 года. Отметив, что новая версия будет стоить дешевле нынешней. Гершман сказал, что Owl рассчитывает продавать свои тепловизионные камеры «в период с 2023 по 2025 год по цене 200 долларов».

Мэгни отметил, что вторая причина скепсиса со стороны OEM-производителей заключается в сложности установки. «Тепловизор нельзя установить за лобовым стеклом. Оптические свойства стекла не позволят датчику работать корректно, а значит для него нужно найти другое место. Как правило, в таких случая речь идет о крыше».

Гершман согласился. «Наш датчик не может быть установлен за лобовым стеклом. Лобовое стекло либо слегка опускается, либо линия крыши приподнимается вокруг камеры». Впрочем, он отметил, что датчик от Owl (который умещается на ладони) может быть установлен внутри фары. «Пластик позволит передавать и получать тепловую энергию».

---

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive