Подписывайтесь на каналы:
@AutomotiveRu — новости автоиндустрии, железо и психология вождения
@TeslaHackers — сообщество российских Tesla-хакеров, прокат и обучение дрифту на Tesla
Транспортные средства, которые могут ездить куда угодно, при любых погодных или дорожных условиях – мечта индустрии беспилотного транспорта. В той или иной степени, современные автопроизводители способны создавать такие автомобили. Однако и сейчас, и в обозримом будущем, ни одна компания не гарантирует универсальность своего решения.
Современный беспилотный транспорт имеет множество ограничений. Робо-такси, например, могут работать только на участках. ограниченных геозонами. Развертывание услуг робо-такси происходит постепенно, "по одному городу за раз", — отметил Эгиль Юлиуссен.
Аналогичным образом, эксперты в области безопасности считают, что ODD (Operational Design Domain) имеет решающее значение для обеспечения безопасности самоходных автомобилей. ODD — это «модель условий, с которыми беспилотные автомобили будут иметь дело», объяснил Фил Купман (Phil Koopman), технический директор компании Edge Case Research. В реальном мире, однако, «несмотря на все усилия конструкторов», беспилотный транспорт всегда может оказаться за рамками своего ODD, предостерег он.
«Так, если ODD — это „Пустынный Лас-Вегас“, то система может быть спроектирована в основном для сухой погоды или, возможно, для легкого дождя», сказал Купман. «Но на самом деле в Вегасе время от времени идет дождь, а иногда даже снег. В день, когда пойдет снег, автомобиль окажется за пределами своего ODD».
TriEye – тель-авивский разработчик технологии SWIR. Компания заявляет, что ее приоритетом является решение проблем, связанных с низкой видимостью, с которыми должна бороться автомобильная промышленность.
На прошлой неделе компания TriEye объявила, что Denso, японская компания первого уровня, стоящая 47,6 миллиардов долларов, проводит оценку Sparrow – инженерного образца TriEye, построенного по технологии SWIR. Ранее в этом году компания TriEye также сообщила о своих отношениях с компанией Porsche.
Учитывая, что TriEye точно не объявляет о победе разработок Denso, не вполне понятно, что компания TriEye имела в виду под «оценкой Denso».
Зив Ливне, вице-президент по развитию бизнеса компании TriEye, рассказал EE Times следующее: «К сожалению, мы не имеем права раскрывать дальнейшую информацию относительно процесса сотрудничества и оценки, за исключением того, что уже было упомянуто в объявлении. TriEye и Denso разделяют взгляды на повышение безопасности дорожного движения путем вывода на рынок самых передовых технологий, и мы с нетерпением ждем возможности воплотить эти идеи в жизнь».
Но возможность публично называть имена (речь об именах компаний уровня Denso) добавляет доверия к усилиям TriEye в области развития. В своем пресс-релизе TriEye подразумевает, что сотрудничество с Denso включает в себя изучение опыта Denso на рынке, а также использование их «инновационного подхода».
В последнее время все больше компаний рассматривают использование инфракрасных камер в наборе датчиков в своих беспилотных транспортных средствах – в значительной степени потому, что транспортные средства должны иметь возможность видеть в темноте.
Компания TriEye использует уникальные физические свойства спектра коротковолнового инфракрасного излучения. Поскольку этот спектр может обнаружить уникальную спектральную характеристику, присущую химическим и физическим характеристикам каждого материала, компания TriEye утверждает, что их устройства могут не только видеть объекты в любых погодных условиях и при разном освещении, но и заранее идентифицировать дорожную опасность (например, гололед).
Мир знает о преимуществах коротковолнового инфракрасного спектра на протяжении десятилетий, в частности, благодаря использованию SWIR-камер в военной и аэрокосмической отраслях. Однако эта технология не была представлена на массовом рынке из-за чрезвычайно высокой стоимости арсенида галлия индия (InGaAs), необходимого для создания таких устройств. Однако компания TriEye утверждает, что нашла способ создать SWIR-камеру, используя технологию CMOS.
Прошлой осенью в интервью EE Times Ави Бакал (Avi Bakal), генеральный директор и соучредитель компании TriEye, рассказал нам об этом: «Мы совершили прорыв. Как и в случае с полупроводниками, мы используем CMOS для крупносерийного производства SWIR-камер с первого дня». Бакал также сказал, что «по сравнению с сенсором на InGaAs, стоящим более 8000 долларов, камера TriEye будет предлагаться „за десятки долларов“».
Несмотря на то, что стартап в целом ориентирован на ADAS, TriEye, похоже, также готова выйти за рамки автомобильной промышленности.
В своем последнем пресс-релизе компания TriEye отметила, что «уже поставила образцы системы Sparrow своим неавтомобильным клиентам, что позволяет им воспользоваться возможностями технологии SWIR в продуктах компании TriEye, чтобы выйти за рамки видимого и решать сложные отраслевые задачи». Однако компания не уточнила, какие именно приложения совместимы с ее SWIR-камерами.
Компания TriEye надеется решить проблемы низкой видимости на дороге с помощью вывода недорогих и доступных SWIR-камер на мировой массовый рынок. В то время как выпуск Sparrow был назван «важной вехой», массовому рынку придется подождать некоторое время – Sparrow остается инженерным образцом. По словам Ливне, настоящим тузом TriEye является готовящаяся к выпуску камера TriEye Raven, которую TriEye называет «первой в мире HD SWIR-камерой на базе CMOS».
По сравнению с инженерным образцом Sparrow, Raven предлагает «более высокое разрешение (1280?960) и в пять раз меньший размер (3x3x2,5 см без учета объектива)», — объясняет Ливне. По его словам, это обеспечит простоту и гибкость интеграции. Выпуск Raven запланирован на конец этого года.
Изображения, снятые с помощью камеры TriEye Sparrow (справа) и стандартной камеры, неблагоприятные условия были созданы с помощью дым-машины. (Источник: TriEye)
Компании с ИК-технологиями идут навстречу автомобильному рынку. Но ИК-системы бывают разных видов.
Например, Flir, ведущий поставщик тепловизионных инфракрасных камер, объясняет:
Активные ИК-системы используют коротковолновое инфракрасное излучение, чтобы подсветить интересующую область. Часть инфракрасной энергии отражается обратно в камеру и интерпретируется для получения изображения. Тепловизионные системы используют средне- или длинноволновое ИК-излучение. Тепловизоры являются пассивными элементами, и чувствуют только разницу в температуре. Эти тепловые сигнатуры (обычно черные (холодные) и белые (горячие)) отображаются на мониторе. Поскольку тепловизоры работают в более длинных диапазонах инфракрасного спектра, чем активный ИК-излучатель, они не воспринимают отраженный свет, а потому не подвержены воздействию встречных фар, дыма, тумана, пыли и т.д.
Тогда как же сравнивать SWIR с тепловизионными камерами?
Ливне из компании TriEye отметил, что «тепловизионная камера основана на болометрическом датчике, измеряющем тепло, в то время как SWIR основана на фотодиодном эффекте, как и стандартная камера. В отличие от тепловизионной камеры, которая обеспечивает тепловизионное отображение, SWIR-камера выводит такие же изображения, как и стандартная камера».
По поводу реализации SWIR-камер Ливне утверждал, что «SWIR-камеры можно размещать за стеклом (лобовым стеклом, фарами и т.д.), а тепловизионные камеры — нет».
Он добавил, что «тепловизионные камеры не могут использовать существующие алгоритмы компьютерного зрения, поэтому их работа требует наработки миллионных датасетов для создания новых моделей глубокого обучения».
В прошлом году компания TriEye прошла раунд финансирования Series А (проводимый Intel Capital) на сумму 19 миллионов долларов при участии компаний Porsche Ventures и Grove Ventures, а также TriEye тесно сотрудничает с компанией Porsche AG.
Читать еще полезные статьи:
@AutomotiveRu — новости автоиндустрии, железо и психология вождения
@TeslaHackers — сообщество российских Tesla-хакеров, прокат и обучение дрифту на Tesla
Транспортные средства, которые могут ездить куда угодно, при любых погодных или дорожных условиях – мечта индустрии беспилотного транспорта. В той или иной степени, современные автопроизводители способны создавать такие автомобили. Однако и сейчас, и в обозримом будущем, ни одна компания не гарантирует универсальность своего решения.
Современный беспилотный транспорт имеет множество ограничений. Робо-такси, например, могут работать только на участках. ограниченных геозонами. Развертывание услуг робо-такси происходит постепенно, "по одному городу за раз", — отметил Эгиль Юлиуссен.
Аналогичным образом, эксперты в области безопасности считают, что ODD (Operational Design Domain) имеет решающее значение для обеспечения безопасности самоходных автомобилей. ODD — это «модель условий, с которыми беспилотные автомобили будут иметь дело», объяснил Фил Купман (Phil Koopman), технический директор компании Edge Case Research. В реальном мире, однако, «несмотря на все усилия конструкторов», беспилотный транспорт всегда может оказаться за рамками своего ODD, предостерег он.
«Так, если ODD — это „Пустынный Лас-Вегас“, то система может быть спроектирована в основном для сухой погоды или, возможно, для легкого дождя», сказал Купман. «Но на самом деле в Вегасе время от времени идет дождь, а иногда даже снег. В день, когда пойдет снег, автомобиль окажется за пределами своего ODD».
Компания TriEye анонсирует SWIR-камеры
TriEye – тель-авивский разработчик технологии SWIR. Компания заявляет, что ее приоритетом является решение проблем, связанных с низкой видимостью, с которыми должна бороться автомобильная промышленность.
На прошлой неделе компания TriEye объявила, что Denso, японская компания первого уровня, стоящая 47,6 миллиардов долларов, проводит оценку Sparrow – инженерного образца TriEye, построенного по технологии SWIR. Ранее в этом году компания TriEye также сообщила о своих отношениях с компанией Porsche.
Учитывая, что TriEye точно не объявляет о победе разработок Denso, не вполне понятно, что компания TriEye имела в виду под «оценкой Denso».
Зив Ливне, вице-президент по развитию бизнеса компании TriEye, рассказал EE Times следующее: «К сожалению, мы не имеем права раскрывать дальнейшую информацию относительно процесса сотрудничества и оценки, за исключением того, что уже было упомянуто в объявлении. TriEye и Denso разделяют взгляды на повышение безопасности дорожного движения путем вывода на рынок самых передовых технологий, и мы с нетерпением ждем возможности воплотить эти идеи в жизнь».
Но возможность публично называть имена (речь об именах компаний уровня Denso) добавляет доверия к усилиям TriEye в области развития. В своем пресс-релизе TriEye подразумевает, что сотрудничество с Denso включает в себя изучение опыта Denso на рынке, а также использование их «инновационного подхода».
Основная технология
В последнее время все больше компаний рассматривают использование инфракрасных камер в наборе датчиков в своих беспилотных транспортных средствах – в значительной степени потому, что транспортные средства должны иметь возможность видеть в темноте.
Компания TriEye использует уникальные физические свойства спектра коротковолнового инфракрасного излучения. Поскольку этот спектр может обнаружить уникальную спектральную характеристику, присущую химическим и физическим характеристикам каждого материала, компания TriEye утверждает, что их устройства могут не только видеть объекты в любых погодных условиях и при разном освещении, но и заранее идентифицировать дорожную опасность (например, гололед).
Мир знает о преимуществах коротковолнового инфракрасного спектра на протяжении десятилетий, в частности, благодаря использованию SWIR-камер в военной и аэрокосмической отраслях. Однако эта технология не была представлена на массовом рынке из-за чрезвычайно высокой стоимости арсенида галлия индия (InGaAs), необходимого для создания таких устройств. Однако компания TriEye утверждает, что нашла способ создать SWIR-камеру, используя технологию CMOS.
Прошлой осенью в интервью EE Times Ави Бакал (Avi Bakal), генеральный директор и соучредитель компании TriEye, рассказал нам об этом: «Мы совершили прорыв. Как и в случае с полупроводниками, мы используем CMOS для крупносерийного производства SWIR-камер с первого дня». Бакал также сказал, что «по сравнению с сенсором на InGaAs, стоящим более 8000 долларов, камера TriEye будет предлагаться „за десятки долларов“».
Потенциальные применения
Несмотря на то, что стартап в целом ориентирован на ADAS, TriEye, похоже, также готова выйти за рамки автомобильной промышленности.
В своем последнем пресс-релизе компания TriEye отметила, что «уже поставила образцы системы Sparrow своим неавтомобильным клиентам, что позволяет им воспользоваться возможностями технологии SWIR в продуктах компании TriEye, чтобы выйти за рамки видимого и решать сложные отраслевые задачи». Однако компания не уточнила, какие именно приложения совместимы с ее SWIR-камерами.
Планы на производство Raven
Компания TriEye надеется решить проблемы низкой видимости на дороге с помощью вывода недорогих и доступных SWIR-камер на мировой массовый рынок. В то время как выпуск Sparrow был назван «важной вехой», массовому рынку придется подождать некоторое время – Sparrow остается инженерным образцом. По словам Ливне, настоящим тузом TriEye является готовящаяся к выпуску камера TriEye Raven, которую TriEye называет «первой в мире HD SWIR-камерой на базе CMOS».
По сравнению с инженерным образцом Sparrow, Raven предлагает «более высокое разрешение (1280?960) и в пять раз меньший размер (3x3x2,5 см без учета объектива)», — объясняет Ливне. По его словам, это обеспечит простоту и гибкость интеграции. Выпуск Raven запланирован на конец этого года.
Изображения, снятые с помощью камеры TriEye Sparrow (справа) и стандартной камеры, неблагоприятные условия были созданы с помощью дым-машины. (Источник: TriEye)
Конкуренция
Компании с ИК-технологиями идут навстречу автомобильному рынку. Но ИК-системы бывают разных видов.
Например, Flir, ведущий поставщик тепловизионных инфракрасных камер, объясняет:
Активные ИК-системы используют коротковолновое инфракрасное излучение, чтобы подсветить интересующую область. Часть инфракрасной энергии отражается обратно в камеру и интерпретируется для получения изображения. Тепловизионные системы используют средне- или длинноволновое ИК-излучение. Тепловизоры являются пассивными элементами, и чувствуют только разницу в температуре. Эти тепловые сигнатуры (обычно черные (холодные) и белые (горячие)) отображаются на мониторе. Поскольку тепловизоры работают в более длинных диапазонах инфракрасного спектра, чем активный ИК-излучатель, они не воспринимают отраженный свет, а потому не подвержены воздействию встречных фар, дыма, тумана, пыли и т.д.
Тогда как же сравнивать SWIR с тепловизионными камерами?
Ливне из компании TriEye отметил, что «тепловизионная камера основана на болометрическом датчике, измеряющем тепло, в то время как SWIR основана на фотодиодном эффекте, как и стандартная камера. В отличие от тепловизионной камеры, которая обеспечивает тепловизионное отображение, SWIR-камера выводит такие же изображения, как и стандартная камера».
По поводу реализации SWIR-камер Ливне утверждал, что «SWIR-камеры можно размещать за стеклом (лобовым стеклом, фарами и т.д.), а тепловизионные камеры — нет».
Он добавил, что «тепловизионные камеры не могут использовать существующие алгоритмы компьютерного зрения, поэтому их работа требует наработки миллионных датасетов для создания новых моделей глубокого обучения».
В прошлом году компания TriEye прошла раунд финансирования Series А (проводимый Intel Capital) на сумму 19 миллионов долларов при участии компаний Porsche Ventures и Grove Ventures, а также TriEye тесно сотрудничает с компанией Porsche AG.
О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Читать еще полезные статьи:
- Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
- [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
- Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
- [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
- Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
- Камеры или лазеры
- Автономные автомобили на open source
- McKinsey: переосмысляем софт и архитектуру электроники в automotive
- Очередная война операционок уже идет под капотом автомобилей
- Программный код в автомобиле
- В современном автомобиле строк кода больше чем…
Pyhesty
спасибо за статью, но
являясь одним из разработчиков SWIR камер могу с уверенность сказать, что ожидания от SWIR слишком завышены, в статье не указано при каких условиях данная технология работает, а когда нет.
1. SWIR получает преимущество перед другими диапазонами исключительно и только при полноценном солнечном освещении. Пример: туман в полдень. Во всех остальных случаях SWIR не будет лучше остальных камер. Более того, есть камера VC1300, и ещё одна не анонсированая, которые в тумане или при слабом контрасте видит не хуже (а лучше) чем SWIR.
(вот пример как работает камера видимого диапазона по малоконтрастным объектам
habr.com/ru/post/410317 )
2. SWIR не работет в пасмурную ночь. СОВСЕМ.
вот ссылка на результат тестирования с самой чувствительной из тех, с которыми мы сравнивали: habr.com/ru/post/428778
3. Если смотреть сквозь туман, то он бывает трех типов
тип1 — все камеры видят ещё неплохо на дальности 1км
тип2 — дальность видимости тепловизионной 1км, а остальных 300м
тип3 — все камеры не видят ближе 60-100м
типЗ — ничего не видно на расстоянии вытянутой руки в любом спектральном диапазоне
Лично моё мнение:
— для повсеместного применения SWIR не подходит
— тепловизионная камера для повсеместного применения универсальнее
— SWIR нужно для применять для особых условий (например, туман днем),
как дополнительный канал ко всем остальным.
так же можно посмотреть как видит SWIR в ночных условиях, но с чистым небом:
habr.com/ru/post/374163
MagisterLudi
Из серии «когда коммент интереснее и полезнее, чем статья»
qbertych
А откуда вообще появился интерес к камерам в среднем ИК? Там же поглощает примерно все, особенно водяной пар в воздухе.
Pyhesty
есть достаточно большое количество технологических процессов, которые основаны на свойствах в этом диапазоне: 0.9-1.8мкм, — например, проверка продуктов на свежесть, проверка денег, точные измерения высоких температур металлов, наблюдать через некоторые пластмассы, спектроскопия, анализ зрелости зерновых с самолёта и некоторые другие…
так же есть эффект при установке на гражданские самолёты с целью улучшения видимости в плохих условиях, но там можно поставить все три канала (видимый, ИК, ТП) и работать с тем, который показывает лучше.
Для массового применения пока очень дорогой.
qbertych
Да, в помещениях все и правда работает хорошо.
Про уличные применения мне казалось, что это попытка производителей камер расширить рынок. Гугл по SWIR hyperspectral imaging находит в основном именно производителей камер. А в видимом+NIR есть уже масса готовых решений для клиенов — в той же агропромышленности, например.
Кстати, а эта картинка из статьи:
Pyhesty
по SWIR очень много подтасовок в инете, реальных видео лично видел очень мало
у нас есть сравнения с разными производителей, скажу так, что заявленные характеристики сильно отличаются от реальности.
Для технического зрения нормально, когда можно обеспечить
мощный источник ИК излучения.
Для применения вне помещений, в качестве альтернативы видимой
— нужен опыт и понимание, когда будет преимущество от применения SWIR,
а когда нет.