Увидела свет обновленная модель камеры RealSense 435, получившая индекс i. Ее отличительная черта — встроенный инерционный датчик IMU (Inertial Measurement Unit). Вам ничего не говорит название Intel RealSense? Тогда этот пост для вас. Развитие этой технологии так подробно описано здесь, в блоге компании, что можно рассказать ее историю, не выходя за пределы Хабры. Так мы, пожалуй, и поступим, ведь в последнее время RealSense не сказать, что на слуху — хоть это и несправедливо.
Камера Creative с поддержкой Intel Perceptual Computing SDK. 2013 год
Технологии получения 3D-изображений разрабатывались в Intel с начала 2000-х. Название RealSense появилось в 2014, придя на смену употреблявшемуся ранее Perceptual Computing; тогда же вышел Intel RealSense SDK и прототип камеры. Принцип действия 3D-камер состоит в одновременном формировании двух видов изображений: обычного RGB кадра и карты глубин, получаемой с помощью инфракрасных излучателей и датчиков. Обогащенная данными о глубине картинка может использоваться как для манипуляций с изображенными объектами и их анализа (например, сегментации фона или переноса точки фокусировки), так и как естественный для человека интерфейс управления компьютерными системами с помощью мимики лица, движений рук и пальцев, жестов.
RGB-фото и карта глубины для него
В последующие 2 года Intel активно продвигала RealSense по всем фронтам. Проводились регулярные конкурсы разработчиков, выходили многочисленные учебные и справочные материалы. В 2015 году были выпущены две серийные RealSense камеры: фронтальная F200 и задняя R200. В этом деле я даже имел личную экспертизу: в новогодние каникулы 2016 года мне предоставилась возможность протестировать обе камеры в домашних условиях. Появились планы внедрения RealSense в ноутбуки, смартфоны и прочие компьютеры, однако впоследствии все ограничилось камерами для ПК.
Камера Intel RealSense SR300. 2016 год
Время шло, совершенствовался софт, выходили новые камеры сначала второго, потом третьего поколения. Каждый раз вносились новые улучшения: повышалась точность определения глубины, удобство использования, появлялись новые функции распознавания. Intel продолжала взаимодействовать с разработчиками и получать от них обратную связь. В блоге мы активно публиковали русскоязычные переводы статей по по RealSense SDK — это был один из немногих источников информации о RealSense на русском языке. Что, собственно, справедливо и по сей день.
Intel RealSense SDK 1.0 позволял отслеживать до 76 ключевых точек лица, в следующих версиях количество точек увеличилось
В настоящее время актуально семейство камер Intel RealSense D400, выпущенное в начале этого года. Семейство состоит из двух камер: D415 и D435. D415 дает более четкую картинку, но имеет меньшее быстродействие и более удаленное минимальное расстояние. D435 больше подходит для AR/VR применения, поскольку ее глобальный затвор лучше работает с быстро движущимися объектами. Более подробные характеристики камер приведены в таблице.
| D415 | D435 | |
|---|---|---|
| Применение | Помещение / вне помещений | |
| Определение глубины | Двойной ИК-луч | |
| Тип затвора | Скользящий | Глобальный |
| Размер пиксела | 1.4 х 1.4 мкм | 3 х 3 мкм |
| Размер поля глубины | 63.4° x 40.4° | 85.2° x 58° |
| Разрешение поля глубины | 1280 x 720 | |
| Параметры RGB-потока | 1080p @ 30 FPS | |
| Диапазон глубины | 0.16 – 10 м | 0.11 – 10 м |
| Размер камеры (Ш х Г х В) | 99 x 20 x 23 мм | 90 x 25 x 25 мм |
Intel RealSense D435i находится сейчас в состоянии предзаказа, отгрузки начнутся 3 декабря, текущая цена — $199.
Комментарии (7)
rPman
29.11.2018 12:22Несколько лет назад поддался рекламе и завышенным ожиданиям и купил камеру.
Первое — принудительная завязка на процессор intel! т.е. на amd не заработает, есть конечно открытые решения от умельцев, но весь смысл этой камеры в софте, открытые решения дают доступ только к сырым данным.
Второе — высокие требования к проводу usb, пол метра максимум (штатный провод очень короткий), длиннее провод и камера не работает, это для меня было критичнее всего.
Третье, высокие требования к usb-контроллеру, только на некоторых чипах работает (на amd машине я перебрал 4 контроллера, нашел конечно но радости мне это не принесло, см. про длину провода).
И самое главное — очень шумный сенсор, до фатальной неюзабельности. Шумит все что только можно, 3D поток точек такой же шумный, из-за чего область применения сильно сужается.
В последней версии камеры это исправили? посмотрев пару видео из интернета вижу что нет.
p.s. мегабонус, есть сырой поток данных от инфракрасной камеры 240fps, если бы у меня было быстрое железо от intel я бы с этим поигрался, но к сожалению слабого целерона встроенного в mitx платку не хватает ни для чего.DROS
29.11.2018 13:08Вот это очень интересные замечания. А под какие задачи планировали использовать, если не секрет? Меня больше интересует возможность бюджетного 3D-сканирования.
rPman
29.11.2018 14:26Хотел просто оценить возможности, так как ручной 3D сканер в реальном времени с api и софтом сам по себе крутая вещь, но как я сказал реалии грустные.
По факту, хотел сделать вычисление точного положения головы, первоначально хотел поиграть с симуляцией трехмерности (когда настройки камеры в сцене меняются синхронно положению головы наблюдателя перед монитором), в некоторых случаях это можно было бы сделать даже простым плагином к 3D-пакетам типа sketchup.
Параллельно изучал вопрос бюджетно сделать фильтр для монитора (вертикальные полоски непрозрачные на стекло, с размером кратным размеру пиксела по горизонтали) который позволит выдавать разные изображения для каждого глаза, для создания трехмерного монитора, не требующих никаких очков, фильтров, системы позиционирования и прочего.
На самом деле идея была в комбинации этих подходов, разрешения монитора было недостаточно для реакции на движения головы в данном случае, появляются дикие артефакты в виде вертикальных полос и даже думал над механизмом сдвига фильтра максимум на размер пиксела по горизонтали таким образом, чтобы относительное положение фильтра, точек на экране и глаз оставались на одной линии.
К сожалению шум в камере сводит на нет все бонусы, попытки от него избавиться создают лаг в движениях, и в любом случае портят картину. Да и скорость распознавания очень низкая, для комфортной симуляции необходимы пара десятков миллисекунд, т.е. 60fps а не 10-15 (имеющийся софт не умеет ускоряться на основе видеокарты, а процессоры медленные).
Причем визуально мне кажется этот шум появляется из-за недостаточно хорошей системы охлаждения. Камера греется сильно, а любой видеосенсор критичен к температуре… дойдут руки, попробую поиграться, разобрать, сделать свою систему охлаждения, вдруг что то получится.
rPman
29.11.2018 17:07Вот нашел видео, именно такую картину я наблюдаю, без преувеличений, пытаться использовать это — головная боль, точность сканирования смело делите на 3-5 от заявленной.
cepokko
29.11.2018 16:04Новая версия это хорошо, но при этом официальный интел прекратил поддержку SDK для старых камер, а новые перевел на GitHub. Не закрывают ли вообще направление они?
DROS
Что-то я не понял смысла поста, уж извините. Это все можно было описать буквально одной строчкой текста: В новой камере добавили инерционный датчик, а вообще, камеры делают с 2014 года.
Не знаю, насколько интел продвигает эти аппараты, но что-то я про них слышу только из новостей. Да, есть пара статей про использование, но на этом все. Даже забугорный технические блоги молчат про это железо. И это печально. Вроде бы интересный девайс.
saul Автор
Пробовали так делать — спрашивают, что такое RealSense :) Учитывая, что это слово появляется в блоге второй раз за год, решили напомнить суть.