В конце августа исполнительный директор Intel Пэт Гелсингер заявил, что в рамках процесса реструктуризации компании она будет отказываться от развития непрофильных технологий, в число которых попал, в том числе, RealSense. Это нас сильно огорчило, ведь по ряду причин редакция блога питает к RealSense глубокие и давние чувства. Поэтому, хоть такой формат и не свойственен блогу Intel, мы решили написать что-то типа памятного поста и рассказать о вчерашнем и сегодняшнем дне технологии, а также порассуждать о том, почему в рамках Intel у нее не состоялся завтрашний.

Чтобы показать контекст происходящего, приведем слова Гелсингера целиком.

Я хочу инвестировать в те области, которые поддерживают основные бизнесы компании: дата-центры, пользовательские компьютеры, графику, производство чипов и беспилотное управление. Если технология подходит для какого-то из этих шести направлений, я буду в нее инвестировать. Если нет, то не буду. Что же касается RealSense, то здесь получено ряд хороших результатов, которые мы могли бы использовать, но для основных направлений они не подходят.

С этим утверждением можно было бы поспорить: по крайней мере к области беспилотного управления RealSense имеет несомненное отношение, если мы говорим про роботов и дронов. Но теперь, когда решение уже принято, остается только вспоминать и анализировать.

Intel RealSense — вчера

Первое упоминание технологии относится к октябрю 2012 года — именно тогда на сайте Intel появилась первая бета-версия Intel Perceptual Computing SDK. А уже в январе 2013, буквально вместе со второй бетой, у нас в блоге появилась статья о ней. Нам (блогу) повезло, что технология развивалась, в том числе, силами московской команды Intel, и источники знаний были совсем близко.


Первоначально Intel использовала оборудование третьих фирм, таких как Creative, позже перешла на собственное.



Буквально сразу же компания включила PerC/RealSense в число своих приоритетов и уже в 2013 году провела конкурс среди разработчиков с впечатляющим призовым фондом в один миллион долларов.


2014 год ознаменовался сменой названия на современный RealSense, очередным конкурсом для разработчиков и стартом череды хакатонов, митапов и прочих мероприятий, которых в ближайшие годы будет проведено видимо-невидимо. В продвижение технологии действительно было вложено немало сил и средств.



В 2015 появились две камеры RealSense, которые сейчас можно назвать «классическими»: задняя R200 и передняя F200. Это был, пожалуй, золотой век RealSense: энергично обновлялся SDK, выходили новые драйвера, демонстрировались прототипы «железа», RealSense планировалось внедрить в смартфоны и ноутбуки. Мы в промышленном масштабе выпускали туториалы для разработчиков, о нюансах программирования под RealSense нам тогда хорошо рассказал один из первопроходцев-пионеров.

Intel RealSense — сегодня

Если считать «условным сегодня» отрезок времени вглубь на год-два, то этот период времени также нельзя считать для RealSense застойным или кризисным — как говорится, ничто не предвещало беды. Да, мероприятий стало меньше — это характерно сейчас не только для RealSense. А вот новые камеры продолжали выходить регулярно.



Intel RealSense 435i со встроенным инерционным датчиком IMU (Inertial Measurement Unit) для использования в движущихся устройствах.



Intel RealSense Tracking Camera T265 — принципиально новое устройство без ИК-системы, оснащенное двумя сверх широкоугольными объективами типа «рыбий глаз», 6-осевым инерционным датчиком IMU и специализированным VPU (Visual Processing Unit) Intel Movidius Myriad 2 в качестве центрального вычислителя.



Intel RealSense LiDAR L515 — первый LIDAR в линейке RealSense, использующий технологию зеркального сканирования MEMS разработки Intel.



Intel RealSense Depth Camera D455 — классическая камера глубины, улучшенная и исправленная, вышедшая буквально полгода назад.

Как видим, в нынешнем портфолио Intel RealSense имеется достаточное количество камер на все случаи жизни, различных по принципу действия.

Более того, пару месяцев назад, в августе 2021 компания Xiaomi выпустила робособаку CyberDog — четвероногую платформу с открытым кодом и Intel RealSense D450 в качестве органов чувств.

Intel RealSense — завтра

Что же произошло с RealSense и почему? Не будем ограничиваться общими словами, которые уже сказал Пэт Гелсингер. При этом, мнение ниже будет исключительно нашим собственным. Всё, как написано в шапке блога.


3D модель vikky13, созданная в 2015 году с помощью камеры Intel RealSense компанией Itseez3D.

Основным предназначением RealSense было добавление третьего измерения в повседневную практику взаимодействия пользователей с компьютером, а также участие в создании и потреблении 3D контента. Вообще, попытки внедрения цифрового 3D-опыта в жизнь масс предпринимаются различными компаниями в различных областях, например, VR-шлемах, еще с прошлого века. Но все они, увы, оказываются не супер-успешными. То есть, ярко взлетев, спустя пару лет, в лучшем случае, занимают свою узкую нишу, а в худшем — вообще исчезают (на самом деле впадают в спячку, чтобы потом возродиться на новом витке развития технологий). Вот несколько примеров: Вы часто пользуетесь Windows Aero Glass 3D интерфейсом? Вы давно смотрели 3D фильм на TV или в кино? Вы слышали, что Microsoft недавно решил удалить отображение папки 3D-объектов из Проводника Windows 10? А в самой этой папке у вас было что-нибудь?

Почему так происходит? Дело тут и в человеческой природе и в уровне развития техники. Играет роль как неидеальность создаваемого/распознаваемого 3D, что приводит к физическому и психологическому дискомфорту пользователей, так и отсутствие реальной массовой необходимости, оправдывающей покупку и использование соответствующей техники. То есть, можно сказать, что третье измерение в компьютерной жизни пользователей пока, увы, отрезается бритвой Оккама.

А с другой стороны, даже в тех случаях, когда данные о глубине могли бы добавить реальную ценность распространенному пользовательскому опыту, технологии, подобные RealSense вытесняются… программными решениями. В том числе и созданными Intel. Достижения последних лет в глубоком машинном обучении и компьютерном зрении позволяют эффективно «создавать глубину» по изображениям с обычных двумерных камер. То есть, для замены фона при видеозвонках или обеспечения дополнительной надежности распознавании лица сейчас широко используются нейросети, а не 3D-камеры.

Соответственно, поэтому RealSense за 10 лет своего существования так и не смог выйти из стен лабораторий на «большую дорогу» и попасть в коммерческие цифровые устройства, камеры RealSense так и остались в категории DIY.

За что же мы, редакторы блога Intel, так любили RealSense? Наверное, за то же, за что он был отправлен в отставку. Это было очень непохоже на все остальное, что делал Intel. Шутка ли: с момента появления первого поста мы опубликовали свыше 60 статей, посвященных RealSense.

Жаль, что эта оказалась последней.