Есть у нас с сыном традиция: в новогодние каникулы мы вместе тестируем различные интересные устройства — свободного времени много, надо провести его с пользой! Традиция, вообще говоря, довольно новая (равно как и сын), но AIO Lenovo IdeaCentre Horizon мы уже испытать успели. В эти праздники мы решили заняться технологией Intel RealSense. Что получит пользователь, покупая камеру RealSense, уже сейчас? Насколько технология работоспособна и удобна в использовании? Какие интересные приложения под нее созданы? Вот эти вопросы интересовали лично меня. Ну а ребенок, естественно, хотел поиграть в игрушки.

Напомню, что технология RealSense позволяет взаимодействовать с компьютером при помощи телодвижений, жестов и мимики. Информация о глубине изображения также позволяет производить манипуляции с фоном, осуществлять трехмерное сканирование и так далее. Для реализации всего этого функционала Intel предлагает средства разработки RealSense SDK, однако еще раз подчеркну, что в данном случае нашей задачей было посмотреть на RealSense глазами чайника, готового потреблять только готовые продукты.

Для работы RealSense необходимы:

• компьютер на базе процессора Intel Core пятого поколения (Haswell) или новее;
• камера RealSense, фронтальная или задняя, а лучше обе;
• минимум один порт USB 3.0 для подключениия камер, в порту USB 2.0 камеры работать не будут.
• операционная система Windows 8.1 или новее
• установленное программное обеспечение RealSense, драйвера и SDK (нужный для разработки или изучения идущих в комплекте примеров использования RealSense).

Все остальное приложится. Фронтальная камера используется для реализации «человеческого» интерфейса с компьютером и сегментации изображения, она работает на малых расстояниях порядка метра и только внутри помещений. Заднюю камеру применяют для фото и сканирования предметов, ее рабочий диапазон гораздо больше.

Передняя камера имеет крепление, обычное для web-камер и одинаково легко вешается и на ноутбук, и на монитор. Задняя крепится на магнитной защелке, ее, очевидно, удобнее использовать с переносным компьютером, что я и сделал, вооружившись ультрабуком на базе двухядерного процессора Intel Core i5-4350U с 4 Гб оперативной памяти и операционной системой Windows 8.1.

Начать знакомство с RealSense рекомендуется с изучения примеров, имеющихся в RealSense SDK. Для их запуска удобно использовать приложение RealSense SDK Sample Browser (легче всего найти его поиском). Вы увидите примерно следующее.



Изучать весь список примеров, конечно, не обязательно. Нам, чайникам, достаточно убедиться в том, что аппаратные и программные компоненты RealSense работают нормально. Многие приложения интуитивно понятны даже при слабом знании английского; не пожалейте времени, посмотрите, как RealSense интерпретирует кисти рук и выражения лица, каким образом осуществляется управление взглядом, как фон отделяется от переднего плана — после этого вам впоследствии будет проще работать с реальными приложениями.

Мое внимание привлекло приложение, позволяющее манипулировать фото изображениями с использованием данных о глубине — об этом мы рассказывали совсем недавно. К сожалению, из-за небольшого разрешения карты глубины (640х480 точек) тонкие нюансы разглядеть проблематично, однако, перенос точки фокуса «на лету», одна из самых эффектных возможностей таких изображений действительно работает, в чем можно убедиться на скриншоте ниже (крестиками показаны точки фокусировки).



Перейдем теперь к программам, написанным под RealSense. Для удобства пользователей Intel сделала специальную страницу — витрину, изучив которую, среди прочего, можно убедиться, что таковых приложений существует пока очень немного. Скачать бесплатно вам удастся еще меньшее количество, поскольку несколько игр распространяется через Амазон, требующий «деньги вперед». Вообще, на мой взгляд, есть что-то неправильное в том, что игры, использующие перспективную, недавно появившуюся технологию, не имеют даже триальной версии. Не идет это RealSense на пользу…

Говоря о программах в совокупности, хочу отметить их высокое качество, как с точки зрения функционала, так и по части графики. Видно, что требования Intel к софту на витрине строги и соблюдаются неукоснительно. Тут же, наверное, уместно перечислить и общие недостатки:

• в состав дистрибутива каждой программы из соображений совместимости включен RealSense рантайм (~ 500 Мб), из-за чего размер этого дистрибутива непривычно велик;
• по той же причине устанавливается софт долго, по 10-20 минут;
• любое RealSense взаимодействие, даже вроде бы простое, нагружает процессор на 50-60% с соответствующей реакцией системы охлаждения.

Расскажу теперь немного о самых интересных программах. Они делятся на несколько групп. Если говорить об игрушках, то в основном это развлечения для детей дошкольного возраста категории «хлопай как я, хлопай лучше меня». Круто, наверное, для детского праздника, но быстро надоедает.


Madagascar: Move It!


The Great Muppets Talent Search

Придумать что-то посложнее, конечно, тоже можно. Автогонки с RealSense управлением LEGO Portal Racers увлекли моего 7-летнего сына на несколько дней. Большие надежды возлагались на космическую стрелялку Space Astro Blaster, но она оказалась только на китайском языке, так что дальше заставки мы не прошли.




LEGO Portal Racers

Среди музыкальных RealSense программ безусловный лидер — японская Kagura, выигравшая в 2013 году конкурс Intel Perceptual Computing Challenge и с тех пор ставшая интереснее и красивее. Всё интуитивно и очевидно, просто устанавливаете ее — и хорошее настроение вам и вашим соседям гарантировано.



Ряд программ используют RealSense для удаления фона при видео трансляциях (видео чатах). Функция интересная и на 100% рабочая при соблюдении ряда нехитрых правил, но на killing feature не тянет. А вот 3D-сканирование определенно будет хитом, уже сейчас видны перспективы этого направления. В витрине имеется два приложения, каждое по-своему использующее возможности сканирования. Первое, 3DMe — чисто развлекательное — использует фронтальную камеру F200 для создания аватара, которого можно различным образом нарядить и потом даже 3D-напечатать в виде куклы через фирменный сервис. Акцент сделан на разнообразие нарядов. К сожалению, новогодних среди них не оказалось — явный маркетинговый просчет, и Санта-Клаусом нарядиться не получилось. Первые картинки — интерфейс программы, третья — открытка, которую можно отправить по почте или расшарить в социальных сетях.







Второе приложение, единственное пока в витрине для задней камеры R200, на мой взгляд, интереснее. Оно создано нижегородскими разработчиками itSeez3D (называется так же) и позволяет создать полноценную 3D-модель человеческого тела. Полноценность модели заключается в том, что она может быть сохранена в стандартных форматах трехмерных объектов OBJ или PLY и далее импортирована, скажем, в компьютерную игру. Расчет геометрии производится с помощью облачного сервиса компании, обмен данными и построение модели занимает несколько минут.


Сначала нужно несколько раз обойти модель с камерой, снять сверху и снизу


Как выяснилось, бытового квартирного света для съемки всё-таки маловато

Качество получаемых моделей, на мой взгляд, прекрасное, учитывая простоту их получения. Пожелаю землякам дальнейших творческих успехов, сейчас они в своей категории (потребительское 3D-сканирование для широких масс) вне конкуренции. Ну а бизнес-сегмент в настоящий момент активно осваивает российская компания Cappasity, и у них тоже все хорошо.

В конце поста нужно писать какое-то резюме. Вообще, трудно говорить о привлекательности технологии, которая еще не воплощена в реальном коммерческом «железе». На сайте Intel приведены несколько моделей устройств, оснащенных камерами RealSense (меня особенно впечатлило вот это), но в продаже на территории России я их не нашел. Если у вас есть возможность их приобрести — оно того стоит уже сейчас, не только из-за RealSense, конечно, по совокупности. Ну а мы с осторожным оптимизмом ждем дальнейшего развития технологии, как аппаратного, так и программного.