Швейцарские и израильские ученые создали новый тип интерфейса для VR. Новый шлем виртуальной реальности позволяет увидеть изображение на ладони, используемой в качестве контроллера. Управлять элементами VR-приложения можно управлять простыми жестами — поворачиванием руки, сжиманием пальцев и т.п.


Разработкой цифровых перчаток занимается группа энтузиастов из Швейцарской высшей технической школы Цюриха и Даниэль Зиссерман (Danielle Sisserman) из Тель-Авивского университета. Они предложили интерфейс для VR-шлема, совмещающий прямое и дистанционное воздействия. В виде контроллера выступает рука, а интерфейс приложения проецируется на ладонь. Причем модель руки создается камерами шлема. Ладонь, по сути, заменяет смартфон.

Добровольцы уже испытали разработку и в целом остались довольны результатами. Указали лишь на несколько недостатков. Так, в виртуальной реальности пользователи видят схематичную модель руки, а не собственную. Это снижает градус погружения в происходящее.

Подробнее об интерфейсе

Для демонстрации возможностей интерфейса разработчики создали четыре игры-прототипа. Интерфейс используется в разных сценариях, которые можно увидеть при помощи VR-шлема HTC Vive с контроллером Leap Motion. Для управления доступны несколько жестов.


Первый прототип. Ладонь превращается в стол для игры в пинбол. Можно двигать мяч и собирать очки. Наклоны рукой позволяют управлять наклоном стола, палец вверх запускает новый уровень, указательный и большой пальцы в положении ОК выдают новый мяч.

Второй прототип. Игровое поле движется по руке, а персонаж стоит в центре ладони. Наклонами руки его можно обезопасить от падения в ямы и других препятствий. Большим пальцем активируются огненные шары.

Третий и четвертый прототипы. В игре участвуют обе руки. На ладони проецируется изображения двух различных предметов. Нужно определить, какой из них легче, и опустить ладонь с этим предметом вниз. Другую, наоборот, приподнять. В следующей игре выбор осуществляется сгибанием пальцев.

А что в AR?

Нейроинтерфейсы популярны среди разработчиков дополненной реальности. Подобный, например, предлагает Leap Motion. Их контроллер применяли при испытании интерфейса в VR-шлеме. В отличие от виртуальной реальности, их интерфейс дополняет реальную картину мира. На дополненную реальность можно смотреть через AR-очки или экран смартфона.

Leap Motion создали приложение, которое показывает виртуальные носимые устройства. Их активируют при необходимости. Для примера, из ладони можно вытянуть панель с кнопками. Интерфейс работает благодаря очкам с закрепленным датчиком. Датчик следит за положением рук в режиме реального времени, полностью копируя конечность с учетом даже небольших изгибов кистей рук.