Хао Ли, ассистент-профессор из университета Южной Калифорнии, опубликовал свою работу, привносящую дополнительную реалистичность в виртуальный мир. Он руководит разработкой системы, с помощью которой Oculus Rift, шлем виртуальной реальности, может в реальном времени считывать выражения лица пользователя.

С давних компьютерных времён основным средством передачи эмоций служили смайлики. Потом появились веб-камеры и видеочаты, в которых можно свободно видеть собеседника. Но что, если вам небходимо передавать выражения лиц в виртуальную реальность? Или распознавать эмоции, чтобы использовать эту информацию для отрисовки игровых аватаров?

Конечно, системы распознавания лиц по видео существуют. Вот только, задача эта многократно усложняется при использовании очков виртуальной реальности – таких, как Oculus Rift. Массивный агрегат закрывает 2/3 лица – в лучшем случае, камера увидит рот пользователя. Что же делать?

Ответ нашёл Хао Ли — программист, исследователь и фотомодель, родившийся в Германии, и имеющий тайваньские корни. С командой единомышленников и под чутким патронажем соцсети Facebook (купившей проект Oculus в 2014 году) они разработали систему распознавания выражений лица для пользователей Oculus Rift.



Нижнюю часть лица распознаёт камера. В прототипе используется камера Intel RealSense 3D, прикреплённая на массивном держателе к очкам. Возможно, в конечном устройстве можно будет устроить миниатюрную камеру в нижней части очков. Работу мимических мышц верхней части лица распознают восемь тензодатчиков (датчиков растяжения), встроенных по периметру в мягкий уплотнитель очков. Судя по видеоролику, система работает достаточно точно.

Имея такую систему, можно передавать эмоции на свой аватар в виртуальных чатах и играх, или учитывать выражения лица, например, при разговоре с NPC. Система дополняет виртуальную реальность новыми реалистичными подробностями.



Конечно, в прототипе есть минусы. Кроме упомянутого неудобного крепления камеры (что решаемо), пока есть необходимость первоначальной «калибровки» под конкретного пользователя – вам придётся скорчить несколько рожиц, чтобы система соотнесла реальные данные конкретного лица со своими шаблонами. Но и этот этап разработчики надеются устранить в будущем, когда наберут приличную базу «гримас» от различных людей.

Ещё одна особенность – системные требования. Сам Oculus Rift требователен к железу, и эта система, конечно, тоже. Для нормального функционирования со скоростью 30 FPS понадобится Core i7-4820K, 32GB RAM и GTX 980.

Система, скорее всего, не появится вместе с первыми экземплярами очков, которые, после долгой разработки, поступят в продажу в начале следующего года.