Что такое полное погружение? Это когда разница между виртуальным и реальным мирами не ощущается. То есть, ты не чувствуешь, в каком из миров находишься.

В статье мы поговорим о том, что представляют собой технологии для полного погружения в виртуальную реальность в настоящее время, про плюсы и минусы разных типов обратной тактильной связи и про будущее полного погружения.

Материал подготовлен на базе лекции Дениса Дыбского, которая проходила на конференции VR-Today в рамках нашей образовательной программы «Менеджмент игровых проектов» в ВШБИ. Видео и конспект под катом.

Составляющие полного погружения

• Первый и самый важный момент — это визуальная картинка. Все привыкли, что погружение в виртуальную реальность происходит с помощью шлемов виртуальной реальности. Как правило, HTC Vive, Oculus Rift, Gear VR, PS VR и прочих шлемов, которые сейчас есть на рынке.
• Второй важный момент — это звук. Без звука в виртуальную реальность невозможно погрузиться на данный момент, поскольку картинка должна полностью сочетаться со звуком. Для того, чтобы пользователь, находясь в виртуальной реальности, смог позиционировать себя в пространстве и знать, где он находится.
• Следующий, еще более важный момент — это тактильная связь или haptic. В западной терминологии он называется haptic feedback — “обратная тактильная связь”.
• Симуляция вкуса.
• Симуляция запаха.
• Положение человека в пространстве.

Это 6 составляющих, которые позволяют человеку полностью погрузиться в VR. Рассмотрим подробнее обратную тактильную связь (haptic). Это технология, позволяющая получать тактильную информацию через осязание. Это довольно сложная технология, на данный момент на рынке есть несколько вариаций ее реализации, которые позволяют по-разному передавать чувство прикосновения, ощущения и так далее.



Типы обратной тактильной связи:

• Первый из них — это силовая обратная связь. К примеру, в автосимуляторах с использованием руля чувствуется обратная тактильная отдача от него при столкновениях и так далее. Это и есть силовая обратная связь. Она позволяет почувствовать давление на руки (как правило) или на тело.
  
  
• Следующий и самый распространенный, самый изученный на данный момент тип обратной тактильной связи — это вибротактильный фидбек. Самый яркий пример — это вибрация смартфона. Она даёт нам знать, когда приходит сообщение или поступает звонок.
  
  
• Следующий тип довольно сложный и мало распространенный на данный момент на рынке, — это ультразвук. Он позволяет при помощи генерации звуков высокой частоты почувствовать форму и текстуру объекта. На данный момент на рынке есть пара решений, которые позволяют использовать эту технологию.
  
  
• Термальная обратная связь — еще один тип обратной связи. Он позволяет в виртуальной реальности почувствовать холод, тепло, переход от тепла к холоду и наоборот.
  
  
• Наверное, самый точный для передачи ощущений способ — это электростимуляция. К примеру, пояса для того, чтобы привести себя в форму, которые позиционируются как пояса для сжигания лишнего подкожного жира используют именно электростимуляцию. Это маленькие электрические импульсы, которые работают, как правило, на разной частоте, амплитуде и силе тока. В VR химическую реакцию довольно сложно сымитировать, но электростимуляцию очень легко воспроизвести. Можно настроить индивидуальный электрический сигнал под каждое ощущение и чувствовать прикосновение, попадание мяча в какую-либо часть тела или даже дождь.

Существующие проблемы

1. Сейчас для погружения в виртуальную реальность стимулируется всего лишь 2 чувства из 5 — это зрение и слух.
   
   
2. Еще бОльшая проблема, чем предыдущая — это наличие проводов в PC и консольных шлемах. Через шлем виртуальной реальности проходит большой объем данных, а для этого нужны провода. Для того, чтобы почувствовать себя полностью свободным в виртуальной реальности, нужно их убрать.
   
   
3. Проблема взаимодействия с виртуальным миром. Как правило, для того, чтобы полноценно с ним взаимодействовать, нужны контроллеры. Сейчас в роли контроллеров у разных производителей выступают обычные контроллеры Vive, Oculus Touch и др. Но для того, чтобы полноценно взаимодействовать с объектами, иметь возможность дотронуться до них, повернуть, взять, почувствовать его текстуру, вес, нужны перчатки виртуальной реальности. Что в них должно входить: как минимум это система захвата движения для того, чтобы можно было отслеживать положение руки в пространстве, то, как двигаются пальцы, сжимаются ли они, как рука поворачивается относительно всего тела. Должна отслеживаться мелкая моторика. При прикосновении к виртуальному объекту должна быть обратная связь. К примеру, текстуру можно сделать с помощью электростимуляции. Если это какой-то большой объект, к примеру, человек натыкается на стену руками, то, естественно это можно сымитировать вибротактильным фидбеком.
   
   
4. Из-за того, что на данном моменте на рынке присутствуют решения, которые в основном используют вибрацию либо силовой фидбек, это уменьшает качество взаимодействия в виртуальной среде, потому что они не позволяют максимально точно передать все ощущения.
   
   
5. Еще один момент: в виртуальной реальности при полном погружении нужно имитировать ходьбу. Как это можно сделать? Первый способ — это телепортация. К примеру, это реализовано в HTC Vive, там с помощью контроллера можно телепортироваться в разные места в виртуальной среде. Второй — это непосредственно физическая ходьба по помещению. Но для того, чтобы полностью погрузиться, в зависимости от объема виртуального мира, в который вы погружаетесь, нужно маленькое либо большое помещение. Но для полноценного перемещения в максимально больших открытых мирах невозможно использовать только небольшое помещение. Поскольку нужно ходить во все стороны, это не очень удобно. Третий более-менее решающий эту проблему гаджет, это Tread Meal (сейчас есть несколько предложений на рынке), который позволяет прямо в нем двигаться, он поддерживает тело человека и не дает человеку уставать.

Исходя из вышесказанного можно сделать вывод, что на данный момент систем полного погружения в виртуальную реальность как таковых не существует. Эти системы пока можно назвать только системами частичного погружения. Возможно, кому-то покажется, что достаточно использовать только шлем, чтобы погрузиться в виртуальную реальность, но нет, это не правда.

Примеры систем, которые идут к тому, чтобы полностью погрузить человека в VR.

CAVE
Это проект, который был запущен в 1992 году. Он состоит как правило из огромных дисплеев по всей комнате. Это встроенные в стену колонки, направленный звук, система захвата движений и стереоскопические дисплеи.

The VOID
Парк развлечений VR, открывшийся несколько лет назад в Юте, США. Физические локации, по которым в нем можно ходить, полностью соответствуют виртуальным.

AlloSphere
10-метровая сфера со множеством стереоскопических дисплеев, встроенной системой захвата движения, звуком и так далее.

Teslasuit
Костюм для полного погружения в VR. Выглядит как обычный костюм, имеет в себе несколько систем.

• Система передачи ощущений, то есть, система обратной тактильной связи Haptic Feedback System. Она позволяет маскимально точно передавать ощущения VR. Можно почувствовать, как к тебе кто-то прикасается, даже если он находится за 1000 км от тебя.
• Система захвата движений. Позволяет пользователю отслеживать его положение в пространстве и перемещения по нему. На данный момент это инерционный трекинг, но сейчас разрабатывается гибридный мокап, в котором будет использоваться и оптический трекинг.
• Климат контроль. Позволяет чувствовать холод, тепло, снижение или увеличение температуры.
• Костюм полностью беспроводной.
• Для того, чтобы позволить сторонним разработчикам использовать костюм, был разработан собственный SDK.
• Перчатка с хаптиком.
• 5G и облако для процессинга (в планах). Сегодня все девайсы требуют мощного железа для того, чтобы полноценно запускать контент и не было никаких лагов. Костюм позволит весь процессинг перевести в облако. Это избавит пользователей от железа, уберет всю лишнюю периферию. Поскольку периферия очень сильно снижает мобильность в VR, облако должно быть довольно мощным, распределенным и еще много всяких нюансов. Поэтому его создание займет не менее 3-5 лет.

А теперь немного заглянем в будущее

Сейчас разрабатываются системы, которые позволят подключить компьютер напрямую к мозгу человека. Они разрабатываются уже достаточно давно. Ну, и самый обсуждаемый проект — Neuralink от Илона Маска. Это очень сложный проект, судя по тому, какой сейчас уровень технологий, это произойдет не ранее чем через 15-25 лет, а возможно и больше.

Костюм — более близкий по времени вариант. Костюм — это система, которая позволяет производить полный тренинг жизненных показателей человек. В планах у разработчиков стоит разработка умной одежды, в которую будут встроены различного рода датчики (температурные, замеряющие уровень кислорода в крови, влажность и другие датчики, позволяющие снимать жизненно важные показатели организма).

Параллельно с костюмом много разработок по перчаткам. Они позволяют взаимодействовать с объектами. Перчатки тоже напичканы сенсорами, которые работают на электростимуляции. В самой перчатке есть все те же системы контроля, которые есть в костюме.

Еще один важный момент — это симуляция веса в виртуальной реальности. Все хотят не просто почувствовать объект, потрогать его, ощутить его форму, но и почувствовать, сколько он весит. Это реально с помощью электростимуляции. Сейчас есть исследования, которые позволяют говорить о том, что при помощи электростимуляции можно очень точно имитировать вес предмета. Такая штука тоже будет своевременно или немного позже.


В ближайшее время мы выложим у нас в блоге на Habrahabr конспекты и записи всех остальных лекций с конференции по виртуальной реальности VR-Today. Подписывайтесь, чтобы получить уведомление по их выходу.

Осенью у нас начинается обучение на нашей образовательной программе «Менеджмент игровых проектов», приглашаем 28 июня на день открытых дверей!