Очень многие с надеждой ждут расцвета технологии виртуальной реальности (ВР). Однако, несмотря на появление доступных очков ВР, бум в развлекательной индустрии не начался. Причина кроется в особенностях строения нашего тела, точнее, ответы надо искать в области нейробиологии.
Для начала позвольте спросить: что вам ближе, виртуальная реальность или дополненная? Сравните эти два видео.
Пре-альфа космического симулятора EVE: Valkyre:
И демо-видео от таинственной компании Magic Leap, не так давно удивившей всех вирусным роликом с карманным слоном:
Для кого-то этот вопрос прозвучит столь же нелепо, как предложение выбрать между колбасой и сыром, уж очень разные технологии. Но вполне вероятно, что эти технологии может объединить одно неочевидное свойство. Речь о том, насколько они будут комфортно восприниматься человеческим сознанием и телом.
Попытки создания очков виртуальной реальности предпринимаются довольно давно. Но ни одна из разработок так и не оказалась успешной. Очередной раунд уже привёл к появлению нескольких новых проектов, а поступления в продажу заранее раскрученного Oculus Rift все уже устали ждать. Засекреченный Magic Leap может преподнести очень неожиданный сюрприз, если разработчикам и впрямь удастся реализовать обещанное.
Как видите, целый ряд производителей обещают нам «вот-вот» россыпь технологий, которые позволят поднять развлечения на новый уровень. Заядлому игроману есть от чего капать в предвкушении слюной. Многие заранее готовы простить будущим гаджетам небольшие лаги и не слишком высокое, прямо скажем, разрешение изображения. Однако может статься, что проблема подкрадётся совсем с другой стороны.
Наверняка большинство из вас уже неоднократно смотрели видео, в которых люди очень эмоционально и позитивно реагируют на то, что видят в очках виртуальной реальности. Но это совершенно не означает, что в них человек перестаёт отличать виртуальный мир от настоящего. Нет, одурачить мозг этим невозможно. Это лишь проявление эмоциональной вовлечённости, для которой нам даже не нужно фотореалистичное изображение.
В сети очень мало информации о том, что ощущает пользователь, длительное время не снимавший очки ВР. Не 15 минут, не 30, а несколько часов. Увы, но есть целый ряд свидетельств того, что мозг не получается ввести в заблуждение картинкой перед глазами и наушниками.
Задержки как причина укачивания
Одним из ярких последствий длительного использования очков ВР является состояние укачивания. Собственно, многим для этого и очки не нужны, достаточно поиграть в некоторые игры от первого лица. Основной причиной являются микрозадержки в изменении изображения в ответ на наши действия. И если на расстоянии нескольких десятков сантиметров от монитора это не так заметно, поскольку нас «держит» периферическое зрение, то в случае с очками ВР, чьи дисплеи перекрывают почти всё поле зрения, восприятие меняется. Более того, при пользовании очками задействуется и вестибулярный аппарат, так что микрозадержки влияют на наш мозг куда сильнее, чем при игре за компьютером. В очках ВР они могут достигать 20 миллисекунд. Это совершенно незаметно в «традиционных» играх, но здесь уже негативно влияет на самочувствие пользователя. Правда, многое ещё зависит от индивидуальной восприимчивости. Кого-то будет мутить при 3 миллисекундах, а кто-то будет радостно играть и при 150.
Аккомодация мышц хрусталика и глазного яблока
Явление, знакомое подавляющему большинству пользователей компьютеров. После многочасового смотрения в монитор возникают различные неприятные ощущения в глазах, становится труднее фокусироваться на дальние расстояния. В этом нет ничего удивительного —мышцы, управляющие хрусталиком и глазным яблоком сделаны из того же материала, что и все остальные мышцы тела. Попробуйте взять гантель и длительное время держать её на весу на вытянутой руке. Когда терпеть не будет сил, вспомните о своих глазах, которым вы не даёте отдыха по несколько часов.
Но это не самое интересное в случае с очками ВР. Куда любопытнее явление «разрыва шаблона». Допустим, вы смотрите на виртуальный горизонт, и мозг ожидает, что мышцы хрусталика и глазного яблока будут работать соответствующим образом. Но физически-то вы смотрите на объект, находящийся в нескольких сантиметрах перед глазами. Хорошо, пусть в паре метров, благодаря оптической системе очков. Но в любом случае, на подсознательном уровне вы понимаете, что смотрите не куда-то вдаль, а прямо перед собой. В ряде случаев это может привести к неприятным ощущениям в глазах и головной боли.
Добавьте к этому ещё один момент: в жизни мы воспринимаем всё окружающее пространство резким только потому, что в наших глазах имеется «автофокус», точка сведения глаз и положение хрусталиков постоянно меняются. Однако дисплеи очков показывают нам резким только то, что задумано разработчиками. И как бы вы ни старались разглядеть более далёкие или ближние предметы, они будут оставаться размытыми. Это тоже доставляет определённый дискомфорт.
Правда, разработчики из Magic Leap обещают решить эту проблему благодаря технологии «светового поля», лёгшей в основу фотокамер Lytro. Но насколько им это удастся, сложно даже предположить. Поживём — увидим.
Поле зрения
Как известно, эффект присутствия во многом достигается благодаря задействованию периферического (бокового) зрения. Именно информация с границ секторов обзора наших глаз позволяет мозгу «ощущать» себя именно здесь, «чувствовать» окружающее пространство. Причём периферическое зрение более чувствительно к движению попадающих в него объектов. Более того, даже информация от него идёт в мозг по отдельному каналу, параллельно с «основным» видеопотоком. По одной из версии, эта особенность позволяла выживать нашим далёким предкам в условиях недружелюбной дикой природы. В то же время повышенная чувствительность налагает более высокие требования к точности симуляции, ведь периферическое зрение тесно связано с нашей способностью ориентироваться в пространстве. Поэтому вовсе недостаточно сделать дисплеи пошире. Помимо прочего, необходимо исключить мерцание изображения на периферии.
Ориентация в виртуальном пространстве
Представим, что удалось полностью решить проблему микрозадержек. Увы, но этого окажется недостаточно для решения проблемы укачивания пользователей. Для формирования ощущения присутствия важна не только скорость обработки изображения очками, но и соответствие физических движений нашего тела происходящим на экране изменениям. Если вы «наклоняетесь» и смотрите на свои виртуальные ноги, сидя при этом в кресле, то возникает «несовпадение форматов». Ведь мозг ожидает напряжения соответствующих групп мышц и отклика вестибулярного аппарата, подтверждающих изменение положения в пространстве. А вы в это время всего лишь отклонили пальцем джойстик.
Иными словами, для полноценного ощущения себя в ином пространстве — виртуальном — необходимо целиком копировать все необходимые для этого движения. Если в игре вам надо пробежать километр, то его придётся пробежать и в реальности, с очками на лице. Не особо так наиграешься, верно? Обойти это можно только с помощью сюжетных ухищрений, скажем, используя телепорты или «сажая» игрока в кресло виртуального транспортного средства. Но это будет весьма очевидная уловка.
Как вариант, можно использовать специальные тренажёры по образу беговых дорожек, но позволяющих менять направление движения. Вот только данное устройство делает всю систему громоздкой и ещё более дорогой, а также накладывает определённые ограничения.
В общем, не стоит пока ожидать виртуальной революции. Не просто так постоянно сдвигается дата выпуска коммерческой версии Oculus Rift, а очки ВР от других производителей хоть и поступили в продажу, но не подтвердили высоких ожиданий пользователей. По сути, они остались товаром для немногочисленных энтузиастов.
С другой стороны, наличие всех вышеописанных нейробиологических сложностей не означает, что на технологии виртуальной реальности пора ставить крест. Чем больше мы сталкиваемся с подобными препятствиями, тем лучше понимаем работу человеческого мозга. И быть может, в будущем накопленный опыт позволит, наконец, создать технологию убедительной ВР.
Комментарии (31)
SpiritOfDarkDragon
27.04.2015 13:31+1ИМХО, суть подобных гаджетов (очков) заключается именно в понижении порога, чтобы оказаться вовлечённым. Просто более продвинутый монитор, который в совокупности с хорошими наушниками позволяет глубже погрузиться в процесс.
Вряд ли кто-то из разработчиков ставит перед собой целью добиться полного погружения, так, чтобы организм не заметил подвоха. Да и опасно это. Многие уже наверняка вспомнили нейрошлем :)
P.S. Из опыта: если в демке с американскими горками помнить про нереальность картинки и контролировать вистибулярный аппарат, делать акцент на настоящее тело — голова очень быстро начинает болеть, лучше поддаться и не мешать организму интуитивно наклоняться в стороны (ради интереса демку смотрели стоя, а руки держали по швам).
evtomax
27.04.2015 13:41+1Задержки — это только частный случай несовпадения видимого изменения положения в пространстве с ощущаемым. А вот как имитировать ускорение всего тела?
Turbo
27.04.2015 14:19+1Меня в свое время Doom сильно укачивал. ) Современные игры уже редко этим страдают или просто я вырос.
SBKarr
27.04.2015 15:24Базовая частота смены кадров — 60Гц, то есть в одной секунде 60 кадров. Один кадр длится 1/60 секунд, это 16.(6) миллисекунд. Современные технологии используют задержку в два (точнее один плюс то время, что ещё осталось до следующего) кадра, прежде, чем игрок видит результат своих действий. Зачем называть обычную кадровую задержку устрашающим словом «микрозадержка», непонятно.
Чтобы сократить задержку реакции до двух миллисекунд, нужно ускорить графику больше, чем в 16 раз. Даже с учётом сильно упрощённого следствия из закона Мура (удвоение тактовой частоты каждый год) потребуется 4 года. Но закон Мура так не работает, а будут ещё проблемы с частотой и разрядностью шины данных, с отводом тепла, ещё целая куча других инженерных и софтовых проблем.
В общем, качественную ВР ещё ждать довольно долго.
darkfrei
27.04.2015 17:30+1Почему базовая частота смены кадров? Можно и 500 герц получить, оставив высокую детализацию только напротив желтого пятна.
leshabirukov
27.04.2015 23:12+1Для этого надо, чтобы дисплей двигался синхронно с глазным яблоком, а не с головой как сейчас.
leshabirukov
27.04.2015 23:10Наращивать fps — не единственное решение. Мне приходит в голову такая схема: за время смены кадра сцена меняется мало, достаточно рассмотреть главную компоненту — линейное движение картинки в поле зрения. Допустим, на 50 пикселей по горизонтали. Добавляем в матрицу дисплея функциональность сдвигового регистра — и каждую 50-ю часть кадра сдвигаем изображение на пиксел прямо в матрице. Правда пиксел ещё должен физически успевать переключиться.
beeruser
28.04.2015 00:11+1SteamVR и DK2 имеют low-persistence дисплей. Он активен лишь ~1мс. Остальное время выключен. Это позволяет прикрыть убрать блюр.
То о чём вы говорите уже реализовано в шлемах. Перед выводом полученное от PC изображение «подправляется» в зависимости от полученных с датчиков данных.
Естественно это чуть посложнее чем «сдвиговый регистр».
В Morpheus происходит репроекция на 120Hzleshabirukov
28.04.2015 13:18То о чём вы говорите уже реализовано в шлемах
Как я понимаю, не прямо в матрице. Важно, чтобы коррекция делалась уже после развёртки, только тогда можно сделать задержку меньше времени смены кадра.
beeruser
28.04.2015 00:30В реальности всё сложнее.
Задержка трекера -> USB hw -> USB sw -> апдейт сцены + рендер -> буферизация драйвера (1..3 фрейма) -> рендер кадра на GPU -> vsync -> scanout
Т.е. данные которые мы получили с трекера, к моменту появления их на экране
безнадёжно устаревают. Для борьбы с этим используется предсказание.
Чтобы уменьшить латентность, можно апдейтить данные прямо во время рендера на GPU, но не всегда и везде это возможно.
valplo
27.04.2015 16:06+2Короче, надо работать в сторону прямого подключения.
CynicalBear Автор
28.04.2015 10:22-2Лично я уже никогда не соглашусь на имплантацию, какие бы выгоды это не сулило. Да и мало кто из моих знакомых пошёл бы на это. Вероятно, нужно готовить в этом направлении пару следующих поколений, чтобы общество смогло принять идею массовой имплантации в мозг.
Mithgol
28.04.2015 11:41+1Рэки Кавахара сочинил несколько фантастических произведений («Sword Art Online», «Accel World»), в которых вместо имплантации проводилось беспроводное подавление нервных сигналов между мозгом и телом и перенаправление обратных связей в виртуальный мир или в дополненную реальность.
Интересно, насколько возможен такой безымплатнационный беспроводняк.leshabirukov
28.04.2015 13:14Ну, первичная зрительная кора лежит, по крайней мере частично, на поверхности мозга. Но часть адресатов сигналов сетчатки (четверохолмие — обратная связь движения глаз, эпифиз — цикл «сон — бодрствование») останутся не у дел.
rPman
28.04.2015 23:18Если 'общество' (читай государство) централизовано решит что ему нужны люди с имплантированными (чипованными или 'с разъемом' или как еще назовут эту операцию в будущем), то способов заставить добровольно-принудительно — миллион.
Самый простой пример — работу не чипованному гражданину найти будет сложнее (меньше будут платить) потому что государство в требованиях к лицензировани или еще где добавит требования на наличие работников с чипом, или налоги за нечипованных,,…
Или просто чипованным будет проще (читай эффективнее) управлять техникой — а значит работодатели будут искать именно таких.
Так что все мы там будем, как миленькие (нет вру, скорее наши дети или внуки).
Reeze
27.04.2015 18:04+2«Если бы я спросил людей, чего они хотят, они бы попросили монитор побольше и разрешение повыше.»
KivApple
28.04.2015 00:09В 3D-фильмах в кинотеатре всегда очень раздражало то, что в фокусе находится то, что задумал режисёр, а не то, куда я хочу посмотреть. Стоит отвлечься от основной сцены и попытаться разглядеть задник — появляется неприятное ощущение от того, что глаза пытаются сфокусироваться, а изображение чётче не становится (и думается мне при постоянном просмотре 3D это нанесёт вред, потому что мозг склонен адаптироваться к изменением и автофокус может ухудшится из-за бесполезности). В такие моменты очень хотелось бы, чтобы такие фильмы снимали с бесконечным фокусом (а при рендеринге на компьютере можно просто не применять имитацию фокуса). Это хотя бы уберёт неприятные ощущения, но, конечно, реализма не добавит, потому что в реальности так не бывает. Но, увы, так никто не делает, ибо зрелищность важнее.
vikarti
28.04.2015 05:50+1есть серия статей где подробно расписаны проблемы с 3D-фильмами, их причины (часто просто денег жалко или опыта нет) и что происходит в плане улучщения ситуации — geektimes.ru/post/249496
KivApple
28.04.2015 00:17Больше всего проблем по идее у 3D-фильмов. В игре не проблема менять фокусировку и точку обзора по движениям глаз игрока (были бы нужные датчики), но в фильме так делать не получится. Получается, что либо пререндеренная графика, либо реализм. В итоге скорее всего виртуальная реальность (если, конечно, она взлетит) убьёт пререндер — фильмы должны будут поставляться в виде векторного 3D и рендериться уже прямо во время просмотра, подстраиваясь под пользователя. А это огромные требования к производительности железа (с учётом того, что ещё и FPS надо в несколько раз повысить, раз даже незаметные микролаги приносят дискомфорт при полном погружении).
И тут встаёт вопрос в том, что может оказаться целесообразнее подавать информацию напрямую в мозг, а не с помощью экранов, ибо это создаёт кучу костылей в виде необходимости следить за глазами. А дальше мы вспоминаем, что мозг способен рендерить изображения на много порядков круче, чем любая видеокарта. В таком случае не лучше ли передавать в мозг изображения в векторном виде, чтобы он уже сам разбирался что к чему? Мне кажется, что это единственный способ создать полноценную виртуальную реальность — всё упирается в степень изученности работы мозга.
Sadler
28.04.2015 02:12В игре не проблема менять фокусировку и точку обзора по движениям глаз игрока (были бы нужные датчики), но в фильме так делать не получится
С фокусировкой всё просто: если фильм и так в 3d (есть карта глубины), никто не мешает добавить размытие куда надо в соответствии с точкой, на которую направлен взгляд зрителя. Один элементарный шейдер, который потянет любая современная видеокарта. С обзором для начала можно воспользоваться обыкновенной технологией визуализации панорам: отображать картинку на вращающуюся сферу. Просто сферы будет две, под два глаза.
И тут встаёт вопрос в том, что может оказаться целесообразнее подавать информацию напрямую в мозг
Не может. Никто не пойдёт на сложную и опасную операцию на мозге ради такого.rPman
28.04.2015 08:59Не может. Никто не пойдёт на сложную и опасную операцию на мозге ради такого.
'пока' не пойдет
KivApple
28.04.2015 20:26По идее мозг выполняет обратную рендерингу операцию — превращает картинки с двух глаз в векторное трёхмерное изображение, которое уже обрабатывает (при этом делает это так хорошо, как пока не может ни один компьютер). Представьте, что человек печатает текст на принтере, отправляет по почте, получатель сканирует лист бумаги и распознаёт с помощью специальной программы текст. И это всё вместо того, чтобы отправить e-mail. Очевиден оверхед по затратам ресурсов, как со стороны отправителя, так и со стороны получателя (а между тем рендеринг 3D это очень и очень ресурсоёмкая задача для компьютера, если требуется фотореалистичность). Хотя элемент безопасности также присутствует (в файле может оказаться вирус, но ни один компьютерный вирус не самораспространяется на бумаге).
Конечно, на текущем уровне развития технологий пока нет иных вариантов, но в будущем они могут появиться. И «никто не пойдёт на сложную и опасную операцию» сегодня, но рано или поздно человечество придёт к тому, что операция перестанет быть сложной и опасной.Sadler
28.04.2015 22:23+1И «никто не пойдёт на сложную и опасную операцию» сегодня, но рано или поздно человечество придёт к тому, что операция перестанет быть сложной и опасной.
Я столько не проживу. Какой толк об этом сейчас говорить?
shapovalov_org
28.04.2015 07:19+3Да уж, лучше сферы братьев Латыповых для пробежек в виртуальной реальности ещё ничего не придумали:
shapovalov_org
28.04.2015 10:54Чип в мозг и делов ) Главное чтобы потом настоящая реальность не пропала )
Myosotis
Так вот почему укачивает в играх. Я из-за этого не смогла пройти ни одну игру с видом от 1 лица.
ruikarikun
Даже DOOM?
Myosotis
Помню, что в Doom3 и в Portal точно укачивало.