Обучение машинистов у китайского производителя «Сапсанов». Они взяли головной вагон с кабиной машиниста, скопировали все приборы и добавили «вид в окна» с помощью 3D-экранов.

Я занимаюсь технологиями виртуальной реальности для инженеров и для обучения персонала. Это такие системы, где вы лично можете походить по нефтяной платформе или АЭС, отработать меры в случае аварии на практике и своими трудовыми руками в перчатках закрутить Самый Главный Вентиль.

Так вот, заказчики регулярно путают терминологию и технологии, в чём им очень помогают, скажем так, не совсем профессиональные игроки рынка. Я бы хотел внести ясность и ещё раз разложить по полочкам, что есть что. Сразу скажу, что после первой пробы иммерсионной системы все вопросы отпадают, но здесь я даже примерно не смогу передать ощущения, поэтому буду писать слова.

Миф 1: 3D-картинки — это не виртуальная реальность


Обычные 3D-картинки на компьютере — это далеко не виртуальная реальность. Да, там есть модели, рендер и все дела, но вопрос в том, как это воспринимается. Обучение в такой системе сотрудника АЭС не сильно далеко уходит по скорости и полезности от обучения по плакатам. Дело, опять же, в том, что нет эффекта погружения, ради которого и городят весь лес с ВР.

На объектах повышенной ответственности предполагается, что в рамках отработки чрезвычайных ситуаций на тренажёре вы получаете более-менее точное представление не логикой, а «на шкуре» в целом. Знаете, это как у пилотов самолётов — сначала переход с компьютерного тренажёра на тренажёр с реалистичными органами управления и моделированием наклонов резко расстраивает все навыки. Вроде, хорошо летал по картинкам, а тут как будто в первый раз. И во второй раз похожий скачок происходит при переходе от моделирующего тренажёра к настоящему воздушному судну.

Научиться по картинкам можно, но это в разы сложнее и дольше, плюс не даёт необходимого эффекта. Почему? Потому что вы не будете погружены в происходящее. Когда я бежал вместе со всеми с нефтяной платформы, где произошёл взрыв, я запоминал зрительно дорогу, крутил вентили руками, совершенно точно знал своё положение в пространстве и габариты разных вещей, чётко видел всё в объёме. А в 3D на экране даже нет возможности оценить расстояние до чего-то глазами, не говоря уж о других вещах. А это в симуляции часто очень и очень важно. В МЭИ, например, студенты засовывают голову в «работающую» по САПР-модели турбину и всё сами собирают-разбирают.


По презентации с такими картинками, конечно, можно догадаться, как устроен двигатель поезда. Но ощущения в сравнении с тем, что вы бы видели его реально в натуральную величину и разбирали бы сами руками, как небо и земля. Студенты МИИТ РЖД работают вот с такими моделями и играют в «симулятор техника от первого лица» почти каждый день.


Из нашего дата-центра

3D-фильм — это не ВР


«Ок, — говорят заказчики, понимающие этот момент. — Давайте сделаем 3D-фильм. Мы видели 3D-фильмы в кинотеатрах, очень впечатляет. Надо делать инструктаж по эвакуации или мерам при аварии таким же. Получится круто, мы даже сами посмотрим».

Проблема в том, что фильм и управляемая реальность — это две разные вещи. Например, во втором случае есть сценарии, которые могут срабатывать с различной вероятностью, или тренер может вызывать различные развития событий. В иммерсионной системе ВР вы лично делаете всё то, что нужно для, например, эвакуации. Бежите в нужную сторону, работаете с нужными приборами и инструментами, в конце концов получаете мгновенную обратную связь при совершении ошибок. Это как игра, которую хочется пройти, но в которой при этом есть свобода действий. Естественно, игры обучают куда лучше, чем фильмы.

Тесты наших западных коллег показали, что по фильму последовательность действий запоминается очень слабо.

Фильм — это круто, но для настоящего обучения нужны системы, где человек делает всё сам. Я не знаю ни одного пилота, научившегося летать по сериалам.

Стереосистема плюс мышь и клавиатура — это ещё не ВР


Третья проблема в том, что в момент понимания того, зачем же всё-таки нужна виртуальная реальность, заказчик решает остановиться на стереосистеме с обычными органами управления. Например, мышкой и клавиатурой. Ощущения, конечно, уже лучше. По опыту скажу, что, например, наша 3D-модель дата-центра очень хороша для того, чтобы бегать по ней в Counter-Strike. Мы, конечно, стали ориентироваться во всех его закутках с закрытыми глазами, но это всё ещё мало помогает во время отработки действий при потенциальных ЧС. Потому что нужно идти ногами в дата-центр и собственными руками уже на месте исправлять ситуацию.

Клавиатура и мышка — это барьер, который мешает перейти от режима симуляции к режиму, когда вы, выпрямившись во весь рост, натурально ходите по объекту и запоминаете все действия кинестетически, а не визуально. То есть переход от визуальной памяти к механической, моторике, если угодно. А последнее — именно то, что нужно для такого обучения при ЧС. Чего нет в моторике, то будет сразу позабыто при первых звуках сирены. Или неправильно сделано. Или не вовремя. Или человек будет мучительно раздумывать перед каждым шагом, переводя логический опыт в практические движения.

Сидение за компьютером и тыркание мышкой не даёт полного впечатления. Когда ты в виртуальной среде бегаешь по нефтяному объекту и у тебя происходит что-то — слышен звук, можно ощупать клапан. Вместо механической памяти (что куда кликать) появляется память о том, что и как делать, на каком расстоянии в реальном масштабе какой объект от другого расположен.

Мировая практика показала, что отработка сценариев в среде виртуальной реальности — один из лучших способов передать критические знания от старшего поколения к молодому. Старый опытный ядерщик заходит с молодым на объект и показывает, что есть что. А потом запускает сценарий одной из аварий и смотрит, что как, комментирует. И надо сказать, что молодые особенно хорошо «спасаются». Обучение проходит быстро, и процесс передачи знания становится более веселым и действенным.

Оккулус и подобные системы — это не промышленные решения


«Ок, — говорит заказчик. — Понятно, походил я по вашему кубу, открутил какую-то фиговину из турбины, положил в карман. Но когда выходил из виртуальной реальности, фиговина что-то пропала. Всё понятно. Давайте делать у нас, только на шлемах ВР — я тут в торговом центре недавно такой надевал. Самое то».

Проблема в том, что шлемы виртуальной реальности — это такая штука, от которой минут через 10–15 вас начнёт нереально тошнить. Плюс даже в самых современных шлемах пока видны большие красивые пиксели, не дающие нормально сфокусировать зрение на чём нужно.
И ещё одно. В узком углу обзора мозжечок чувствует, что что-то не так. Это как в автомобиле играть на телефоне в «Кармагеддон»: вроде движение автомобиля в реальности и управление вашей машиной в игре не связаны, а нет, моторные навыки страдают. И долго вы нормально играть не сможете.

Шлемы хороши для потребительского сегмента. Но если вы гоняете многочасовое обучение (а элементарная эвакуация отрабатывается 6 часов до полного автоматизма), люди просто сойдут с ума. Готовьте бумажные пакетики.

Вот типовые плюсы-минусы комнат виртуальной реальности и шлемов (Head mounted displays):
  • Комнаты дороже, шлемы существенно дешевле.
  • Для комнат нужно специальное помещение, для шлемов — нет.
  • Комнату тяжелее перевозить с места на место, шлем — легче.
  • Шлемы дают низкое разрешение, комнаты — высокое.
  • В комнатах есть совместная работа над объектом (обучаемый и наставник в одном физическом помещении и наставник может чуть ли не вести за руку ученика). В шлемах такого нет.
  • В комнатах есть возможность свободно перемещаться, что резко увеличивает полезную механическую память. В шлемах — только крутить головой.
  • В комнатах моделируется открытая среда, в шлемах — всегда туннель зрения.
  • Комнаты снабжаются точными датчиками положения объектов внутри, шлемы чаще всего полагаются на акселерометры с высокими погрешностями. Отсюда — разница в интерактивности и точности действий.
  • Шлемы дают ощущение головокружения и замкнутого пространства, комнаты — нет.
  • Текущие шлемы сильно ограничены по функциональности и производительности, узкое место комнат — контроллер (ноутбук или кластер), что позволяет использовать их годами под разные проекты.
  • Комнаты занимают существенно больше места при хранении, шлемы легко убираются на склад.


Что такое виртуальная реальность


ВР — это слаженно работающий набор систем контента, проектора, очков, синхронизатора для мерцания очков и контроллера (мощного компьютера или кластера). Правильно собранная система ВР позволяет получить на объектах повышенной ответственности главное — научить персонал мгновенно принимать решения в случае чрезвычайной ситуации. На ряде промышленных объектов разница в 3–5 секунд может оказаться решающей и стоить даже не пару миллионов долларов (стоимость оборудования), а десятки человеческих жизней. Вот почему всё то, что позволяет максимально точно перенести опыт аварийной ситуации, заслуживает внимания.

Разумеется, если есть возможность отрабатывать «в натуре» ЧС, этим надо пользоваться. Но единственный известный мне крупный стенд такого рода — это копия МКС (ранее была копия МИРа), на которой будущие экипажи проходят обучение. И если где-то будет разгерметизация, дышать парни тоже не смогут — такого ВР пока не умеет. Но, разумеется, где нельзя взять и скопировать для обучающих целей АЭС, нефтяную платформу, любой промышленный объект (например, цех по строительство самолетов или крейсеров, горное производство или ещё что-то), используется техника ВР как наиболее близкая. Плюс «физические» тренажёры по отдельным узлам.

Комментарии (12)


  1. CRivlaldo
    23.07.2015 10:16
    +2

    С кабинами транспортных средств всё ясно. А как быть с погружением в пространство, где надо ходить? Ведь кнопки WASD к реальной жизни отношения не имеют. Видел в интернете специфичный контроллер для Battlefield 3. Но стоит он в районе полмиллиона фунтов.
    image


    1. PPochtennov Автор
      23.07.2015 11:37
      +1

      Куб 3х3 метра позволяет передвигаться вокруг объектов. Можно сделать куб больше, к примеру 5х5, если помещение позволяет и ходить. Если нужно побегать по улицам, можно использовать специальные контроллеры, которых сейчас на рынке уже достаточно много, но цена пока высока, согласен. Можно прыгать и бегать, только ногами надо топтать на месте, как и при «беге» с Кинектом. Вот здесь есть немного больше об используемых нами контроллерах: habrahabr.ru/company/croc/blog/235907


  1. Kitsok
    23.07.2015 11:35
    +1

    Поправка №1: пилоты самолётов не учатся летать на «плоской» картинке. Летать они учатся на самолёте, ненормальные, сложные ситуации, которые нельзя отработать на самолёте они учат на подвижном тренажере. По плакатам и картинкам изучаются процедуры, расположение органов управление и т.д., т.е. не полёт, поскольку в нем важно (даже на современных тренажерах) «ощущение пятой точкой».

    А в целом по статье — я не могу представить себе, как можно с любыми технологиями (и даже веществами, поскольку технологии ой как далеки от реальности) научить чему-то практическому без выхода на реальный объект-установку.


  1. uscr
    23.07.2015 12:32

    В целом далёк от обсуждаемой проблемы, но глаз зацепился за эту цитату:

    Сидение за компьютером и тыркание мышкой не даёт полного впечатления. Когда ты в виртуальной среде бегаешь по нефтяному объекту и у тебя происходит что-то — слышен звук, можно ощупать клапан.


    ВР уже так развита, что можно передавать тактильные ощущения?


    1. PPochtennov Автор
      23.07.2015 13:48

      В теории это уже возможно. Есть перчатки с тактильными ощущениями.


      1. uscr
        23.07.2015 13:49
        +1

        А практике это используется? У вас, как я уже понял не используется.


    1. samodum
      23.07.2015 16:30

      Я читал про такие в «Юном технике» №8 за 1989 год:
      zhurnalko.net/images/5/a/5a1e87cc151b99620d45/page0030.jpg

      «Более того, протянув руку, вы сможете взять, к примеру, камень, лежащий на дороге по ту сторону экрана, в Зазеркалье, и ощутить его тяжесть и шершавость, тепло или холод. Достичь такого эффекта помогают интерфейс-перчатки — те самые, что вы надели вместе со шлемом. Между двумя слоями ткани или кожи в них проходят тонкие световоды. Они обвивают каждый палец, а своими концами уходят в специальную плату, вшитую в районе запястья. Здесь находятся светоизлучаю-щие диоды и фототранзисторы, преобразующие электрические сигналы в световые и обратно. Сгибая палец, вы тем самым сгибаете и световод, изменяя характер проходящих сигналов. Эти изменения улавливаются фотоэлементом, преобразуются в электрический код, который и служит указанием для компьютера, что именно делает рука — сгибает пальцы в кулак или распрямляет их, берет камень или бросает его.
      Кроме световолоконных нитей, перчатки снабжены также микроградусниками и обогревателями, дающими представление о температуре камня, а также датчиками, которые имитируют тяжесть камня, создавая давление на ладонь. Есть здесь и индикаторы шершавости поверхности, к которой прикасается рука. Они представляют собой, например, крошечные подушечки, наполненные кремний органической смолой...»


      1. uscr
        23.07.2015 17:02

        Я читал об этом лет 10 назад, кажется даже в «Игромании». Там было описание уже более-менее реальное: воздушные камеры в перчатке, в которые нагнетается воздух, создавая давление на руку. Но, насколько я понимаю, при текущем уровне развития «около ВР» возможно разве что передать сигнал «надуть перчатку». Ну в лучшем случае «надуть правую часть ладони».
        Прочитав в статье «ощупать клапан» подумал, что уже давно всё придумано и можно передавать ощущение поверхности.


  1. PPochtennov Автор
    23.07.2015 14:09

    Мы как раз используем это в своей работе. В тексте кратко говорится о 3D-контенте нашего аутсорсингового дата-центра «Компрессор». Служба эксплуатации отрабатывает по нему действия при наступлении каких-либо внеплановых ситуаций, используя 3D-куб. Ну, и для заказчиков готовим контент, поставляем оборудование. Сейчас в основном эта тема наиболее востребована вузами и крупными госкорпорациями. И добавлю, что тактильные ощущения — это не самое главное. Важны ощущение объема, габаритов и ориентация в пространстве.


  1. lexore
    23.07.2015 15:44

    А вы не пробовали «отливать» на 3D-принтерах элементы интерьера из ВР?
    И собирать из них нужный узел, как из конструктора.
    Потом просто «наложить» виртуальную комнату на реальную в очках ВР.
    Или использовать дополненную реальность.
    Имхо, может получиться хороший симбиоз — пластик дает тактильность, остальное (цвета, надписиь, датчики и т.д.) дают очки ВР или дополненная реальность.
    Конструкторы из пластика легко изменять, разбирать и утилизировать.


  1. reji
    23.07.2015 17:02
    +1

    Видел где-то шар, в котором можно было ходить(похожий на это). Также, видел где-то костюм, который дает тактильные ощущения.
    Не умаляю достоинства «виртуальных комнат», но лично для себя с удовольствием бы приобрел такой шар, костюм и шлем и игру, в которой можно играть только в таком режиме. Можно продавать армейским, пусть тренируются делать марш-бросок в полной аммуниции при этом стреляя на ходу :)

    А если по теме, то хотелось бы больше технических подробностей о комнатах: как оно устроено?


  1. evorios
    24.07.2015 18:49

    Тут, по-моему, надо двигаться в сторону от виртуальной реальности к дополненной, чтобы пустую комнату с картонными конструкциями превратить в центр управления АЭС, допустим.