История такая. В мире вообще очень мало хорошо реализованных тренингов в виртуальной реальности по чрезвычайным ситуациям, если не считать очень-очень закрытый контент. На всех мировых конференциях показывают какую-то лажу и говорят, что это упрощённая модель, или не показывают вовсе (так как права принадлежат заказчику, мы не можем показывать).
Мы решили сделать возможный максимум по отработке чрезвычайных ситуаций в нашем Tier III-дата-центре и поймали такое дикое количество грабель за пару лет, что просто не можем не поделиться.
Что показывать
До тренинга обучение спецам службы эксплуатации строилось на том, что им словами рассказывают, где и как расположены системы в дата-центре, каково их назначение, порядок обслуживания. По итогам инженеры сдавали письменные и устные тесты. Ситуацию в реальности повторить крайне сложно, особенно на живом оборудовании. Мы взяли за основу их методику действий и реализовали сценарий в виртуальной реальности.
Первый шаг был простой. Все шкафы и все щитки скопировали вместе с шильдиками «не трогать, идут работы» — мы начали делать это давно, ещё до того, когда появились шлемы. Стали моделировать без глобального понимания, как делаются модели для такого обучения. Потому что методологии никакой на тот момент по миру нигде не было.
В процессе реализации сценария поняли, что необязательно делать модели с точностью до винтиков, потому что их не будет видно вообще в процессе обучения. Это вроде как банально, но когда ты ставишь задачу, не опираясь на сценарий, то на ДГУ будут все винты с маркировками на них. А в виртуальной реальности всё должно быть как настоящее, но с минимальным количеством элементов. И винты на прикручивание фланца не нужны, если это тренинг эвакуации. Это важно, потому что люди, когда покупают систему ВР, платят и за качество картинки, и за производительность. Качество моделей влияет на требования к серверу, видеокартам, разрешению — много на что. В общем, тормозить не должно. Под такие вещи даже собирают специальные серверы под заказ с 72 GPU-карточками.
В этот момент, кстати, встал вопрос железа. Всем было интересно, к чему оно такое дорогое. Мы быстро разобрались. Попробовали было реализовать на десктопах с игровыми картами, так выяснилось, что на них запустить картинку в стерео с профессионального проектора вообще невозможно. Задумались, почему кластеры для VR собираются из рабочих станций, попробовали взять сервер и засунуть в него несколько карточек. Стало понятно, что требуется специальный шлейф, которого в природе нет, охлаждение… Короче, не нужно выдумывать велосипед. В итоге купили «правильный» сервер.
К грамотной подготовке контента по производительности пришли в какой-то мере в 2014 году. Для себя сформировали порядок разработки контента для ВР. И обкатали на себе же методологию. Важный первый шаг, например, — не намоделить и напрограммировать, а понять, о чём тренинг и какое оборудование используется в сценарии; что критично (может, не шкафы моделировать надо, а лампочку индикации на потолке). Очень важно, чтобы человек видел все вещи, как на реальном объекте, и все требования сводятся к тому, чтобы параметры и размеры пикселей не вносили искажения в реальную геометрию объекта.
У нас, например, в тренинге по дата-центру граничный параметр — инженер со своего места у ДГУ видит цифры на экране. Значит, с того же места в комнате виртуальной реальности он должен их различать — отсюда требования к разрешению. Таких базовых элементов сотни.
По большому счёту нет методик, которые рассчитывают систему отображения, если знаешь минимальный объект. Создали тренинг в максимальной детализации, загнали в комнату — и стали смотреть, что и как. Пригласили эксперта с «Компрессора» (так называется наш дата-центр) — он в комнату заглянул, тапочки и очки надел. Загрузили модель без логики, без сценария — в плане размера пикселя и разрешения всё вроде о’кей.
«Я её хрясь, она бдыжь и трррр, я за рубильник, а если пфф и хррр-трр-хррр, то сразу гаси»
Начали гонять сценарии — возник второй комментарий сразу: надо дополнять звуком обязательно. Оказывается, инженеры слушают много чего, и по звуку определяют, заработала штуковина или нет. Например, если ты включаешь ДГУ, стены должны дребезжать. Затряслось — только потом идёшь делать действие дальше. Это очень логично, но на протяжении долгого времени считалось, что ни качество графики, ни звук не влияют на эффект. Влияет только логика. У нас же была уверенность, что чтобы ощущение появилось, надо моделить хорошо.
Прогнали ещё большой тест с командой с объекта. Говорят, освещённость в комнате не соответствует реальности: «Нам кажется, что в комнате потемнее». А это, между прочим, не только настройка картинки, а ещё и яркость, которую даёт проектор. И формул нет — надо понимать, какая нужна мощность. Тот же вопрос к шлемам. Приходится самим считать.
Следующий момент — мы попробовали большому количеству пользователей (2000 человек) в демозале давать сценарии в шлемах и комнатах. Явные различия были именно эмоционального плана, оттого что ты что-то надеваешь на голову и возможности свободно двигаться и взаимодействовать с окружающими сужаются.
Поправили звук. Доделали индикацию важную с лампочками — что моделлер не понимал, подсказали коллеги с объекта. Ещё раз посидели с ними на тестах — говорят, всё круто. И это люди, которые реально работали несколько лет. Почувствовали себя как дома.
Геометрия
Надо решить по геометрии комнаты: есть куб, цилиндр и купол. Остановились на кубе — там нет искажений, потому что проекторы дают картинку на плоский экран. Комната на 4 экрана — боковые, фронт, пол. Бывает, применяется полный куб. На стыках экранов, да, будут искажения в кубе — незначительные, на работу в ЦОДе это никак не влияет. Цилиндры и сферы применяются в крупных симуляторах, когда нужно иметь возможность смотреть вокруг себя без специальных джойстиков. У «Пежо» и «Ситроена» комнаты прямоугольные, их так куда проще обслуживать. Без космических цен на железо получается следующее: взяли модель международной космической станции и начали сводить на сегмент сферы. Программно и аппаратно пробовали — смотришь, а у МКС солнечные батареи здоровые винтом идут. По краям особенно. На производстве надо оценить корректность формы, и можно принять такой спецэффект за ошибку. Поэтому только кубы.
Манипуляторы
Чтобы нажимать кнопки в сценарии, нужны нормальные манипуляторы. Их сейчас нет. Всякие штуки от иксбокса, флайстики-джойстики есть, но это всё, к чему мы привыкли, сидя перед дисплеем. Перчатки — без вариантов. Когда смотришь на руку, не видишь стереокартинку, когда смотришь на картинку — непонятно, как захватывать изображение. Система трекинга даёт погрешность в несколько сантиметров — это как валенком по пульту. На модели много мест с клавиатурами или панелями управления железом — там маленькие кнопочки. В экстренной ситуации ты не будешь думать «хоп, я её подсек, теперь нажму кнопку», хотя мы натренировались дрожащей штукой ловить кнопку поначалу. Ещё сейчас «тремор» никак не компенсируется, надо писать свои доделки.
Кроме того, инженер, оказывается, разными руками в разные стороны делает разные действия, а тут поначалу не получалось, дико бесило.
Много времени ушло на то, чтобы разобраться, как с манипуляторами правильно работать.
Сейчас делают манипуляторы для каждой руки отдельно. Надо думать, как человеку с этим взаимодействовать. Мы тестируем. На всех выставках смотрим на манипуляторы. Пока окончательного решения нет.
Ещё одна проблема из области обучения обслуживающего и операционного персонала технических объектов — люди с крупными кистями рук. У некоторых ладони могут быть почти с мою голову. И стандартные манипуляторы не подходят. МИИТ, например, для РЖД тоже сейчас пишет методику использования технологий в подобных случаях. Наблюдаем за ними.
Эффект
Главный вопрос — даёт ли тренинг реальный эффект. Наши эксперты говорят, что даёт. Мы готовим обучение 11 операторов службы эксплуатации ЦОДа с этой системой виртуальной реальности. Смена сценария простая: модель полная, сценарий под несколько помещений. Бег по дата-центру джойстиками между комнатами, внутри комнат — ногами по кубу. Вариант с дорожками пока не рассматриваем. Грузятся парой мастер и ученик.
Ссылки:
- Зачем 3D инженерам
- Косяки с контентом
- Железо и обвес
- Разница между 3D и ВР
- Моя почта — ALeus@croc.ru.
Комментарии (26)
Loxmatiymamont
21.07.2016 10:16Очень круто! Прям очень!
А посмотреть на эту систему даёте?
Как реализована логика индикаторов на шкафах грщ и т.п? Она эмулирует систему или просто зашит набор показаний и реакций на действия?
AlexanderLeus
21.07.2016 11:38В данном конкретном тренинге зашит набор показаний и реакций. Этот набор определяется технологической картой. В случае когда идет обучение последовательности действий, зашивать симулятор физических процессов и работы установок в тренинг нет необходимости. В тренингах по отработке внештатных ситуаций, например, на нефтеперерабатывающих заводах, как раз обратная ситуация.
Конечно, мысль создания полной эмуляции ЦОДа нас посещала, и не раз. Толковых симуляторов оборудования не нашли, поэтому пришли к тому, что всё нужно поднимать вручную.
Есть эмуляторы отдельного оборудования, но далеко не всего, которое есть в ЦОДе. Например, электрических щитков, но в данном случае они не подошли.
ilyaplot
21.07.2016 10:19+1Добавляете к этой системе робота и можно работать удаленно, например, одному супер-инженеру в остальных цодах решать нестандартные ситуации. По затратам, наверное, дешевле было собрать железные эмуляторы?
AlexanderLeus
21.07.2016 11:39На самом деле вы попали в самую точку. Есть отдельные задачи по виртуальной диспетчеризации. Как раз, когда оператор сидит в комнате и управляет всеми системами. В таком случае на системах должны стоять соответствующие контроллеры и приводы для управления.
Насчёт затрат. Для отдельных задач иногда целесообразно создавать «железные эмуляторы» — классические тренажеры. Они решают определенный круг задач. Комплексы виртуальной реальности применяются для решения комплексных задач на отказоустойчивых или опасных производственных объектах с имитацией не только самих систем – шкафов, установок и т.п., но и с погружением человека в «атмосферу» самого объекта.
jonic
21.07.2016 11:41Жееесть, городить железо для управления железом! Серьезно?
AlexanderLeus
21.07.2016 12:18Основная задача – контролировать процесс и минимизировать риски. Снижение рисков возникновения аварии — с одной стороны, остановки бизнес-процессов — с другой стороны. Представьте, если, например, во время грозы пропадет питание у большого ЦОДа или завода.
Отключатся платежные терминалы в магазинах… Очереди — это еще не страшно, можно пережить. А если отключится аварийная система опасного производственного объекта и не сработает автоматика… В общем, это экономически обосновано, и потому — это мировая практика.
rPman
21.07.2016 20:38Отдать на аутсорс механическое администрирование железом, или просто нереально сократить штат инженеров и не развозить их по всему миру — бесценно.
VioletGiraffe
21.07.2016 10:48Не понял насчёт требований к железу, на котором работает симуляция. То есть GTA 5 на домашнем компьютере 2-летней давности запустить можно, а вашу систему, в которой графика явно проще — нельзя?
AlexanderLeus
21.07.2016 12:30+1Для реализации тренинга в виртуальной реальности необходимо использовать профессиональные видеокарточки, которые позволяют покадрово синхронизировать стереоизображения на 4х и более экранах. Синхронизация нам нужна предельно точная, так как иначе картинка будет выглядеть, как желе. Плюс необходимо quad buffered стерео, которое не имеет потерь в качестве и выдает картинку с необходимой частотой 120 Гц. Помимо этого, система должна работать с профессиональными проекторами, требования к которым задаются особенностями тренинга.
Вот отсюда и стоимость.VioletGiraffe
21.07.2016 12:42Теперь понял. Не обратил внимания, что вывод на множество мониторов/проекторов. Спасибо за объяснение.
pav5000
21.07.2016 12:49Полагаю, что при проецировании на экран, размером со стену, разрешение будет адовое. Плюс, в комнате-кубе этих экранов 6 штук. Плюс, для каждого глаза своя картинка, плюс если двое людей грузятся в симуляцию, то это уже 2 пары глаз. Получаем: 6*2*2=24 экрана одновременно рендерить надо.
Shultc
21.07.2016 11:02А такая вещь как HTC Vive не решит сразу все проблемы и с расширением, и с манипуляторами?
AlexanderLeus
21.07.2016 12:32+1HTC Vive — хорошая система с хорошими манипуляторами, решающая конкретные задачи в индивидуальных тренингах и на рабочем месте.
На наш взгляд, как комнаты, так и HMD имеют место быть. На текущий момент тренд следующий: большие системы типа комнат применяются для коллективного принятия решений, например, на производстве самолётов, автомобилей, кораблей, а также в случае когда необходимо консультироваться у эксперта во время тренинга и в то же время его видеть.
HMD-системы применяются на рабочих местах и для индивидуальных тренингов. Полное «отключение» от реального мира может быть как плюсом, так и минусом. С одной стороны, можно полностью погрузиться в виртуальную реальность, с другой стороны, ты не видишь себя и окружающих людей, что вызывает неприятные ощущения у некоторых пользователей. В ближайшее время мы увидим дальнейшее развитие технологий VR, и пока не ясно куда оно нас приведет.
GeMir
21.07.2016 13:28С точки зрения психологии и дизайна любопытно было бы узнать, насколько хорошей идеей является смешение языков (все показания на мониторах на английском, но в то же время «ДГУ» и «ГРЩ»).
AlexanderLeus
21.07.2016 14:39Это всё-таки разные вещи. Инженеры умеют работать с данным оборудованием, и язык тому преградой не становится. А «ДГУ» и «ГРЩ» — это используемые сокращения, соответственно, для «дизель-генераторной установки» и «главного распределительного щита», поэтому какого-либо диссонанса от смешения языков здесь, на наш взгляд, нет.
Lost_Daemon
21.07.2016 14:05Метод очень многообещающий. Вы писали, что обучающийся может одновременно оперировать двумя руками, но существует ли возможность одновременного нажатия комбинаций кнопок на интерфейсных панелях. Ведь реализовать это достоверно, используя стандартные средства ввода (клавиатура, мышь), решительно невозможно. Достаточно ли пространственное разрешение контроллеров для таких детальных манипуляций?
Какова первоначальная квалификация и образование обучаемых? Насколько быстро они осваивают тренировочное оборудование и учатся взаимодействовать в виртуальной среде? Мой опыт разработки промышленных тренажеров в области газопереработки и нефтехимии показывает, что проще всего пользователь со средним техническим образованием (таковых большинство среди операторов и техников промышленных установок) воспринимает классическую трехмерную картинку на экране и взаимодействие с оборудованием через интерактивное контекстное меню заранее предложенных действий.AlexanderLeus
25.07.2016 12:26Одновременное нажатие комбинаций кнопок можно осуществить двумя способами: либо используя манипуляторы в виде перчаток, где можно отследить каждый отдельный палец, либо делая имитацию одновременного нажатия на контроллерах — например, зажимая несколько клавиш на контроллере одновременно. В случае с перчатками остаётся проверить, хватит ли точности трекинга (хотя всегда можно обойтись и без такой точности, считывая именно расположение пальцев относительно друг друга в месте, наиболее приближённом к интерфейсной панели), а в случае с имитацией точностей нет в принципе.
Разумеется, не все обучаемые очень быстро осваивают тренировочное оборудование, если ранее они с ним незнакомы не были. Но практика подсказывает, что особой трудности обучить манипулятору всё равно нет, достаточно перед началом обучения показать и рассказать всё о работе с манипулятором, с которым предстоит работать.
fetis26
21.07.2016 15:27+1А можно фотографию такой комнаты, а то я не понимаю как это вы делаете ВР на проекторах. Очки не нужны что ли или как?
зы. "Остороно електрическое устройство", это косяк моделеделов или там проблема со шрифтами?
AlexanderLeus
25.07.2016 12:26А они уже есть, вы посмотрите по статьям, которые указаны в ссылке. В паре из них точно есть фотографии комнаты. Но, если вкратце, очки нужны, тяжёлые шлемы и провода — нет.
P.S. Косяк :) Осталось только узнать чей — моделлеров, которые делали текстуры к ДГУ, или авторов наклейки на прибор, которую потом сфотографировали и с предельной точностью перенесли.
gotch
Как-то по максималистски вы подошли к тренингам. Можно же обойтись обычным шкафов и программой-симулятором на сенсорном дисплее.
AlexanderLeus
Для тренингов персонала отказоустойчивых и опасных производственных объектов необходимо не только проводить обучение по работе с оборудованием, но и погружать обучающего в среду, отсюда такой серьезный подход с применением VR.
gotch
Не случается ли у них разрыв шаблона на реальном объекте? Похож, да не тот.
aliev
Не легче сделать бокс, и сделать макеты оборудования?