Виртуальная реальность (Virtual Reality, VR) и дополненная реальность (Augmented Reality, AR) уже не первый десяток лет сталкиваются с техническими ограничениями, и до недавнего времени в рабочих станциях эти технологии были представлены в основном экспериментальными решениями. Тем временем, они все активнее используются в индустрии развлечений. Складывается мировой рынок виртуальной реальности. Его ведущие игроки предлагают большее количество VR-опций для ПК, шлемов виртуальной реальности и пр.

С появлением в продаже все большего числа VR-оборудования и развитием программного обеспечения перед создателями систем AR/VR открываются огромные возможности. Соответственно, растет и спрос. Начинают появляться и коммерческие продукты для профессионалов.

VR/AR — собирательное понятие, объединяющее множество связанных и не связанных друг с другом технологий, поэтому правильнее говорить от разных рынках, вертикальных приложениях и сценариях применения VR/AR.

Что же такое виртуальная реальность?

Википедия определяет ее как  созданный техническими средствами мир (объекты и субъекты), передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие. Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций VR производится в реальном времени.

Дополненная реальность, в отличие от виртуальной, представляет собой комбинацию реальных объектов и виртуальной реальности. AR позволяет размещать виртуальный текст или изображение поверх объектов из реального мира, которые наблюдает человек (обычно  с помощью мобильных устройств). Виртуальные объекты могут быть наложены на выбранные реальные объекты, и, как правило, имеют прямое отношение к объекту в реальном мире.

То есть дополненная реальность сочетает различную информацию, но ее основой является физическая реальность — то, что пользователь видит на самом деле. AR помогает получить полезную информацию о местонахождении и объектов, позволяет взаимодействовать с виртуальным контентом в реальном мире. При этом пользователи AR в состоянии отличить виртуальное содержание от реального объекта,  а также могут включить и выключить выбранные функции AR, которые могут быть связаны с определенными объектами.


САПР нового поколения: использование планшета и технологий дополненной реальности. Виртуальное содержимое накладывается поверх изображения объекта в реальном мире, которое видит пользователь.

Если в виртуальной реальности устройство полностью погружает пользователя в созданный разработчиками мир, который сложно отличить от реального, то устройства дополненной реальности лишь некоторым образом изменяют видимую пользователю картину мира.

Согласно Gartner Emerging Technologies Hype Cycle 2015, технологии AR/VR могут стать мейнстримом через 3-4 года.

В частности, существует множество решений для смартфонов, которые позволяют при помощи дополненной реальности получить необходимые сведения об окружении. Для примера, еще в 2010 году компания AlterGeo выпустила приложение с дополненной реальностью для iPhone. Продукт позволял смотреть через камеру смартфона, в какой стороне и на каком расстоянии от пользователя расположены городские достопримечательности и заведения. Для постоянного контакта со средой дополненной реальности часть решений в этой области воплощается в виде очков.

Не исключено, что анонс очков дополненной реальности от Apple может состояться осенью одновременно с новым iPhone 8 либо во время открытия кампуса «яблочной» корпорации в Купертино. По мнению разработчиков Apple, а также генерального директора компании Тима Кука, в будущем покупательским спросом будет пользоваться именно дополненная, а не виртуальная реальность.


Ярким примером дополненной реальности является игра Pokemon Go.  Пользователь видит на экране своего смартфона окружающую его обстановку, дополненную виртуальными объектами — покемонами.

Хотя виртуальная и дополненная реальность сильно отличаются технически, они часто упоминаются вместе. В обоих случаях это совершенно новые ощущения для пользователя, но в дополненной реальности он остается в контакте с физическим миром и взаимодействует при этом с виртуальными объектами, а в виртуальной реальности находится в полностью смоделированном пространстве. В то же время, эти технологии могут дополнять друг друга, в них применяются схожие средства разработки используются, движки 3D-моделирования.


По прогнозу аналитиков Digi-Capital, основным драйвером мирового рынка VR/AR, объем которого к 2021 году может достичь 108 млрд. долларов, станет дополненная реальность на мобильных устройствах, да и в целом доля AR будет преобладать — 83 млрд. долларов против 25 млрд. долларов у VR. Показателен пример Pokemon GO — 600 млн. долларов на мобильной дополненной реальности только за первые три месяца.

Важны даже не столько объемы продаж продуктов VR/AR, сколько влияние на «траекторию рынка» этой новой реальности. В данной области работают сейчас многие известные на ИТ-рынке бренды, включая Microsoft, Apple, Google, Facebook, Sony, Samsung и целый ряд других.

Благодаря развитию компьютерных игр произошла консьюмеризация VR. Устройства и ПО виртуальной реальности стали доступны потребителям, появилось немало стартапов, предлагающих всевозможные продукты. Приложения VR/AR бурно развиваются, прежде всего, на мобильных платформах. Однако пока что для качественной работы VR-приложения пока предпочтительнее вариант, когда шлем VR подключен к мощному стационарному компьютеру. Со временем с этим ограничением удастся справиться.

Чтобы технологии AR стали смогли завоевать массовую аудиторию, потребуется устройство, способное стать хитом продаж; батарея на целый день автономной работы;  мобильные сети; экосистема приложений; участие телеком-компаний.  

Решить данные задачи непросто, но уже очевидно, что будущее многих сфер развлечений так или иначе связано с использованием технологий дополненной или виртуальной реальностей. Тем временем технологии VR/AR уже находят достаточно широкое практическое применение помимо индустрии развлечений.

VR/AR на практике

Рынок технологий виртуальной и дополненной реальностей только начинает развиваться. Пока сложно сказать, в каких именно направлениях он продолжит рост. Специалисты уверены, что это будут не только кино и видеоигры, что сфера  AR/VR также распространится на многие другие сегменты. Пока что наиболее перспективными направлениями AR/VR считаются мобильные платформы, где велико число потенциальных пользователей, и узкоспециализированные решения.

Между тем практических примеров уже немало. Так виртуальная реальность достаточно давно и успешно применяется для обучения профессиям, где эксплуатация реальных устройств и механизмов связана с повышенным риском либо связана с большими затратами (пилот самолета, машинист поезда, диспетчер, водитель, горноспасатель и т. п.).


В современных боевых самолетах и вертолетах часто используется нашлемная система индикации. Она позволяет пилоту получать наиболее важную информацию прямо на фоне наблюдаемой им обстановки, не отвлекаясь на основную приборную панель. Это помогает сэкономить секунды, например, во время маневренного воздушного боя. Также многие подобные системы позволяют производить целеуказание путем поворота головы или движений глазных яблок.

Дополненная реальность постепенно внедряется и в общеобразовательный процесс. Например, некоторые американские университеты дали согласие на внедрение технологии дополненной реальности от Microsoft в обучение студентов.

Проектировщику данные технологии дают реальную возможность опробовать различные концепции — детально их рассмотреть и выбрать лучшую. В НАСА технологии виртуальной реальности применяли для разработки проекта вертолета, а компания «Боинг» задействовала их при создании последней модели самолета.
В медицине предпринимаются попытки использовать технологии VR для анализа снимков и лечения различных фобий. Предполагается, что применение подобной практики позволит пациентам со временем побороть свои страхи. Терапия в виртуальном пространстве требует лишь наличия самого оборудования. Можно постепенно увеличивать уровень стрессовой ситуации.

Интересные перспективы открываются в интернете-торговле: покупатель сможет протестировать все функции товара, потрогать или примерить его. Подобные виртуальные магазины рассматривают как потенциальную как замену настоящим бутикам или салонам.

СМИ уже применяют технологии виртуальной реальности в своих репортажах, в освещении событий. Некоторые эксперты полагают, что виртуальное пространство является идеальной средой для вещания новостных изданий.

Представители Microsoft предрекают замену привычных мониторов системами виртуальной и дополненной реальности. Пользователю не нужно будет часами сидеть у экрана. Все необходимые функции управления будут находиться прямо перед ним.

Устройства Microsoft (HoloLens) и Meta обладают функцией совершения звонков в виртуальном пространстве. Изображение собеседника появляется прямо перед пользователем. Подобная технология упростит процесс общения, проведения для бизнес-встреч, онлайн тренингов и мероприятий.


С помощью камеры Intel RealSense можно управлять контентом на экране: жестами прокручивать страницы, вращать объекты, изменять масштаб. Intel RealSense позволяет сканировать трехмерные объекты без помощи специального сканера. В 2017 году компания откроет свое программное и аппаратное обеспечение для разработчиков.

VR и рабочие станции

Для развития подобных технологий потребуется не так уж много времени. В недалеком будущем технологии дополненной и виртуальной реальности будут оказывать влияние на любой бизнес, уверены аналитики Gartner.

Производители рабочих станций активно к этому готовятся. В 2017 году могут появиться системы VR и AR, ориентированные не только на рынок образования и индустрию развлечений, но и на методы компьютерного проектирования и моделирования, создания контента. Когда эти платформы станут более зрелыми, то есть в середине или в конце 2017 года, рабочие станции VR начнут появляться на рынке во все большем количестве.

В 2016 году Dell представила рабочие станции Dell Precision T5810 и T7810 для работы с VR, будь то потребление или создание контента. В настоящее время Dell предлагает большое количество VR-опций для ПК, включая поддержку шлемов Oculus и HTC в ПК XPS, Alienware и рабочих станциях Precision.

Новые рабочие станции с поддержкой виртуальной реальности (VR-Ready) сочетают высокую производительность процессора, памяти и графики для оптимального просмотра VR, имеют специальные графические драйверы и протестированы на совместимость с VR-шлемами и программными продуктами.

Новинка Dell — Precision 7720 — стала первой мобильной рабочей станцией Dell, разработанной специально для создания контента виртуальной реальности. Это самая мощная мобильная рабочая станция Dell: она оснащается новейшими процессорами Intel Core 7-го поколения и Intel Xeon, профессиональной графикой NVIDIA Pascal Quadro, а поскольку это мобильная рабочая станция, создатели VR-контента могут работать над ним в любом месте — там, где найдут вдохновение.

NVIDIA активно работает с вендорами, чтобы вывести на рынок профессиональные рабочие станции «NVIDIA VR Ready». Модели Dell Precision T5810, T7810, T7910, R7910 с рекомендованными NVIDIA конфигурациями отвечают требованиям для работы с VR-контентом, позволяют работать с пакетом VRWorks, включающим инструменты и технологии для разработчиков приложений.

Профессиональные мобильные рабочие станции NVIDIA VR Ready позволяют дизайнерам, инженерам и другим специалистам запускать VR-проекты в любом месте, что ускоряет работу над проектом и повышает его качество. Можно обучать удаленных сотрудников, погружая их в рабочий процесс, визуализировать концепты и модели, предоставлять заказчикам возможность прогуляться среди виртуальных зданий.

Для всех своих новых рабочих станций линейки Precision компания Dell разработала набор конфигураций, которые гарантированно работают с системами и приложениями виртуальной реальности — игровыми (HTC Vive или Oculus Rift VR) и профессиональными. Последние уже сегодня активно продвигаются независимыми поставщиками инженерного ПО как инструментарий для построения точнейших трехмерных моделей сложных объектов, а также для 3D-прототипирования.


Опытная разработка компании 8Ninths — Holographic Workstation на базе технологий Microsoft. Это рабочее место трейдера с визуализацией результатов финансовых приложений.

VR может привести к революционным изменениям в архитектуре рабочих станций и способах их использования. Например, разработка компании 8Ninths призвана дополнить традиционные инструменты трейдера. 8Ninths создала собственные шаблоны проектирования и язык, чтобы изучить, как можно использовать очки HoloLens от Microsoft для преобразования 2D-данных в 3D-голографию. Так родилась Holographic Workstation, которая оптимизирует работу трейдера по взаимодействию с данными в многоуровневой системе. Это позволяет быстро вникать в суть данных и точно обрабатывать их.

Через очки HoloLens трейдер может следить за финансовым рынком, показатели которого представлены в виде «плавающих» в пространстве цветных объектов — их величина зависит от торговой активности. Holographic Workstation может работать с существующими финансовыми приложениями. Этот принцип разработчики намерены в ближайшем будущем применить и в решениях для других отраслей.

Компания Epic собирается внедрить VR-функциональность в будущую версию редактора, который применяется для создания игр на основе Unreal Engine 4. Подключив к рабочей станции шлем виртуальной реальности, разработчик сможет увидеть игровую сцену такой же, какой ее увидят игроки, а чтобы использовать окно с инструментами приложения, достаточно будет повернуть голову.


Можно ожидать, что новые технологии начнут еще более широко применяться и в сегменте бытовых ПК. Microsoft объявила, что в 2017 году Windows 10 получит оболочку Windows Holographic. API оболочки позволит использовать в режиме 3D-интерфейса адаптированные для этой цели приложения наряду со стандартными программами. Виртуальная реальность — не просто начало нового этапа в развитии индустрии развлечений. Она становится большим, серьезным бизнесом, открывает новые возможности для профессионалов.

Аппаратные и программные аспекты AR/VR

Одни из препятствий на пути виртуальной реальности — дороговизна устройств. Этот год может стать переломным, поскольку над их удешевлением работает множество компаний. К тому же громоздкие и налагающие ряд других ограничений VR-гаджеты продолжают уменьшаться в размерах. Наряду с этим на рынке увеличивается количество устройств дополненной реальности.

Для разработчиков приложений это может значить, что потребуются серьезные усилия и навыки: разработка виртуального ПО должна комбинировать навыки проектирования в 2D и в 3D.  Понадобится проектирование интерфейсов, которые работают однородно как в виртуальной среде, так и вне ее. Это серьезная проблема с точки зрения архитектуры приложений. Другая нерешенная проблема: настройка элементов VR-систем типа датчиков отслеживания положения для фиксации движений головы и глаз, для управления приложениями.

Задачу написания приложений усложняет привязка к фирменному ПО и оборудованию того или иного VR-устройства. Упростить ее поможет стандартизация аппаратных спецификаций.

Наряду с аппаратными платформами совершенствуются и программные средства. Например, компания PTC выпустила корпоративный инструментарий Vuforia Studio Enterprise для разработки AR-приложений. Известный ранее под кодовым наименованием Project ThingX, пакет Vuforia Studio Enterprise предлагается сейчас по программе Vuforia Studio Pilot Program. Он интегрирован с программным обеспечением визуализации PTC Creo 3D CAD и платформой ThingWorx Internet of Things (IoT) для добавления элементов дополненной реальности к «подключенным вещам».

Как заявляют разработчики, Vuforia Studio Enterprise не требует программирования и позволяет создавать приложения дополненной реальности без глубоких познаний в данной области.


Интегрируя данные 3D CAD из таких инструментов как Creo и данные IoT из ThingWorx, Vuforia Studio дает организациям возможность использовать элементы дополненной реальности, чтобы эффективнее создавать и обслуживать свои подключенные продукты.

В PTC считают, что внедрению дополненной реальности на предприятиях мешает отсутствие инструментов для подготовки и создания контента. ПО Vuforia Studio как раз и нацелено на решение этой проблемы.

Разработчики могут испытать эту инновационную технологию через пилотную программу ThingWorx Studio: создавать промышленные среды дополненной реальности, позволяющие разрабатывать проекты обоснования концепции, формировать среды дополненной реальности в простой, не требующей программирования среде, основанной на «перетаскивании», а также использовать существующий контент за счет интеграции моделей 3D CAD, данных корпоративных систем, текстовых инструкций и данных датчиков в реальном времени.

Разработанную среду можно быстро опубликовать для устройств iOS и Android. Познакомиться с дополненной реальностью можно, установив на мобильное устройство один из специальных браузеров, которые позволяют увидеть цифровой контент, дополняющий физический мир. Такие браузеры известны уже давно — одним из первых был Junaio от Metaio, которую позднее приобрела компания Apple.

Например, популярный браузер дополненной реальности Layar предназначен для того, чтобы оживлять статичные страницы газет и журналов, рекламные щиты, буклеты и прочую печатную продукцию. Помимо браузеров появляется все больше различных приложений дополненной реальности.

В подобных решениях обычно используют модели поиска и локализации особых точек объектов реального мира, в свою очередь эти модели обучаются на высокопроизводительном оборудовании — для этого требуется огромное количество данных. Применяются методы классификации изображений, поиска и локализации объектов, семантической сегментации. Для обучения классификаторов разработаны разные методы.


Задача «обучения классификатора». Построить модель класса объекта крайне сложно, поэтому приходится обучать модель/алгоритм по большому набору примеров изображений объекта.

Основным современным подходом к обнаружению объектов в сцене является распознавание по набору отобранных признаков. В основном используются методы HOG, Edgelet и группа методов локальных шаблонов (Local Binary Patterns, LBP; Local Ternary Patterns, LTP; Scale Invariant LBP, SILBP; Scale Invariant LTP, SILTP). Метод, в рамках которого используются гистограммы ориентированных градиентов (Histogram of Oriented Gradients, HOG), основывается на контуре объекта и построении градиентов, что позволяет отличать один объект от других объектов. Edgelet разработан специально для детектирования объектов: с помощью фильтров строится контур объекта, из этого контура извлекается гистограммно-ориентированный градиент, затем гистограммы нормализуются и используются для создания вектора признаков.

Однако HOG в разноконтрастных сценах работает плохо. В этой ситуации на выручку приходит трехмерная разметка сцены с сегментацией, помогающая выявлять объекты в конкретных областях. Улучшить качество работы HOG можно за счет обучения системы распознаванию — например, распознаванию человека по отдельным частям тела (руки, ноги, туловище, голова), что уменьшает число ложных срабатываний.


Пример обучения системы распознаванию человека.

В методах, основанных на эджлетах (Edgelet — отрезок прямой или кривой линии), тоже используется обучение, которое при распознавании людей производится по плечевому поясу и туловищу. Эджлеты размером 4–12 пикселей — отрезки прямых, дуги окружностей, симметричные отрезки прямых и симметричные дуги окружностей — сопоставляются с контурами на изображении. При должном обучении обеспечиваются достаточно хорошие результаты распознавания. Для повышения точности применяется модификация эджлетов на основе LBP, позволяющая расширить вектор признаков. В результате вероятность распознавания человека по его плечевому поясу увеличивается на 20–25%. Эти методы продолжают совершенствоваться.

Резюме

И виртуальная реальность, и дополненная реальность активно развиваются в последнее время. Можно сказать, что технологии VR/AR окажут серьезное влияние на то как решаются задачи бизнеса. Технологии виртуальной и дополненной реальности уже вышли из зачаточного состояния, но самое интересное ждет нас впереди.

---

Как изменится применение визуализации в проектировании в эпоху виртуальной и дополненной реальности:

> Часть 1
> Часть 2
> Часть 3