Magic Leap — стартап, занимающийся устройствами дополненной реальности. Компания привлекла уже 1,4 миллиарда долларов инвестиций от внушительных инвесторов, среди которых Qualcomm, Google и Alibaba Group. В 2016 году Forbes оценил Magic Leap в 4,5 миллиарда долларов. При этом публике до этого момента Magic Leap показывали только рендеры.

Magic Leap One

В комплект ML1 входят сами очки, которые производитель называет Lightwear, компьютер для вычислений Lightpack и контроллер.

Производитель обещает, что устройство будет достаточно лёгким и удобным для нескольких часов непрерывного использования. Технология Digital Lightfield, реализованная в этом устройстве, позволяет добавлять объекты дополненной реальности с учётом окружающей среды.

Lumin OS

В качестве операционной системы в Magic Leap One используется Lumin OS. Она основана на ядре Linux. Часть функционала взяли из Android, часть написали сами, так как было необходимо обеспечить высокую производительность для задач пространственных вычислений (spatial computing). ОС поддерживает Wi-Fi, Bluetooth, мультимедиа и многозадачность. Перед использованием микрофона, камеры и других устройств, связанных с личной информацией, пользователь увидит диалоговое окно с запросом на доступ к ним.

В качестве 3D-движков можно использовать Unreal Engine 4 или Unity, которые сейчас являются стандартами в этой области. Также можно использовать Lumin SDK C API для интеграции возможностей Lumin OS в свой движок.

Lumin SDK

В Lumin SDK входит библиотека, открывающая доступ к возможностям устройства ML1, симулятор устройства и симулятор пространства, позволяющий сгенерировать комнату, в которой будет запущен симулятор устройства.

Возможности платформы

Headpose

Позволяет получить координаты и направление ML1 в реальном мире. Для трекинга используется VIO (камеры + акселерометр). При проблемах с камерами (мало света, плохая текстура, перекрытие) трекинг перемещения отключается и работает только трекинг направления.  
Интересной особенностью является то, что ML1 запоминает пространство вокруг себя. Это позволяет восстановить координаты после их потери и перемещения в другую часть комнаты. Также можно сохранять координаты объектов дополненной реальности в определённом месте в комнате и восстанавливать их при новом запуске.

Gestures

ML1 умеет распознавать 8 жестов. В качестве информации вам будут переданы координаты и вероятность, при этом руки не должны перекрывать друг друга. В симуляторе вы будете получать информацию о жестах, которые попали в зону видимости камер, но не видны пользователю. На реальном устройстве вы будете получать информацию только о жестах, находящихся в зоне видимости пользователя.

Audio

SDK позволяет воспроизводить «пространственный» звук с учётом локаций вокруг пользователя. Без обработки звуки будут казаться плоскими, недостаточными для ощущения погружения. Технологию Soundfield Audio можно подключить к проектам на Unity, Unreal Engine 4 или через плагин к Wwise или FMOD. В следующих релизах можно будет пользоваться вызовами к Lumin SDK напрямую.

Multimedia

ML1 поддерживает воспроизведение аудио и видео с помощью медиаплеера. Также поддерживается HTTP Live Streaming и RTSP. MPEG-DASH и Smooth Streaming пока не поддерживаются.

World Reconstruction

ML1 сканирует пространство вокруг себя в реальном времени. Данные собираются из нескольких позиций, после чего объединяются для отброса шумов. Разработчикам доступно три типа данных:

• получение вершин;
• получение плоскостей;
• получение точки пересечения луча с объектом (raycast).

По умолчанию распознанные объекты реального мира будут перекрывать объекты дополненной реальности.

Рекомендации по использованию:

• ML1 ожидает статичного окружения. Если вокруг вас слишком много движения, могут быть сюрпризы;
• для лучшего сканирования пространства походите по комнате;
• не двигайтесь слишком быстро;
• рекомендуемое расстояние до сенсоров от 40 см до 5 метров;
• солнечный свет и иные инфракрасные засветы могут негативно влиять на работу камер;
• сенсоры могут не распознать чёрные, блестящие и поглощающие свет объекты;

Симулятор

В комплект SDK входит также Virtual Room Generator и Magic Leap Remote. Magic Leap Remote – симулятор устройства ML1. Virtual Room Generator – генератор комнат, которые можно передать в симулятор.

Симулятор позволяет работать с аудио, перемещать устройство в виртуальной комнате, работать с виртуальным трекпадом, распознавать жесты, отслеживать изображения и получать данные об объектах комнаты с помощью raycast.

Компания обещает доставить свои устройства потребителям уже в этом году. Ещё можно успеть подготовить свой проект и быть в списке первых в магазине приложений к моменту старта продаж.  
Будем ждать новостей от Magic Leap и ответов конкурентов. На данный момент в их числе только HoloLens от Microsoft. Но несколько дней назад Apple открыли регистрацию на конференцию WWDC, логотип которой в этот раз уж очень похож на 3D-интерфейсы: