Подробности под катом.
Это удивительное время для Microsoft, а также для наших партнеров, заказчиков, ИТ-отрасли и всего мира. Почти безграничные вычислительные мощности и возможности облака в сочетании со всё более «умными» и восприимчивыми устройствами создают практические навыки, о которых всего несколько лет назад мы могли лишь мечтать.
Когда «умное» облако и «умные» устройства дополняются смешанной реальностью, у нас появляется среда для удивительных достижений и помощи еще большему количеству людей.
Сегодняшний день знаменует важный этап для Microsoft. Мы демонстрируем результаты многолетних усилий и кропотливой, увлеченной работы множества наших команд, включая Azure, HoloLens, Dynamics 365 и Microsoft Devices – это тот самый момент, когда сумма больше, чем отдельные слагаемые. От инновационного дизайна оборудования до облачных сервисов с элементами смешанной реальности – сегодняшнее объявление стало результатом коллективной работы многих команд.
И всё это было бы невозможно без нашего увлеченного сообщества заказчиков, партнеров и разработчиков.
От имени каждого члена команды мне выпала честь представить вам HoloLens 2 и рассказать обо всех объявлениях, которые мы сделали сегодня перед открытием MWC в Барселоне.
Представляем HoloLens 2
С момента запуска HoloLens в 2016 году мы наблюдали, как смешанная реальность трансформирует рабочие процессы. Мы открыли доступ к новым возможностям для сотен тысяч людей, которые работают в разных сферах. От строительных площадок до производственных цехов, от операционных до школьных классов, HoloLens меняет то, как мы работаем, учимся, общаемся и выполняем свои задачи.
Мы входим в новую эру вычислений, когда цифровой мир выходит за рамки двухмерных экранов и погружается в трехмерную реальность. Эта новая эра вычислений и сотрудничества поможет нам достигать большего, преодолевать границы и сотрудничать проще и оперативнее в режиме 3D.
Сегодня мы с гордостью представляем миру Microsoft HoloLens 2.
Заказчики просили нас сосредоточиться на трех ключевых аспектах, чтобы сделать HoloLens еще лучше. Они хотели, чтобы мы усилили эффект погружения, сделали очки более комфортными и сократили время окупаемости инвестиций.
Эффект погружения значительно усилен благодаря масштабным усовершенствованиям, в том числе по части визуальных характеристик, в результате чего голограммы стали еще более впечатляющими и реалистичными. Мы больше, чем в два раза увеличили поле обзора в HoloLens 2, сохранив ведущую в отрасли голографическую плотность в 47 пикселей на один градус обзора. У HoloLens 2 появилась новая система дисплея, позволяющая нам достичь существенного улучшения производительности при небольшом потреблении мощности. В HoloLens 2 мы также полностью изменили способ взаимодействия с голограммами.
Используя преимущества нашего нового датчика глубины в сочетании со встроенным ИИ и семантическим пониманием, HoloLens 2 делает возможными прямые манипуляции с голограммами с помощью тех же самых инстинктивных жестов, которые вы используете для манипуляций с физическими объектами в реальном мире. В дополнение к доработкам видеоконтроллера и к возможности прямых манипуляций с голограммами, в HoloLens 2 появились сенсоры отслеживания движений глаз, которые делают взаимодействие с голограммами еще более естественным. Вы можете авторизоваться с помощью системы аутентификации корпоративного уровня Windows Hello, которая распознает вас по радужной оболочке глаз, облегчая возможность для нескольких человек быстро и безопасно начать совместное использование устройства.
Комфорт повышен благодаря более сбалансированному центру тяжести, использованию легкого углеродного волокна и новому механизму надевания устройства без необходимости регулировки. Мы улучшили терморегулирование с помощью новой технологии отвода испарений и обеспечили широкую физиологическую вариативность для различных размеров и форм человеческой головы, спроектировав HoloLens 2 так, чтобы гарнитура комфортно регулировалась и подходила практически всем. Новая совершенная система надевания делает удобным ношение гарнитуры часами напролет, при этом вы можете не снимать очки, потому что HoloLens 2 адаптируется к вам и может быть надета прямо поверх них. Когда настанет время выйти из смешанной реальности, просто поднимите визор и тут же перейдите к другим задачам. Все вместе эти улучшения более чем в три раза повысили комфорт и эргономику устройства.
Время окупаемости инвестиций ускорено с помощью приложений Microsoft для смешанной реальности, таких как Dynamics 365 Remote Assist, Dynamics 365 Layout и нового приложения Dynamics 365 Guides. В дополнение к изначальной ценности наша экосистема партнеров смешанной реальности предлагает широкий спектр решений, созданных на HoloLens, подходящих для различных отраслей и задач. Партнерская экосистема расширилась за счет новой волны предпринимателей, работающих с технологией смешанной реальности, которые осознают потенциал таких устройств, как HoloLens 2, и сервисов Azure, обеспечивающих интеллектуальные системы анализа пространства, распознавания речи и визуальных образов, которые необходимы для смешанной реальности, в дополнение к проверенным облачным сервисам для хранения, обеспечения безопасности и сбора телеметрии приложений.
Основанная на уникальных возможностях оригинальной гарнитуры HoloLens, HoloLens 2 является самым передовым «умным» устройством. А в сочетании с существующими и новыми сервисами Azure новый HoloLens 2 обладает еще более широким кругом возможностей не требующих дополнительной настройки.
Устройство HoloLens 2 будет доступно в этом году по цене $3500. Стоимость пакетов, включающих в себя Dynamics 365 Remote Assist, начинается от $125 в месяц. В первую очередь HoloLens 2 появится в США, Японии, Китае, Германии, Канаде, Великобритании, Ирландии, Франции, Австралии и Новой Зеландии. Заказать HoloLens 2 можно уже сегодня на https://www.microsoft.com/en-us/hololens/buy.
Помимо HoloLens 2, мы с радостью представили следующие новинки на MWC Barcelona:
Azure Kinect Developer Kit (DK)
Azure Kinect DK – это комплект для разработчиков, сочетающий в одном устройстве наши ведущие в отрасли ИИ-сенсоры. В его основе – времяпролетный сенсор глубины, разработанный для HoloLens 2, RGB-камера высокого разрешения и кольцевая система из 7 микрофонов, которые помогут в разработке передовых решений с применением компьютерного зрения и речевых инструментов на Azure. Он позволяет создавать продукты, которые не только «чувствуют», но и «понимают» мир – людей, места, вещи вокруг них. Хороший пример такого решения в сфере здравоохранения – компания Ocuvera, которая использует эту технологию, чтобы уберечь пациентов от падения в больницах. Каждый год только в США более миллиона пациентов падают в больницах, и 11 000 таких падений оказываются смертельными. Azure Kinect помогает распознать предвестники падения и оповестить медсестер, чтобы они могли подойти к пациенту до того, как он упадет. Первоначально Azure Kinect DK будет доступен на рынках США и Китая, сегодня вы можете оформить на него предзаказ по цене $399. Для получения дополнительной информации посетите Azure.com/Kinect.
Dynamics 365 Guides
Когда мы анонсировали Dynamics 365 Remote Assist и Dynamics 365 Layout 1 октября, мы говорили о них как о наших «первых» приложениях смешанной реальности для HoloLens.
Сегодня мы с радостью анонсируем Microsoft Dynamics 365 Guides. Dynamics 365 Guides – новое приложение для смешанной реальности, помогающее сотрудникам учиться на практике. Guides повышает качество обучения с помощью пошаговых инструкций, демонстрирующих сотрудникам как и когда использовать необходимые им инструменты в реальных рабочих ситуациях. В дополнение к опыту использования Guides на HoloLens, приложение Guides для ПК упрощает создание интерактивного контента, прикрепление фото и видео, импорт 3D-моделей и настройку кастомизированных материалов, позволяя превратить теоретические знания в воспроизводимые инструменты обучения.
Это приложение поможет минимизировать время простоя и повысить эффективность важнейшего оборудования и процессов и станет третьим приложением Dynamics 365, которое будет работать как на устройствах HoloLens предыдущего поколения, так и на новой гарнитуре HoloLens 2.
Предварительная версия Dynamics 365 Guides доступна уже сегодня.
Сервисы смешанной реальности Azure
Сегодня мы также анонсировали два новых сервиса смешанной реальности Azure. Эти сервисы созданы, чтобы помочь каждому разработчику и каждой компании создавать кроссплатформенные контекстуальные приложения смешанной реальности корпоративного уровня.
Azure Spatial Anchors позволяет компаниям и разработчикам создавать приложения смешанной реальности, в которых голограммы сохраняются в определенном физическом пространстве. Доступ к ним впоследствии смогут получить сразу несколько человек, использующих HoloLens, телефоны или планшеты на iOS и Android. Разработчики могут активировать возможность ориентирования в пространстве, чтобы помочь своим заказчикам работать и учиться быстрее и проще. Мы уже видим примеры такого сотрудничества для повышения эффективности совместной работы в производстве, архитектуре, медицинском образовании и других сферах.
Azure Remote Rendering помогает сохранить высокое качество и уровень детализации 3D-контента, что позволит быстрее и эффективнее принимать решения. Сегодня, чтобы взаимодействовать с высококачественными 3D-моделями на мобильных устройствах и гарнитурах смешанной реальности, разработчикам часто приходится «урезать» или упрощать 3D-модели для запуска на нужном оборудовании. Но для проведения проектных экспертиз и медицинского планирования важна каждая деталь, и упрощение может привести к потере важных данных, необходимых для принятия ключевых решений. Этот сервис будет воспроизводить высококачественный 3D-контент в облаке и транслировать его на устройства в режиме реального времени, при этом сохраняя детализацию.
Решение Azure Spatial Anchors сегодня вышло в виде общедоступной предварительной версии. Azure Remote Rendering на сегодняшний день доступно в формате закрытой предварительной версии, позднее сервис выйдет в общедоступном варианте.
Программа кастомизации Microsoft HoloLens
HoloLens используется в сложных ситуациях, от строительных площадок и операционных до Международной космической станции. Устройство прошло базовые динамические испытания по нескольким стандартам для защитных очков, используемых в Северной Америке и Европе. Гарнитура была протестирована и соответствует базовым требованиям стандартов ANSI Z87.1, CSA Z94.3 и EN 166. Вместе с HoloLens 2 мы представляем программу кастомизации Microsoft HoloLens, чтобы заказчики и партнеры могли адаптировать HoloLens 2 к требованиям их окружения.
Первым программой кастомизации HoloLens воспользовался наш давний партнер по HoloLens компания Trimble, которая в прошлом году анонсировала Trimble Connect для HoloLens, первую защитную каску, которая повышает эффективность использования смешанной реальности в полевых условиях. Сегодня они анонсировали Trimble XR10 с Microsoft HoloLens 2, новую защитную каску, позволяющую сотрудникам, работающим на объектах повышенной опасности, использовать гарнитуру, не покидая места работы.
Открытые принципы
Наконец, в самом конце мероприятия, Алекс Кипман озвучил набор принципов нашего открытого подхода к экосистеме смешанной реальности.
Мы считаем, что, чтобы экосистема процветала, не должно существовать барьеров, ограничивающих инновации или выбор клиентов.
В этой связи Алекс рассказал, как в HoloLens используются принципы открытых магазинов, открытых браузеров и открытых платформ для разработчиков.
Чтобы проиллюстрировать нашу приверженность этим принципам, мы объявили, что наши друзья из Mozilla установят прототип браузера Firefox Reality на HoloLens 2, демонстрируя тем самым, что мы обязуемся оставаться открытыми и поддерживать многогранность интернета. К Алексу присоединился Тим Суини, основатель и генеральный директор Epic. Он объявил, что скоро для HoloLens появится поддержка Unreal Engine.
В ближайшие месяцы у нас будет еще больше подробностей и анонсов для вас. Мы с нетерпением ждем продолжения путешествия вместе со всеми вами.
Комментарии (19)
DrunkBear
25.02.2019 14:52Неплохой маркетинг и минимум технических деталей.
Когда можно ждать более техническую статью? С ценами, разрешением, доступностью, ссылками на API / доки, временем работы и прочими немаркетинговыми вещами.sahsAGU Автор
25.02.2019 14:56Сегодня у нас небольшой анонс. Скоро расскажем о технических аспектах.
DrunkBear
25.02.2019 15:13Спасибо, буду ждать.
PS Почему-то железные команды у MS работают хм… стабильнее и согласованнее, чем софтверные, что немного странно для изначально софтовой компании.
Конфликты отделов?
omikron24
25.02.2019 14:54Увидел врачей, сразу подумал про GITS.
Я надеюсь что эта технология будет жить и развиваться.
jawaharlalnehru
25.02.2019 15:33Интересно, как решили и решили ли вообще проблему синхронизации виртуального и реального миров? Ну, типа, чтобы виртуальный пациент не дёргался на реальном столе при повороте головы. Я вот знаю одну контору с мировым именем, которая с этим уже три года разобраться не может.
advan20092
25.02.2019 16:19На видео выше прекрасно видно что проблему подергиваний не решили. Еще и дикий алиасинг. Короче не зря нам по три раза повторяют что этот продукт не пользовательский.
omikron24
25.02.2019 19:07А я знаю как минимум 2 конторы с мировыми именами которые эту проблему решили. В медицине это решается несколькими способами, но базовый принцип один и тот же — общая точка отсчёта координат. У некоторых для этого используются магниты, у других измерение импеданса. Точка как правило вмонтирована в пол или операционный стол, на пациенте крепится датчик и вуаля. Эти методы кстати говоря используются для создания 3D карт внутренней поверхности сердца, которое подвижно, и пациент во время операции тоже ворочается.
jawaharlalnehru
26.02.2019 15:12Ого! А можно поподробнее? Я, например, говорю про вот эту контору. Они уже три года бьются над синхронизацией картинки прозрачной двери и самой двери. Используют для этого целую кучу обычных и инфракрасных камер, визуальные точки в салоне. Основная проблема в данный момент — это соединение всех девайсов трекинга по вайфай, что даёт задержку и изображение дергается по отношению к реальному миру.
Очень хотелось бы узнать поподробнее по методы синхронизации с помощью магнитов или импеданса. Просто впервые про это слышу.omikron24
27.02.2019 13:30Мне кажется что в ролике Hololens положения пациента вирутального и реального синхронизируются либо наличием какого-то внешнего датчика, либо наложением его собственной 3D модели (например МРТ скана)с привязкой по типу скелетной анимации как в motion capture.
Посмотрел ваше видео, в моём примере юзеркейс намного более узкоспециализированный, и его с трудом можно назвать даже дополненной реальностью. Это мой косяк конечно, но про навигаю напишу, возможно это будет полезно.
Опишу оба метода коротко.
1. Магниты — в пол операционной монтируется специальный блок«треугольник» в каждой вершине которого находится катушка испускающая магнитное поле с заданными параметрами. В инструменте (аблационный катетер) находятся датчики, взаимодействующие с этими магнитными полями посредством триангуляции.
На основании ослабления или усилиения сигнала по мере удаления или приближения датчиков в пространстве — система определяет положение, не только широту, долготу и высоту но и горизонтальные наклон и поворот (инструмент цилиндрический, поэтому вращение определять практически бессмысленно). Для чего это используется — находясь инструментом внутри сердца, на 2-х мерном изображении, например с ангиографа или рентгена — трудно ориентироваться «по глубине» и в перчатках тактильные ощущения врача не всегда позволяют оценить насколько плотно инструмент плилегает к рабочей поверхности. Во вторых — внутри сердца находятся довольно деликатные структуры и их поврежедние может вызывать пожизненные проблемы или даже смерть. Карта помогает ориентироваться «изнутри». Чтобы система понимала где начинается пациент (операционный стол во время процедуры может менять положение в пространстве) на его тело крепятся специальные электроды с датчиками, в начале процедуры система колибруется, чтобы датчик на пациенте например был точкой отсчёта.
2. Импеданс — система работает несколько иным образом. На тело пациента крепятся 6 навигационных электродов, 4 из них образуют две пары непосредственно в области сердца, а ещё два крепятся на шею и левую ногу соответственно, каждая пара это концы виртуальной оси X,Y,Z соответственно. 6 электрод содержит датчик для калибровки системы отсчёта.
Когда в такой системе координат появляется инструмент (аблационный катетер) он служит своеобразным «ползунком», перемещаясь относительно каждой из осей — измеряется сопротивление от него до навигационных электродов. Получается своеобразная конструкция из 3-х виртуальных потенциометров. Из изменения импеданса система тоже триангулирует положение инструмента в пространстве.
У каждого метода есть свои плюсы и минусы, но есть варианты комбинированного исполнения где применяются обе технологии вместе. Точность в них сказочная.
Предположу что у Hololens, Google Glass и других, проблемы прежде всего связаны с тем что они пытаются сконцентрировать всё в одном устройстве и упираются в ограничения, связаные с масштабами и неоднородностью поля деятельности и использованием совершенно других типов навигации. Скажем чтобы нарисовать маршрут на асфальте такие очки полагаются скорее всего на GPS, и данные геолокации базовых станций, а там размах до 10 метров по точности.
Ну или пример с плакатом и стрелочкой из видео. Голова у человека крутится и система должна суметь не только распознать текст на плакате и найти соответствие для получения информации для выдачи пользователю, но и опознать «плоскость» к которой он прилежит, т.е. стену и прилепить и держать стрелочку согласно ориентации взгляда и положения очков в пространстве. Скорее всего это делается с помощью акселерометра, это энергоэффективно но артефакты в виде дрожания и т.д.
Это реализуемо при доступной вычислительной мощности и например если в плакате для упрощения такого взаимодействия есть крупные QR коды как для роботов на фабрике. Для той же самой триангуляции.
Ну или крестики фиксированной величины нанести на линзу камеры, чтобы дальность и масштабы объектов было распознавать легче.
koluka
25.02.2019 16:0347 пикселей на один градус обзора.
Я так понимаю, это будет тот самый параметр, который будут любит все маркетологи и ради которого будут уменьшать батарею…
Каждый год только в США более миллиона пациентов падают в больницах, и 11 000 таких падений оказываются смертельными.
скользкие полы? недоперевод?darkace
26.02.2019 09:27С кроватей, видимо, падают. На скользком полу едва ли можно успеть предвидеть падение и успеть вызвать медсестру, чтобы его предотвратить. :)
littorio
26.02.2019 12:05Ну, то есть вы решили забыть опыт всей индустрии, в т.ч. и историю собственного успеха. Нам нужны простые и удобные устройства, которые используют все, которые будут на голове у каждого второго и будут использоваться для просмотра интернета и фоточек в соцсетях. Использоваться по любому поводу, как айфон. Они пролезут «снизу» и в проф. сектор, если надо.
Вместо этого вы делаете — что? Ага, специализированную вундервафлю с никому не нужной дополненной реальностью и попсовым 3D. Которое провалилось в гораздо более простых и удобных устройствах — 3D телевизорах.
Неужели никому в Microsoft не приходила идея сделать простой шлем типа мотоциклетного с экраном-забралом (который мы будем легко поднимать и опускать, когда надо)? У вас же почти всё есть, осталось-то — придумать удобное управление. Там море плюшек — куча места, можно воткнуть мощные батареи, хорошую начинку, придумать вентиляцию и чуть ли не обогрев. Но нет. Прозрачные 3D-очки. Дополненная реальность. $3500. Facepalm.Brenwen
26.02.2019 13:26Мотоциклетный шлем тяжелый и в нем жарко. У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей. Из штатов можно за 200$ заказать.
littorio
26.02.2019 15:21Ну, первый смартфон Motorola тоже был тяжёлый, и слабый. Надо сделать
a). Нетяжёлый
b). Чтобы было нежарко.
Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.
У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей.
Быстрое гугление не помогло. Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор». Не дадите ссылку? Но на проводах и без батарей — это да, классно. Я про фоточки стоя в метро смотреть, а в ответ «без батарей». Супер.Brenwen
26.02.2019 15:52Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.
Решаемая, но нужная ли? Громоздить на голову здоровенную коробку, когда достаточно просто тонких пластиковых держателей. Смысл мотошлема — в защите, а в ВР-очках она в принципе не нужна.
Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор».
Я это к тому привел, что там экраны поднимаются. Да, там обычные экраны, линзы, большой объем, но и стоит оно копейки. А если делать тонкий визор — цена легко скакнет за 3500, так как железо потребуется явно не массовое.
ghrb
А как это на самом деле выглядит со стороны пользователя? Будут записи видео из той точки где глаз находится, или только рекламные рендеры?
greabock
www.youtube.com/watch?v=6lxGU66w0NM
Вот тут есть пара таких «вкраплений», с видом от первого лица.
rPman
Первая и главная проблема, полагаю это чисто техническая, решаемая исключительно высокой стоимостью и весом устройства — это низкие углы обзора.
Такой маленький угол обзора ограничивает применение до исключительно в рабочей области, т.е. повесить сбоку на периферии информационное табло, чтобы можно было к нему обращаться только меняя угол взгляда — не получится. Постоянно вращать головой с тяжелым устройством — это ад и мазохизм. Если ради развлечения народ еще может потерпеть пол часа — час, то работать 8 часов с этим никто не согласится или потребует доплату.Вторая проблема, которую майкрософт так и не решила — это низкое качество трехмерного сканирования для наложения виртуальных объектов на реальный мир, все прыгает и скачет. Управление руками лагает и глючит. Играть и работать с этим никто не будет. На текущий момент похоже это можно решить только дополнительными устройствами/сканерами (тяжелыми и дорогими), метками и джойстиками, по крайней мере никто красивых решений не показывал.
Лично я для джойстиков-пальцев посоветовал бы хардварным разработчикам для управления использовать простые кольца на руках со спец-тиснением (или например видимых только в ИК), это сильно повышает точность и скорость. А еще не пытаться все снимать статичной камерой, пусть их будет 2-3 с управляемым углом (пусть следят за руками), это не так дорого как кажется (не нужны сервы, ведь тут не нужна микронная точность, хватит простых электромагнитов и легких зеркал).