Привет! Я Алексей Рыбаков, руководитель направления в Sber AR/VR Lab. 

И, прежде чем рассказать о том, что мы делали, нужно коротко пояснить смысл заголовка. А точнее – смысл слова «метавселенная». 

Это понятие хорошо описал Цукерберг: «Метавселенная – это воплощённый интернет, где вместо того, чтобы смотреть на интернет, вы находитесь в нём». Как параллельная вселенная, куда может попасть или сам человек с помощью AR/VR-гаджетов, или его 3D-аватар. 

Иначе говоря, метавселенная – это одновременно и виртуальное пространство, и способ взаимодействия с его объектами, минуя привычное комбо «экран + клавиатура / мышь / сенсор».

И да, метавселенные действительно рядом. Но чтобы туда попасть, нужна пара вещей. Во-первых, нужно знать, куда смотреть. Расскажем чуть позже на примере одного любопытного кейса в Москве. А во-вторых, нужна технология, которая позволит связать виртуальный мир с реальным. И о ней тоже расскажем. 

Итак, позвольте представить: VPS.

Что за технология такая – VPS

VPS (Visual Positioning System) — это технология визуального позиционирования, которая определяет положение пользователя и направление «взгляда» камеры вашего телефона, когда вы направляете её на мир в известной локации. Характеристики, которыми она обладает, крайне важны для того, чтобы «соединить» виртуальный мир с реальным. VPS позволяет получить позицию пользователя с точностью до 0,5 метра, работает в помещении и на улице и, что главное, даёт информацию не только о том, где находится пользователь, но и куда он в данный момент смотрит. Всё это позволяет отобразить дополненную реальность с высокой степенью «привязки» к реальному миру. 

Сейчас основная технология, которая позволяет определять местоположение – это GPS. У нее есть большой плюс в том, что не нужно заранее готовить пространство. Но есть и большой минус – данных GPS недостаточно для задач из метавселенной, так как GPS предоставляет только широту и долготу положения пользователя. А для точного позиционирования AR-слоя нужно понимать, куда пользователь в данный момент смотрит из этой точки. Кроме того, GPS крайне неточен в помещениях, что лишает разработчиков возможности отображать AR-слой. VPS работает только на известной ей локации, то есть пространство должно быть заранее отсканировано и загружено в сервис. При этом сейчас никакого специального оборудования для сканирования не нужно. По сути, это просто съёмка видео. Мы снимаем на обычную непрофессиональную 360-камеру. Она недорогая и удобная, потому что сразу смотрит во все стороны, а съёмка занимает мало времени. К этому, конечно, пришли не сразу. Начинали мы с лазерного сканирования, которое жутко дорогое и занимает кучу времени. Затем пробовали снимать на iPad с LiDar и подключением внешних датчиков, но это тоже всё было не сильно лучше. Сейчас дорога до локации занимает больше времени у наших скаутов, чем само сканирование, что очень радует. На а если локация маленькая, вы можете снять её хоть на свой телефон. 

Вполне вероятно, что вы пока не слышали про эту технологию, а сокращение VPS для вас означает virtual private server и никак иначе. Неудивительно, если так. Рынок VPS пока что откровенно пустоват. Из более-менее известных кейсов можно назвать маршруты в дополненной реальности в картах на iOS 15 и проект Local Lenses от Snap. Но эти компании не предоставляют своё решение для внешних разработчиков. Мы же даём возможность любым разработчикам использовать наш сервис визуального позиционирования в своих проектах.  

Прямо сейчас можно заполнить заявку на SmartMarket и написать нам, что вы хотите получить доступ к тестированию VPS для своего проекта. Мы отсканировали несколько популярных локаций по Москве и готовы предоставить возможность визуальной локализации на них совершенно бесплатно в целях знакомства с технологией. 

Специально для лёгкой интеграции VPS в ваш проект мы разработали SDK под основные платформы: iOS, Android и Unity, с которыми вы уже сейчас можете ознакомиться в нашем публичном репозитории на GitHub. Жду ваших писем, вопросов и фидбека по тестированию! 

Как технология работает для пользователя

VPS имеет много возможностей. Рассмотрим одну из самых очевидных – построение точных маршрутов навигации на улице, и, что раньше было почти невозможно, навигации в помещениях.

Представьте: вы вышли из метро на большой площади, и надо понять, где тут выпить кофе. Вы запускаете на телефоне приложение. 3D-персонаж в дополненной реальности показывает маршрут до ближайшей кофейни и предлагает пройти с ним. Подобный кейс сейчас реализован Apple Maps на iOS 15, пока это работает в крупных городах США и Великобритании.

И вы как пользователь получаете не просто информацию в формате «Через 200 метров поверните направо», как сказала бы GPS. Сервис, который использует VPS, показывает вам: «Иди сюда. Правее. Тут велодорожка, не убейся об велосипедиста. Теперь поднимись по лестнице. Нет, не по центральной, а сбоку. Нужная тебе дверь – вторая справа». 

Или в игре-квесте получаете помощь от виртуального персонажа, который появляется строго в определённой локации. VPS может улучшить и уже популярные AR-игры, такие как Pokémon Go. Представьте: спрятать покемона можно не просто в определенном районе, а на конкретном месте – например за памятником или перед дверью ресторана. То есть расширяются и концептуальные, и рекламные возможности игр с дополненной реальностью. К слову, разработчик Pokémon Go, компания Niantic, активно работает над своим VPS и запустила проект Lightship в мае этого года.  

Плюс к этому мы с нетерпением ждём, когда AR-устройства станут дешевле, доступнее и удобнее по форм-фактору. Metaverse и подобные платформы дадут новый толчок для VPS. А при текущей скорости развития отрасли AR это вопрос уже не десятилетий, как казалось недавно, а ближайших лет.

Где можно посмотреть пример работы VPS? Где гигантский робот?

А вот теперь мы добрались и до робота! Если коротко – его можно увидеть в центре Москвы, над зданием Политехнического музея, если у вас iPhone. А теперь – к подробностям.

Мы нашли друг друга. Музей хотел взаимодействовать со своей аудиторией, пока его главное здание на Новой площади закрыто на реконструкцию. А нам хотелось прикрутить VPS к чему-то большему, чем внутреннее приложение для сотрудников. В общем, всё сложилось. Сейчас, когда работы внутри здания ещё продолжаются, Политехнический музей решил выкатить с нашей помощью тизер обновленного пространства и рассказать о нём через своё новое мобильное приложение. Попасть в здание музея всё ещё нельзя, но с помощью мобильного приложения «Политехнический музей» уже можно сделать кое-что интересное. Отметим: пока есть только версия для iOS, релиз под Android – в процессе. Концепция проекта разрабатывалась совместно: музей делал мобильное приложение, а лаборатория отвечала за 3D-графику и сервис VPS. Вот немного контента из приложения:

Как это будет выглядеть?

Вы скачиваете приложение «Политехнический музей».

↓

Запускаете его и наводите камеру на здание. Кстати, алгоритм работает с любой стороны здания. Разве что сверху – не факт, на летающих пользователях не тестировали. А ещё предлагаем потестировать при разном освещении и погоде. Даже ночью в дождь VPS распознаёт Политех и накидывает сверху робота.

↓

Мы берём кадр с камеры и одновременно проверяем по GPS, что вы рядом с музеем, а не просто показываете телефону фотографию. Если в ком-то проснётся дух тестировщика: «А что будет с фотографией и fake GPS?» – поделитесь в комментариях, удалось ли обмануть систему.

↓ 

Всё ок и геолокация верная? Тогда предобрабатываем кадр на устройстве и получаем набор уникальных точек с этого кадра.

↓

Отправляем эти точки на наш облачный сервер.

↓

Сопоставляем эти точки с цифровым сканом местности и определяем местоположение и направление поворота камеры пользователя. А дальше передаём полученные координаты в ваше приложение, где через SDK преобразовываем их в координаты используемого вами 3D движка.

↓

Над зданием Политеха вы видите огромного робота Сепульку – маскота Политеха. А если поймаете один из объектов, что летают вокруг него, то сможете взаимодействовать с основным контентом приложения – смотреть AR-залы и часть экспонатов. 

Какие сейчас видим ограничения у VPS

Для работы алгоритма нужны фичи, то есть уникальные объекты и их сочетания, за которые можно зацепиться. Если показать алгоритму голую стену, он начинает жаловаться на жизнь и просит показать что-то ещё вокруг. Обычный покрашенный в белый цвет коридор без дверей превращается для него в «коридор смерти». Впрочем, такой дизайн сейчас редкость даже в промышленных и складских помещениях.

Технология VPS находится на этапе тестирования, поэтому она не всегда бывает точной. Мы продолжаем изучать различные подходы к локализации и постоянно улучшаем её. 

И зачем мы это всё рассказываем?

VPS – будущее мобильных AR-технологий. И мы бы хотели посоветоваться с вами относительно этого будущего. Может быть, у вас появятся идеи и предложения, как VPS сделает жизнь проще и интереснее. Любые идеи – от деловых до абсурдных. Будем рады мыслям на этот счёт! Связаться с командой VPS можно через форму на нашей странице на SmartMarket.