Привет, Хабр! Меня зовут Константин Прошин, я руководитель направления «Метаверс», Венчурной студии. Хочу рассказать о метаверсе ВТБ, который мы с командой совсем недавно представили рынку.

Венчурная студия входит в систему по работе с инновациями ВТБ, мы исследуем и экспериментируем с технологическими решениями, у которых есть потенциал интеграции и трансформации для бизнеса. И метаверс не стал исключением! Если очень коротко, то в центре нашей разработки — желание найти нетривиальные форматы для тривиальных процессов (спойлер: в том числе — для обучения).

По порядку: о том, что это такое (в теории и на практике), зачем мы вписались в эту авантюру, из чего и как сделан наш метаверс: от движка до конструктора аватаров, какие фичи «отвечают» за особую душевность и о многом другом — читайте в моей статье.

С чего все началось?

Коллеги очень хотели протестировать новый инструмент в деле, поэтому мы решили провести одну из экспертных сессий в рамках конференции Data Fusion в метавселенной. Концепция виртуальной вселенной отлично ложилась в тематику мероприятия по анализу данных и технологиям ИИ.

На виртуальной площадке мы собрали вместе экспертов банка, Акселератора ВТБ и нескольких российских стартапов, ведущих разработки в области ИИ. Обсудили с ними, как крупные корпорации могут стимулировать развитие российского рынка технологического предпринимательства в сфере ИИ и почему им не обойтись без помощи стартапов. По факту все участники дискуссии находились в разных местах. А их виртуальные аватары создавали иллюзию полноценного общения (с мимикой и жестикуляцией). Теперь на рабочих совещаниях можно заменить видеотрансляцию на виртуального аватара, а самому в это время спокойно позавтракать или допить кофе?

Зачем нам метаверс? Трехмерная история более привычная и понятная для пользователей по сравнению с «плоским» видео в привычных сервисах видеоконференцсвязи. Кажется, что это формат коммуникаций между видео и реальным общением, который стремится объединить лучшее от обоих. Живая история, позволяющая приблизиться к личной встрече (если нет возможности увидеться офлайн).

Сейчас уже можно сказать, что рынок обратил внимание на наше решение, а значит, пришло время «заглянуть под капот» платформы и раскрыть чуть больше карт. Но обо всем по порядку.

Что такое метаверс?

Общепринятое понятие, что метавселенная (Metaverse) – это постоянно действующая сеть виртуальных пространств. В ней неограниченное количество пользователей в режиме реального времени в виде своих трехмерных аватаров взаимодействуют друг с другом, с цифровым миром и создают пользовательский контент. Также, по мнению многих евангелистов отрасли, метавселенная должна обладать своей экономической моделью, совместимостью цифровых активов из разных пространств (локаций) и иметь связь с объектами реального мира. Другими словами, метаверс – следующее поколение глобальной сети.

На текущий момент, данное определение является скорее академическим, а единой полноценной метавселенной не существует, да и сказать, когда она все-таки появится и какой будет вряд ли кто-то точно сможет. Поэтому сегодня поговорим о прото-метаверсах – первых прототипах реализации глобальной идеи.

Правда, если еще совсем недавно крупнейшие мировые big tech’и возлагали значительные надежды на развитие метаверса, которые, впрочем, не то чтобы не оправдались, но точно не оправдались так быстро, как всем хотелось бы. То сейчас космическая скорость интереса к метаверсу довольно быстро сменилась таким же стремительным падением. В 2023 году искусственный интеллект стал темой №1 в ИТ-сфере, отправив виртуальные миры на задворки новостной повестки вслед за NFT-токенами. Хотя тот же ИИ отлично дополняет и сами цифровые миры, например, обогащая их виртуальными помощниками и умными NPC-персонажами.

Также и рынок VR-устройств развивается медленнее ожиданий. Остается много технических ограничений, а продажи самых успешных моделей кратно уступают по популярности даже игровым приставкам. Что уж говорить про сравнение со смартфонами, которые VR должен в теории заменить. Писатель Нил Стивенсон, известный тем, что первым использовал термин metaverse в романе Snow Crash («Лавина») в 1992 году, описывал время, когда более ста миллионов человек регулярно пользуются AR/VR-очками. Для него это была середина 2010-х, а мы спустя почти полтора десятка лет еще не приблизились к этому будущему.

Но достигнув дна разочарований в цикле хайпа, метаверс перешел на более зрелую стадию. Теперь игроки рынка не создают скучный виртуальный офис с логотипом компании, что несколько лет назад могло обеспечить попадание на первые полосы ИТ-дайджестов, а ищут реальную пользу от применения иммерсивных сценариев взаимодействия.

При этом, создаваемые сейчас метавселенные, как правило, имеют свою уникальную специфику, а по сфере применения делятся на три типа:

• Потребительские метавселенные — трехмерные пространства с сервисами для общения, развлечений и игр. Именно к этой категории относятся горячо любимые молодой аудиторией игровые вселенные Roblox и Fortnite, платформы Spatial и VR Chat, а также представители Web 3.0 поколения – Decentraland и The Sandbox. Суммарная ежемесячная аудитория этих миров уже превысила отметку в пол миллиарда пользователей. Сюда же можно отнести и российские разработки, недавно представленный МТС VERSE или различные решения Сбера для проведения мероприятий в виртуальной среде.

• Промышленные метавселенные — все, что касается цифровых двойников предприятий, инструментов совместного 3D-моделирования или сервисов по симуляции производственных процессов с целью повышения конкурентоспособности бизнеса.

• Корпоративные метавселенные (корпверсы) — виртуальные миры и иммерсивные технологии для удаленной совместной работы, деловых встреч и проведения мероприятий, направленные в первую очередь на повышение эффективности работы собственных сотрудников, а в перспективе дающие новые возможности для взаимодействия с клиентами.

В этом смысле платформа, разработанная в ВТБ, — один из немногих на российском рынке примеров корпоративного метаверса, когда все сценарии на платформе заточены под потребности сотрудников компании, а в фокусе — создание классных иммерсивных инструментов коммуникации для команд банка.

Теоретически можно было бы сравнить то, что мы делаем, с Fortnite — второй по популярности метавселенной в мире, которая тоже использует в качестве движка Unreal Engine. Журналисты «Ведомостей» сравнили наш метаверс с Roblox, лестно, но не совсем так. В отличие от Roblox, мы сейчас фокусируемся на развитии инструментов и создании пользовательских сценариев ТОЛЬКО для ВТБ. А в отличие от Fortnite в основе геймплея нашей метавселенной — коммуникации, а не 3D-шутер.

Как мы придумали свою платформу и какие задачи решаем

Метаверс ВТБ — это платформа с разными виртуальными локациями и набором инструментов для создания иммерсивных сценариев пользовательского взаимодействия, сочетающих лучшее от онлайн- и офлайн-коммуникаций. Сейчас мы фактически завершили разработку MVP, активно расширяем количество пользовательских сценариев и исследуем новые ниши.

Например, платформа активно тестируется в банке для проведения встреч и ретроспектив технологических команд в рамках agile-процесса. Мы уже провели множество собраний с десятком команд и постоянно расширяем набор инструментов и возможностей платформы на основе полученного фидбэка.

Мы видим следующие преимущества использования виртуальных локаций, которые при масштабировании продукта могут дать дополнительный рост производительности:

• повышение качества внутрикомандных коммуникаций без необходимости физического присутствия сотрудников в одном офисе или городе;

• повышение вовлеченности и перераспределение внимания сотрудников на встречах, в том числе во время обучающих семинаров или деловых игр для прокачки скиллов;

• демократизации корпоративных иерархий и отношений между коллегами;

• экономия затрат и времени сотрудников на участие в различных корпоративных мероприятиях;

• помощь при онбординге и адаптации новых сотрудников;

• снятие стресса с использованием игровых механик?

Кроме этого мы реализовали интеграцию с полностью импортонезависимым российским сервисом ВКС — DION. Это дает возможность участвовать во встречах в разных форматах, а пространству метаверса — объединять участников, представленных как трехмерными аватарами, так и коллег, подключившихся с помощью видео или аудио. Таким образом пользователи метаверса ВТБ могут коммуницировать с помощью голосового и текстового чатов, а также обмениваться трансляцией видео в режиме реального времени как с камер пользовательских устройств, так и происходящим в виртуальном пространстве.

Более того платформа открыта для интеграции с другими цифровыми продуктами и сервисами, в том числе, виртуальными голосовыми помощниками. А в будущем на ее основе могут быть реализованы новые форматы работы с розничными клиентами банка.

Почему Unreal Engine...

В качестве основы для разработки proof of concept и MVP, а также исследования и технологического эксперимента, мы выбрали трехмерный движок Unreal Engine 4. Любим его за обширные возможности кастомизации, инструменты для бьютифулизации и по-настоящему впечатляющий пользовательский опыт. А это именно то, что нам нужно на этапе проверки гипотез и исследования сценариев использования продукта.

Взять хотя бы возможности и качество работы Unreal со светом. Здесь внимание уделяется теням (отдельно стоящих объектов, персонажей, элементов локации), их глубине, мягкости, отсутствию пересветов, естественности цвета и возможности получить отражения на блестящих поверхностях. Чем лучше и ближе к естественному разработано и выставлено освещение, тем привлекательнее будет выглядеть локация. И чем более привычной, понятной и реалистичной для пользователя будет картинка, тем комфортнее ему будет внутри метаверса.

Обратная сторона преимуществ движка Unreal Engine – требования к техническим характеристикам пользовательских компьютеров и наличие только «толстого» клиента с отдельным дистрибутивом. С первой проблемой мы боремся оптимизацией количества полигонов на всех наших локациях, а также добавлением настройки качества той самой «картинки» для поиска оптимального баланса по производительности у каждого пользователя.

Сотрудники банка могут использовать платформу без веб-клиента. Но в случае применения метаверса ВТБ для взаимодействия с внешней аудиторией необходимо использовать технологию Pixel Streaming для рендеринга графики на серверных мощностях или разрабатывать дополнительный клиент на другом стеке технологий.

Уже сейчас мы активно исследуем WebGPU — программную библиотеку для языка JavaScript, предназначенную для визуализации интерактивной трехмерной графики, как возможное решение для работы метавселенной в браузерах. Это могло бы позволить пользователям получить доступ к нашей платформе без скачивания дистрибутива.

Также мы следим за развитием отечественных игровых движков, и в случае их успеха, не исключаем применение одного из них в составе нашей платформы.

…и причем здесь геймдев?

Мы сознательно выбрали игровой движок для разработки своего прототипа. Близость метаверса и игр очевидна и, кажется, не нуждается в дополнительных пояснениях. Постоянно возникают споры, какой продукт уже можно назвать прототипом метаверса, а что еще остается многопользовательской онлайн-игрой. Мы же следим за трендами в геймдеве, чтобы создавать лучший, из возможных для подобных корпоративных решений, геймплей. Это помогает формировать качественно новый уровень пользовательского взаимодействия.

Использование тех же инструментов, что и в геймдеве, позволяет организовывать геймплей так, чтобы процесс был привычным для людей, у которых есть игровой опыт. А внедрение инструментов геймификации дает дополнительные преимущества: сближает в неформальной среде участников команд, позволяет знакомить сотрудников с рабочими процессами в необычном формате и даже создавать отдельно сюжетно-ролевые локации под особые случаи и мероприятия.

Про создание нового

Наш процесс разработки каждой виртуальной локации не сильно отличается от принятых пайплайнов в индустрии и включает в себя:

1. сбор бизнес-требований и разработку сценария пользовательского взаимодействия;

2. сбор референсов и создание эскиза будущей локации;

3. создание grey box модели;

4. осмотр локации, проверку пропорций и необходимого «воздуха» в помещении;

5. детализация локации – добавление текстур, интерьерных элементов и отдельных 3D-артефактов;

6. запекание текстур и подготовка game-ready локации к внедрению на нашу платформу;

7. разработка новых уникальных или добавление существующих механик взаимодействия на локацию;

8. тестирование с отработкой всех сценариев перед демонстрацией внутреннему заказчику.

Что хотелось бы отметить отдельно. Если говорить про процесс в целом, то самая сложная часть работы – это, конечно, разработка (кодинг) новых, ранее не существовавших на платформе, механик. Особое внимание здесь заслуживает разработка мультиплеерных механик, по части которых нет даже достаточного количества технической документации, не говоря уже о готовых модулях или библиотеках. В связи с этим наша работа периодически меняла направление на исследования и проверку нескольких решений методом проб и ошибок до тех пор, пока мы получим удовлетворительный результат. Благодаря этому с каждым разом библиотека наших модулей расширялась, а значит — новые сценарии мы могли создавать, частично конструируя их из готовых элементов.

Еще можно отметить достаточно трудоемкий процесс создания самой трехмерной локации – перенос сцены из 3D-редактора в полноценную game-ready модель. Этот этап включает процессы по оптимизации поликаунта, создание различных карт, разверток, работы со светом. По нашему опыту, именно этой части внешние 3D-студии не уделяют достаточного внимания, создавая эффектный визуал, но не думая о производительности. После пары проектов мы вывели правило, что, не смотря на изначального автора нового виртуального мира, нам точно необходимо заложить ресурсы своих специалистов, которые смогут провести правильную оптимизацию создаваемой локации.

Кстати, это правило применимо и для аватаров – передаешь подрядчику скелет персонажа для отрисовки моделей, а на следующей итерации обнаруживаешь его с лишними костями.

И последнее – это сложности тестирования, знакомые многим из геймдев индустрии. В рамках внутренних тестов мы стараемся проверить все элементы и сценарии нашего метаверса, но тем не менее не можем охватить достаточное количество кейсов и пользовательских устройств, а также проверить платформу при максимальной нагрузке. Именно поэтому при запуске игр часто организуют всевозможные закрытые тестирования, а мы с вами слышим о многочисленных ошибках и недовольных пользователях при первых публичных мероприятиях того или иного метаверса.

Про аватары

Теперь давайте поговорим про аватары, без которых любая виртуальная локация будет городом-призраком, а не населенной частью метавселенной. Что умеют делать наши виртуальные герои? Ходить, бегать, прыгать, сидеть в разных позах, поворачивать голову, пожимать друг другу руки, махать в знак приветствия… да много чего еще! Чтобы сделать процесс общения приближенным к реальному, в нашем распоряжении — Lip Sync-решение. Чтобы жестикуляция аватаров при общении была максимально реалистичной, а реальный спикер за кадром не отвлекался на управление во время долгого спича, мы реализовали заранее настроенную анимацию.

Как это работает? Если спикер понимает, что ему (или ей) предстоит сейчас говорить без остановки в течение нескольких минут, он может включить анимацию и полностью сосредоточиться на речи — при этом его аватар в метаверсе будет жестикулировать, а значит не будет выглядеть статично замершим.

Также мы сознательно решили уйти от большого набора индивидуальных, заранее готовых к использованию аватаров, и сделали ставку на конструктор. Это дает возможность пользователям покреативить еще до момента входа, чтобы каждый мог персонализировать героя на свой вкус и выстроить с ним эмоциональную связь.

Почему так важно дать пользователю максимум свободы для эксперимента со своим виртуальным образом? Нам очень хотелось оставить пространство для деловой серьезности и максимальной «похожести» на себя в офлайне, если пользователь делает свою виртуальную копию, а также для игры и самоиронии, если хочется экспериментов с внешностью. Если посчитать все возможные комбинации, то с помощью нашего конструктора уже можно сгенерить более 1000 образов.

Кроме возможности самостоятельно создавать цифрового аватара, мы в качестве теста эксклюзивно создавали персонального двойника. Дело это не быстрое и достаточно кропотливое. Разработка индивидуального аватара занимает не менее трех недель (от первого эскиза по фото и видео, до презентации спикеру). Например, для Data Fusion мы отрисовали аватар Наталии Дегтяревой, руководителя Акселератора ВТБ, так как она была модератором дискуссии (спойлер: Наталии он понравился с первой итерации).

Важное про команду

Метавселенная ВТБ не смогла бы появиться без неоценимого вклада участников. За время развития проекта мы собрали собственную core-команду, полностью автономную и покрывающую весь необходимый набор нужных нам скиллов. Сегодня мы — это:

• руководитель команды разработки;

• разработчики на Unreal Engine;

• C++ разработчики;

• 3D-художники (по персонажам, пространствам и локациям);

• специалисты по оптимизации 3D-моделей;

• 3D-аниматоры;

• специалисты по тестированию.

Каждый из наших специалистов обладает уникальным набором компетенций. Без их инициативы и увлеченности процессом текущих результатов не было бы. Команда небольшая, но и занимается она перспективной технологией, где важно нащупать свою нишу, и в случае успешной проверки продуктовых гипотез, приступить к дальнейшему росту и развитию.

ТОП-5 фишек метаверса ВТБ

Хочу отметить те возможности, которые полюбились нам и коллегам, использующим метаверс, больше всего:

• изменение окружения: персонаж может увидеть вечернее или утреннее небо, инопланетный мир или космическое пространство. А в одной из локаций команда может на старте встречи выбрать то окружение, которое считает наиболее подходящим под настроение;

• возможность разместиться там, где хочется: с технологической точки зрения происходит расчет пространства, которое находится под ногами персонажа, аватар сядет на любой подходящий участок (например, на пол или в кресло);

• фокус на экран: при дискуссии пользователь может в любой момент при нажатии одной кнопки увидеть слайд, который транслирует спикер на весь монитор. Не нужно толпиться у виртуального стенда или экрана, можно занять удобное для себя место в рамках трехмерной локации;

• реалистичность локации: в метавселенной можно найти светлячков и весенние первоцветы. Все, как в реальной жизни (только без аллергии!);

• приятный фоновой звук: по словам наших спикеров — это помогает почувствовать себя в метаверсе, расслабиться и успешно выступить перед аудиторией.

Что дальше?

В ближайших планах продолжение развития и тестирование решения для различных сценариев работы и обучения команд банка, а также расширение набора возможных инструментов. Мы планируем расширять варианты поддерживаемых пользовательских платформ, включая создание клиента под VR, когда часть сотрудников сможет использовать созданные нами цифровые миры с максимальным погружением в виртуальную реальность.

И еще одна не менее важная задача – поиск возможностей применения метаверса ВТБ для внешних мероприятий. Это позволит укрепить технологический бренд банка и даст нашим пользователям новые возможности иммерсивной среды, которые в будущем смогут проложить дорогу к новым, уникальным форматам взаимодействия.

Вместо послесловия

Нам с командой нравится думать, что метаверс создан для того, чтобы объединять людей — на уровне классных и продуманных пользовательских сценариев, интересных фич и даже внутренних шуток и приколов, которые появляются в процессе разработки (неизбежно).

На локации, которую мы использовали для Data Fusion, где-то среди сада камней на далекой планете, мы разместили логотип банка, а рядом — зону для медитаций. А аватары могут сидеть в позе «лотоса», почему бы и нет?

Какое-то время назад во время экспериментов с цифровыми двойниками пользователь, нажав определенное сочетание клавиш, мог вместо стандартного аватара выбрать аватар одного из руководителей компании. А еще у нас есть игра-шутер, чтобы после встречи можно было расслабиться и отвлечься.

Иногда сами пользователи случайно натыкаются на недокументированные возможности, например, пробелы в расставленных коллизиях (невидимых стенах) по локациям и забираются в потайные места. А вишенка на торте — «любимые» нами гайзенбаги в Unreal, которые существуют специально для того, чтобы держать команду в тонусе.

Бонус

Если вы дочитали до конца, то мы предлагаем вам чуть больше окунуться непосредственно в метавселенную ВТБ и посмотреть, как прошла дискуссия. Запускайте видео и наслаждайтесь, а если у вас возникнут вопросы — буду рад обсудить их в комментариях?