Привет, Хабр! В сегодняшней статье расскажем о том, как команда МТС совместно с компанией «Дайгер» под руководством её технического директора Сергея Головина разработали специализированное ПО для устройств дополненной реальности, используемых на промышленных объектах. В «Дайгер» появилась идея проекта, после чего её команда стала его реализовывать. Команда МТС принимала активное участие в работе с середины 2023 года.

Кейс интересный, поскольку нам удалось создать систему, которая связывает оператора на объекте с удалённым специалистом. Он может при необходимости подключиться в режиме конференции, дать советы и обсудить возможности решения возникших проблем. Подробности — под катом.

Кто, что и зачем разрабатывал?

Если кратко, то объединённая команда МТС и «Дайгер» создала ПО для промышленных AR-очков компании Rokid, чтобы связку «очки + софт» можно было использовать на отечественных предприятиях.

Разработанное ПО называется «Цифровой контроль». Оно предназначено для таких сложных промышленных объектов, как нефтегазовые месторождения, горнодобывающие предприятия, аэропорты, логистические терминалы и т. п.

Итоговая система должна была решить несколько главных проблем производства:

• сложность и/или высокая стоимость доставки эксперта на удалённый объект

• сложность или невозможность объективного контроля рутинных операций — это обходы, инвентаризация, сбор данных, технологические операции и пр.

• невозможность одновременного выполнения ряда операций, а также сложность в параллельном использовании телефона/планшета для получения справочной информации и/или фото- и видеоконтроля ключевых шагов

• различные операции, требующие при выполнении оперативной или вовсе мгновенной передачи сведений между несколькими сотрудниками

В качестве аппаратной основы проекта мы решили использовать AR-очки. Забегая вперёд, скажем, выбрали поставщика — компанию Rokid. Она на рынке примерно с 2017 года, а её продукция достаточно хорошо известна. Её очки выбрали потому, что у них отличная яркость экрана. И это важно, поскольку на дисплеи зачастую проецируется критически важная информация. Ещё один момент: информация может показываться для каждого глаза отдельно, что есть далеко не у всех конкурентов. Всё это существенно сказывается на удобстве работы. Вот с какими моделями устройств партнёра мы работали:

• Rokid X Craft

• Rokid Glass 2 и Rokid Air Pro (улучшенная версия Glass 2)

• Rokid Air

• INMO Air 2

Первая модель, Rokid X Craft, предназначена для применения в промышленных условиях. Это откидные очки с высокой степенью защиты и двумя камерами.

Вторая, Rokid Glass 2, является универсальной и может использоваться в разных отраслях промышленности.

Третья, Rokid Air Pro, — следующий этап развития Rokid Glass 2. Это AR-очки для повседневного использования.

Четвёртая, Rokid Air, позиционируется как AR-девайс для гражданских служащих. У него откидное затемнённое покрытие и отличный спортивный дизайн. Есть возможность голосового управления.

Пятая, облегчённая, модель называется INMO Air 2. Управление осуществляется при помощи кольца-джойстика.

С чего всё началось

Идея создания программной платформы возникла в июне-июле 2022 года. Было предложено несколько вариантов:

• разработка VR

• видеоаналитика

• AR, дополненная реальность

Около полугода мы анализировали рынок. И не зря, ведь в итоге поняли, что наиболее свободная ниша — это именно AR. На тот момент в основном все использовали продукцию Realware, где был только монокуляр, но при этом уже появлялись качественные устройства, например от Rokid.

У нас была гипотеза, что решение будет востребовано во всех сферах бизнеса, где нужен контроль технологических процессов, в том числе квалифицированными зарубежными специалистами. При этом нередко объекты контроля находятся в труднодоступных или удалённых локациях — и эту особенность необходимо было учитывать.

С начала 2023 года приступили к активной разработке: пробовали различные модели гаджетов, для чего ездили и оценивали возможности устройств лично. В итоге решили писать софт именно для Rokid. Почти сразу столкнулись с проблемой: за все эти годы Rokid не предоставила хороший SDK и документацию, да и комьюнити весьма ограничено. Но мы смогли разобраться, как пользоваться слабо документированным API.

Стоит отметить, что проект реализован силами 8 человек «Дайгера» под руководством технического директора компании Сергея Головина: это продакт, дизайнер, DevOps, два фронтенд-разработчика, три бэкенд-специалиста и Android-разработчик. Со стороны МТС проект курировал директор по продукту Виктор Каспаров.

Для бэкенда у нас применялись JS, Nginx, Node.js, Express.js, Socket.io, Prisma, PostgreSQL, COTURN и менеджер процессов Pm2.

Что касается веб-приложения, то мы задействовали Typescript, React, Redux, Znt Design, Socket.io.

Софт для AR-очков написан с использованием Kotlin и библиотеки для обмена данными в реальном времени Socket.io.

Продукт, кроме уже озвученных выше задач, помогает решать и другие:

• мониторить ключевую информацию об объекте наблюдения в режиме реального времени

• оценивать ситуации на предприятии

• контролировать точечные действия оператора

• передавать на очки дополненной реальности оператора телеметрию, инструкции и видео

• просматривать записи с очков по результатам обхода объекта операторами

Благодаря активному участию коллег из «Дайгер» мы на практике подтвердили гипотезу и перешли к выводу продукта на рынок. Пилотный проект получил положительные отклики. Пользователи отметили стабильную работу соединения и удобный интерфейс, в том числе чёткую картинку на AR-очках оператора: работать можно даже на улице при ярком дневном освещении.

Запуск «Цифрового контроля» в промышленную эксплуатацию запланирован на первый квартал 2024.

Как всё это работает

Взаимодействие с программно-аппаратными комплексами на базе AR-очков предполагает три категории участников системы: администратор, эксперт и оператор.

Сотрудники первых двух категорий работают через интернет в веб-приложении. Они используют ПК, ноутбук, планшет или телефон. Вот технические требования к компьютеру для работы нашего ПО:

• операционная система: MS Windows 10 (64 бита)

• объём и тип оперативной памяти: от 8 Гб DDR4

• объём жёсткого диска: наличие свободного пространства от 10 Гб

• тактовая частота и тип процессора: AMD/INTEL 2,1 ГГц 4 ядра и более, поддержка SSE/SSE2.1, AVX-частота системной шины — от 8 GT/s

• графический ускоритель: Intel серии Iris Plus выше 655 модели или Nvidia серии GTX выше 970 модели

• наличие периферийных устройств: высокоскоростной порт USB 3.0, сетевой адаптер 1 000 Mb/s

Вот пример того, как выглядит интерфейс программной платформы для администратора, эксперта и оператора:

Администратор создаёт пользователей, группы, управляет задачами, назначает исполнителей, а также наполняет базу знаний.

Эксперт курирует выполнение задач, консультирует операторов по видеосвязи, назначает конференции и заполняет техническую базу объектов.

Ну а оператор уже выполняет задачи по чек-листам, созванивается с экспертами для консультации и проводит обследования объектов при помощи базы знаний и телеметрии. Приложение «Цифровой контроль» для AR-очков обеспечивает доступ оператора к системе для взаимодействия с экспертом и объявленным функционалом.

И теперь — о кейсах

Расскажем о трёх различных ситуациях с тремя промышленными предприятиями. На самом деле кейсов может быть гораздо больше.

Нефтесервисная компания. Нужно провести аудит и дефектоскопию оборудования на местах добычи нефти, ускорить подготовку отчёта по промышленной безопасности, сократить расходы предприятия на командировки. А ещё оптимизировать человеко-часы дорогостоящих специалистов.

Решение — внедрение системы «Цифровой контроль» с модулем «Удалённый эксперт», вывод телеметрической информации и технологических карт, а также использование дашбордов.

Результат — дефектоскопист на месторождении под руководством инспектора по промбезопасности из центрального офиса проводит осмотр необходимых узлов, используя AR-очки. Инспектор быстро формирует отчёт, причём без личного присутствия на объекте. Соответственно, время проведения проверок значительно снижается, а затраты на командировки и сопутствующие расходные статьи сокращаются.

Угледобывающая компания. Здесь задача иная — автоматизировать типовые бизнес-процессы:

• приёмка вагонов с углём

• учёт состояния контрольно-измерительных приборов

• осмотр и ремонт ленты подачи угля

• наблюдение за исправностью ж/д путей, вагонов и вагоноопрокидывателей

Кроме того, повысить качество работы бригад с одновременным сокращением пребывания людей в неблагоприятной среде и фиксирование процесса обхода до последующего разбора.

Решение всё то же — внедрение «Цифрового контроля» с модулем «Удалённый эксперт», вывод телеметрии и карт, а также использование дашборда «Промышленная безопасность» на основе Safe Zone.

Результат — ускорение большинства процессов, включая онбординг новых сотрудников, консультации эксперта, фиксации дефектов и заполнение отчётов. Кроме того, это ещё и контроль перемещения персонала по промплощадке.

Промышленное предприятие. В этом случае нужно провести пусконаладку производственной линии без приезда специалистов из другого региона.

Решение — по-прежнему внедрение системы «Цифровой контроль» с модулем «Удалённый эксперт», вывод телеметрии и карт, применение дашбордов с выводом данных из ТОРО (техническое обслуживание и ремонт оборудования).

Результат — сокращение расходов предприятия на дорогостоящие командировки, а также самостоятельная пусконаладка и регулировка оборудования под руководством экспертов вендора производственной линии.

Мы проанализировали результаты кейсов и выяснили, что цифровой контроль сокращает время на проверку и наладку оборудования. А также снимается нагрузка с подрядчиков, растёт качество обслуживания и ускоряются следующие процессы:

• поиск и приёмка МТР

• заполнение актов и протоколов

• осмотр оборудования и исправление проблем

• проведение ТО

• заведение средств измерения в систему учёта

Кроме того, есть и другие результаты. Например:

• сотрудник знакомится с инструкцией примерно в 10 раз быстрее

• дефекты оборудования описываются в 5 раз быстрее

• отчёты после обхода заполняются примерно в 10 раз оперативнее

• данные по объектам в системах учёта актуализируются до 120 раз быстрее, чем обычно

Всё хорошо, но мы планируем модернизировать систему в ближайшем будущем. В частности, собираемся расширить линейку поддерживаемых устройств: у Rokid выходят новые модели, появляются и новые производители. А также подключаем дополнительные сервисы, сейчас на повестке дня — интеграция решения МТС AI в области видеоаналитики и распознавания голоса.

На этом всё. Если у вас есть вопросы или просто хотите обсудить тему статьи, пишите в комментариях.