Всем привет!

Меня зовут Антон Федосеев, я – разработчик AR-платформы для видеоконференцсвязи, которой пользуются наши производства. Мы запустили сервис, с помощью которого наши сотрудники могут общаться по видео с коллегами из других регионов, получать онлайн-консультации от экспертов – производителей оборудования (тоже из других регионов), а компания – экономить от 500 тысяч рублей до нескольких миллионов за 1 видеозвонок.



Откуда взялась эта экономия, в чём особенность использования такого сервиса на промышленных объектах, почему мы не обошлись существующими на рынке аналогами и как делали свой продукт – расскажу под катом.

Немного истории

Проект по AR стартовал в СИБУРе в январе 2018 года, одновременно с началом активной работы над интеграцией концепции «Индустрия 4.0» в различные производственные сценарии на наших предприятиях. К тому моменту СИБУР уже проанализировал ряд кейсов, связанных с ремонтом промышленного оборудования, и в компании думали над тем, как можно сократить затраты на привлечение внешних специалистов от поставщиков этого оборудования и сервисных компаний, заменив их очные визиты на консультации по аудио- и видеосвязи.

В этом же году мы опробовали технологию дистанционного обслуживания с помощью AR-очков, использовав ряд имевшихся на рынке решений, а также проработали базовые сценарии применения такой технологии, посчитали экономический эффект от её внедрения. Поняли, что такой проект и целесообразен, и реализуем с технической точки зрения. А тестовой площадкой стали наши тобольские предприятия.

Мы назвали наш продукт «Удалённый эксперт AR». В 2019 году с помощью нашего «Удалённого эксперта», который пока работал на временном софте партнёра, было совершено более 300 видеозвонков – всё это кейсы, когда поставщики оборудования, внутренние эксперты, представители строительных компаний передали или получили всю необходимую информацию через AR-сервис, не приезжая к нам на производства. А с июня 2020 года СИБУР начал активное развёртывание собственной AR-платформы для дистанционного обслуживания и ремонта промышленного оборудования.

Что представляет из себя AR-сервис дистанционного обслуживания и ремонта?

Наш AR-сервис отличается простотой в использовании и, укрупнённо, включает в себя 2 ключевых компонента: очки дополненной реальности RealWear и Epson (в зависимости от условий среды, об этом – дальше) и интегрированную с ними собственную мобильную медиаплатформу СИБУРа на базе ОС Android, разработанную совместно с G-Core Labs. Платформа позволяет полностью оцифровывать весь процесс обслуживания и ремонта, организуя HD-вещание, используя WebRTC и полноценную коммуникационную площадку для эффективного взаимодействия специалиста на месте с удалённым экспертом. Всё управление осуществляется голосом, руки человека, работающего с установкой, остаются полностью свободными.



На связи с заводским специалистом находится представитель поставщика промышленного оборудования или внутренний эксперт СИБУРа, который просто получает на свой личный e-mail ссылку и запускает видеоконференцсвязь в любом браузере (Chrome, Edge, Mozilla, Safari и т.д.) на любом устройстве, в т.ч. планшете и смартфоне.

Устанавливать какие-то специальные приложения или программы не нужно.

СИБУР – географически распределённая компания, наши предприятия работают более чем в 20 регионах по всей России (и не только), от Европейской части страны до Сибири и Дальнего Востока. Порой между заводом и квалифицированным экспертом, который может осуществлять руководство техническим обслуживанием или ремонтом того или иного оборудования, лежат тысячи километров. Например, чтобы добраться из корпоративного центра в Москве на объект, который находится в Сибири, нужно 7-9 часов – за это время всё может измениться как в лучшую, так и в худшую сторону. А если эксперт находится не в Москве, а в другой стране? На заводах работают как российские установки, так и оборудование американских, японских, европейских и азиатских производителей. Ещё учитываем, что нужно оформить командировку, иногда – получить визу. Тут надо отметить, что очная консультация специалиста – дело недешёвое: это командировочные расходы, затраты на оплату полного рабочего дня экспертов, а то и нескольких дней (почасовая тарификация при очном формате не работает). Одна такая консультация может стоить компании от нескольких сотен тысяч до миллиона рублей. А если снова карантинные ограничения, закрытие границ и приостановка международного авиасообщения? Вот поэтому запуск AR-платформы дистанционного консультирования для нас был очень актуален.

AR-сервис: необходимый функционал и как мы его реализовали

Основной сценарий использования нашего сервиса – это групповые видеозвонки. Для уменьшения нагрузки на сеть и повышения качества передаваемого видео мы используем медиасервер. Используемый в проекте медиасервер позволяет дублировать входящий медиа поток на несколько клиентов, адаптируя его под канал связи каждого клиента. Также позволяет формировать живые превьюшки пользователей, исключая необходимость передавать на клиент полноразмерные видео других клиентов. Ещё для групповой работы клиентов на базе медиасервера реализованы такие инструменты как зумирование и запись.
Когда говорят «видеоконференцсвязь», все представляют skype или zoom. Но мы работаем с интерфейсами и документами, а на производстве работают с оборудованием, поэтому для демонстрации процессов нужны свободные руки. Отличается и сама среда – инструмент для связи не должен стать причиной искры.

Чтобы освободить специалисту «в поле» руки, платформой предусмотрено полноценное голосовое управление AR-очками: по команде они активируются, начинают удалённое вещание, ведут видеозапись и делают фотоснимки высокого разрешения. После завершения сеанса записи консультаций сохраняются на сервере предприятия. При начале сеанса на микродисплее очков отображается имя и регалии подключившегося эксперта, индикаторы качества сетевого подключения и уровня заряда батареи.

При сильном морозе очки бесперебойно работают в течение 2 часов. И здесь же вернёмся к теме искры. На производственных участках мы используем оборудование, предназначенное для эксплуатации в газоопасной среде – это RealWear. Для работы в ремонтных цехах возможно использование пылевлагостойких устройств в индустриальном исполнении. Здесь мы используем оборудование компании Epson.

Про картинку

Медиаплатформу нам помогла разработать компания G-Core Labs. Стабильная и чёткая картинка, возможность разглядеть даже мелкие детали оборудования – всё это было для нас очень важно. В связи с этим мы изменили стандартное поведение библиотеки WebRTC, при котором при снижении скорости соединения с сетью ухудшается качество картинки, но при этом сохраняется частота кадров. В нашем случае критично именно качество картинки, даже если наблюдаются задержки в доставке видеопотока. Ну а если связь совсем подводит, наша платформа отдаёт приоритет сохранению аудиосвязи с оператором.

Помимо качественной картинки нам нужна была и дополненная реальность – подсказки, уведомления. С помощью виртуальной указки, отображающейся на микродисплее очков, сотрудник компании-поставщика оборудования может направлять действия специалиста с предприятия, отмечая, куда ему нужно посмотреть, что повернуть и где проконтролировать. Также в функционал AR-платформы встроены чат и отправка стикеров. Последние нужны, например, если что-то не так со связью. В этом случаем удалённый эксперт отправляет сигнальные стикеры – например «галочку», если всё сделано правильно, или «стоп», если нужно прекратить действия.

Чем уникален наш сервис?

Главные отличительные черты решения СИБУРа от других аналогов на рынке – глубина его интеграции в реальные производственные задачи и процессы предприятий, комплексная цифровизация процесса ремонта и универсальность, что позволяет развёртывать сервис на самых разных производственных площадках.

В нашем решении мы проработали полноценную ролевую модель, ориентированную на бизнес-заказчиков – начальников на производстве, начальников участка, механиков, руководителей служб технического заказчика и т.д. В AR-сервисе предусмотрена система тикетов, которая подразумевает не просто возможность видеосвязи, но и полноценную оцифровку бизнес-процесса по проведению дистанционной консультации. С помощью этой системы тикетов мы ведём заказчика по всему пути решения возникшего вопроса, от проверки полноты необходимой информации до оценки стоимости работ, необходимых компетенций и квалификаций внешних либо внутренних экспертов, обеспечиваем информационную безопасность и отвечаем на вопросы, кто, в какой момент и у кого должен взять очки, как поддерживается эта система и как именно происходит всё это взаимодействие вплоть до успешного завершения обслуживания или ремонта.

Конечно, в России, Европе, Азии и Америке есть системы, позволяющие организовывать видеосвязь посредством очков дополненной реальности. Однако на сегодняшний день успех внедрения таких проектов на промышленных предприятиях во многом зависит от качества интеграции во внутренние процессы, а также используемой IT-платформы, кастомизированной под индустриальные процессы и задачи.

Ограничения и вызовы: нет – плагинам и WiFi, да – LTE и микросервисной архитектуре

Одним из требований при создании платформы было отсутствие установки чего-либо (плагинов или программ) на компьютеры пользователей. Данное требование мы удовлетворили, используя веб-клиент и современный браузер. Почти все современные браузеры (как для desktop, так и мобильные) поддерживают технологию WebRTC. Наш сервис построен именно на нём. Если кратко, то WebRTC позволяет устанавливать потоковую аудио- и видеосвязь между участниками, используя протокол RTP, который в свою очередь работает поверх UDP. Имеется механизм подбора путей установки соединения между участниками (ICE), механизм согласования формата медиа потоков (SDP), алгоритмы оценки пропускной способности канала связи, алгоритмы адаптации сжатия потоков медиа данных и алгоритмы обработки медиа, такие как подавление эха и пр. В последнее время WebRTC получил хорошее распространение в браузерах и развитие. Использование UDP для передачи данных между участниками не всегда возможно из-за наличия межсетевых экранов, антивирусов, маршрутизаторов и NAT. Для решения данных проблем были придуманы STUN и TURN. Для случаев, когда UDP-протокол недоступен, появилась возможность использовать TCP для ICE. Также была добавлена поддержка TCP-протокола в STUN и TURN.

TCP повышает доступность нашего сервиса для внешних клиентов, которые могут находиться за NAT, firewall, корпоративными межсетевым экранами и прочими разными ограничениями сети. Однако использование TCP протокола вместо UDP внесло изменение в поведение WebRTC. Во время передачи медиа данных по протоколу UDP возможны потери пакетов, их дублирование, изменение порядка следования, небольшие задержки. Все эти ситуации корректно обрабатываются WebRTC: возможно кратковременное появление артефактов изображения или искажение звука. При использовании TCP потерь, дублирования и изменения порядка следования пакетов нет – за этим следят алгоритмы, заложенные в протокол. Но всё это превращается в большие задержки и дрожание (jitter) при получении пакетов. Визуально это выглядело как подвисание кадров и постепенное накопление задержки между источником видео и отображением на другом клиенте. После внесения изменений в медиасервер практически удалось избавиться от накопления задержки, но подвисание кадров победить не удалось. Было принято решение на время отключать передачу видео с медиасервера в случае возникновения больших задержек при получении пакетов. Такое решение позволило сохранить голосовую коммуникацию между участниками, даже при плохих условиях работы сети.

Все промышленные смарт-очки, представленные на рынке, подключаются к сети через WiFi. Это создаёт определённые трудности в эксплуатации очков на огромных территориях заводов СИБУРа. Обеспечить устойчивой WiFi-связью все места на заводе, где предполагается проведение работ с использованием смарт-очков, учитывая масштабы заводов и установок – довольно непростая задача. Более эффективно и дешевле на открытых пространствах использовать беспроводную сеть LTE. Такое решение, однако, требует наличие у сотрудника дополнительного оборудования – LTE-модема. Ещё LTE-сеть хорошо экранируется железобетонными конструкциями цехов и металлическими корпусами оборудования внутри них. Для обеспечения покрытия внутри здания, используются стационарные LTE-модемы и сеть WiFi-трансляторов. Во время работы в смарт очках качество соединения с серверами нестабильно, порой обрывается. Чтобы не потерять информацию о том, что делал сотрудник в очках и как, на очках происходит видеозапись на внутренний носитель. Данная видеозапись производится в HD-качестве и не зависит от условий сети. У нас есть возможность удалённого стирания данных на очках, а также удаления данных в случае обнаружения рута.

Все сервисы СИБУРа строятся по микросервисной архитектуре. Наша платформа – не исключение. По факту она состоит из двух микросервисов: микросервис BPM и микросервис видеозвонков. Также мы используем микросервисы, развёрнутые или разрабатываемые другими командами: микросервис аутентификации для работы с пользователями, микросервис оповещений для почты и смс рассылок и некоторые другие. Микросервисы общаются между собой, используя gRPC. Таким же образом с нашим сервисом общаются и клиенты: для смарт-очков и веб-клиент. Однако веб-клиентами gRPC напрямую не поддерживается. Для них есть библиотека для работы с gRPC-web, который не совместим с gRPC. Для доступа к сервису используется gRPC-шлюз, транслирующий gRPC-web в gRPCи обратно.



На данный момент мы построили модульную платформу, которая обеспечивает стабильную и качественную (насколько позволяет сеть) видео- и аудиосвязь, а также имеет возможность расширять свой функционал за счёт добавления новых модулей и оборудования. Впереди ещё много работы: в планах более тесная интеграция с другими информационными сервисами СИБУРа, исследование нового поколения смарт-очков и шлемов AR и VR, реализация инструментов дополненной реальности и эффективной совместной работы наших коллег и сторонних партнёров.