Чтобы добыть железную руду, породу в карьере нужно рызрыхлить. В карьере СГОКа (Стойленского горно-обогатительного комбината) делается это с помощью буровзрывных работ. Полученную после взрыва горную массу нужно погрузить в карьерный самосвал, а потом в вагон-думпкар и отправить на обогатительную фабрику.

Казалось бы, что может быть проще — черпай себе экскаватором да высыпай. А вот нет — тут легко допустить перегруз или же, наоборот, недогруз. Даже если средние показатели в норме, из-за таких вот «небольших» погрешностей мы на круг недовозили на фабрику 2-3% породы в сравнении с учетной нормой. Приходилось запускать дополнительные рейсы. Перегруз еще и опасен для транспорта — он повышает износ деталей и расход топлива, увеличивает риск выпадения кусков породы из вагона или кузова.

Мы на НЛМК очень любим ИИ, математические модели и прочие нейросети – вот их и взяли, чтобы повысить эффективность транспортировки железной руды с карьера на фабрику.

Зачем нам на СГОКе искусственный интеллект

Итак, как я уже сказала, при погрузке породы легко перегрузить или недогрузить транспорт. Как же найти баланс?

При оценке эффективности процесса транспортировки с точки зрения экономики мы опираемся на очень важный параметр — коэффициент использования грузоподъёмности. Наша цель — коэффициент загрузки транспорта 100%. Основной экономический эффект в этом случае мы получаем за счет экономии электроэнергии для железнодорожного транспорта и дизельного топлива для автомашин.

К тому же, правильная загрузка существенно снижает износ техники. Смещение груза на один борт кузова может стать причиной нештатной работы двигателя, повышенного износа и расхода топлива.

Решение задач с помощью ИИ для нас не в новинку, поэтому к проверке погрузки самосвалов и вагонов мы тоже подошли технологично. Избежать нештатных ситуаций и повысить эффективность грузоперевозок нам помогает цифровой сервис.

Yet another нейросеть для НЛМК

В качестве решения мы видели некую систему на базе машинного зрения, которая будет оценивать качество загрузки железной руды, сравнивая его с «паспортом загрузки» — документом, где указаны нормативные значения по заполнению транспорта — и выдавать корректирующие рекомендации для специалистов СГОКа.

Контроль должен производиться во всех местах погрузки: в карьере, где автосамосвалы забирают сырье, и на железнодорожной станции, где породу загружают в думпкары.

Проект реализовывали по довольно привычной для нас схеме:

• проектирование решения и оценка экономического эффекта;

• подбор и монтаж оборудования (видеокамеры, сервера, компьютеры и т.д);

• сбор данных;

• разметка и тренировка нейросети;

• тестирование;

• доработка алгоритмов нейросети;

• разработка backend-сервисов и интеграция с системами НЛМК;

• масштабирование системы на другие стационарные точки.

Установка видеооборудования и сбор данных

Для проверки гипотезы мы взяли простенькие камеры GoPro с «рыбьим глазом», изучили условия, учли ракурсы и определили, что попадет в кадр. Однако фишаи неиллюзорно искажали изображение — его приходилось исправлять программным способом, поэтому от этих объективов мы отказались практически сразу.

Оборудование подбиралось с учетом того, что в карьере довольно агрессивные условия — летом жарко, а зимой холодно, да и зона взрывных работ как никак.

Чтобы ускорить процесс и точность подбора техники, специалист по 3D смоделировал копию стационарной точки – на модели отрабатывали функционал нейросети. Подобрали конфигурацию камер без выездов «в поле». Кроме того, такая модель позволила «переключаться» между днём и ночью, чтобы оценить качество изображения.

Все камеры стоят в зоне взрывных работ карьера. Поэтому используем влагозащищенные камеры Hikvision и инфракрасную камеру глубины Intel RealSense D40055. Для защиты камер от пыли, грязи и экстремальных температур оборудование поместили в телекоммуникационные шкафы, которые нередко используют сотовые операторы. Так как Intel RealSense D 40055 не предназначена для работы на улице, ее поместили в кастомный алюминиевый корпус.

Подготовка данных и обучение модели

Итак, с оборудованием «в полях» разобрались — переходим к самому интересному.

Сердце, а точнее, мозг нашего цифрового сервиса — нейросеть. Чтобы эта нейросеть могла действительно эффективно решать поставленную задачу, ее нужно обучить. Для обучения нам нужен был «материал» — размеченные изображения.

Разметка — процесс довольно длительный и монотонный. На разметку и валидацию одного изображения уходило от 30 до 60 минут. Для повышения стабильности работы нейросети использовали синтетические данные. Говоря простыми словами, взяли 3D-модель думпкара и написали скрипт, который рандомно генерировал случаи ненадлежащей погрузки — перегруз, недогруз, негабарит.

При этом синтетические данные не только быстро генерировались — на один кадр уходило минуты две — но и выходили уже размеченными. При необходимости можно было запустить непрерывную генерацию на нескольких машинах.

Стек технологий

В качестве формата разметки выбрали COCO. В качестве корневой технологии — фреймворк Detectron2 от Facebook для работы с machine learning. У используемой Instance Segmentation есть недостатки — она плохо работает с мелкими объектами, но у нас на точках все объекты довольно таки большие, поэтому этот минус оказался для нас абсолютно несущественным. Нейросеть хорошо справляется с задачей.

Для усреднения результатов предсказания между кадрами был разработан отдельный алгоритм. Он помогает получать усредненную информацию о перевозимой породе и устраняет случайные артефакты.

Кроме того, в сервис интегрированы цифровые линейки, которые переводят расстояние из пикселей в метры.

Обучение проходило в два этапа:

• Обучили нейросеть на 1000 фото, добавили немного «синтетики» — получили рабочую модель.

• Прогнали нейросеть по еще одному сету размеченных вручную кадров — получили улучшенную модель.

Для запуска MVP и «боевого» тестирования этого было достаточно.

Как работает сервис сейчас

Расскажем на примере ж/д. На пути смотрят три камеры:

• Первая — на столбе — смотрит вниз, прямо на вагон с рудой. Изображение с нее уходит на сервер и обрабатывается: алгоритмы фиксируют отступы по краям и оценивают равномерность погрузки. Требования по отступам указаны в «паспорте загрузки» — это помогает избежать инцидентов со скатыванием камней с думпкара во время транспортировки породы.

• Вторая камера снимает горку отгруженной железной руды. Она помогает найти физический центр массы и определить, правильно ли загружен вагон, нет ли перекоса.

• Третья камера (инфракрасная) анализирует объем — создает профиль поверхности, благодаря которому алгоритм определяет высоту пика горки с погрешностью до десяти сантиметров. Кстати, именно благодаря этой камере система может определять вес. Работает это следующим образом. Поскольку профиль и геометрия кузова нам известна, для расчета объема достаточно несложных математических операций. Зная, что за порода погружена в вагон и какого она объема, мы можем узнать ее массу — для этого нужно плотность умножить на объём.

Чтобы наши камеры всегда видели четко, на точке установлены прожекторы на 72 000 люменов — прямо как на стадионах. Отдельная сложность с таким светом была на автодороге: водители сразу стали жаловаться на то, что он мешает и слепит при езде. Поэтому мы сразу сделали донастройку, чтобы свет был четко направленным.

Благодаря такому освещению изображение получается четким даже в самое темное время суток. Камеры в real time передают видео на сервер, где его обрабатывают алгоритмы. Для автономной работы системы на объекте установлен мини-компьютер и подведено питание.

Примерно такая же схема установки оборудования на автодороге.

Что умеет система сегодня

Сейчас система может оценивать не только процент загрузки самосвалов и думпкаров, но и ее правильность, т.е. сравнивать качество загрузки с «паспортом загрузки». Система определяет расстояния, такие как отступы загруженной породы от бортов карьерных самосвалов, количество и размер негабаритных кусков и сравнивает с указанными в паспорте.

Это позволяет оповестить о возможных проблемах машиниста экскаватора и своевременно скорректировать нагрузку. Если что-то корректировать поздно — можно оповестить о возможных рисках водителя самосвала или машиниста тягового агрегата. Они аккуратно транспортируют неправильно загруженный транспорт и смогут избежать нештатных ситуаций.

Подводим итоги

В прошлом году мы сделали прогноз и определили ожидаемые эффекты сервиса на конец 2022 года.

Итак, что получилось сделать:

• снизить расход топлива для самосвалов на 1% и электричества для думпкаров на 6,5%;

• увеличить объем перевозимой руды на 1–2% за счет достижения параметров паспортной загрузки транспортных средств;

• сократить количество поломок карьерных самосвалов и думпкаров;

• определять негабариты ещё до попадания на обогатительную фабрику, что позволяет исключить простои дробилки крупного дробления – зная, что на дроблении будет негабарит, оператор может принять оптимальное решение и предотвратить забутовку дробилки.

Планы на будущее

В будущем мы планируем еще раз обучить модель с учетом нового оборудования – доукомплектовать каждую точку контроля лидарами, а также связать этот цифровой сервис с системами СГОКа и автоматически передавать машинистам экскаваторов, тяговых агрегатов и водителям самосвалов информацию о загрузках.

Поскольку сервис успешно себя продемонстрировал и доказал свою эффективность, мы планируем масштабировать его на другие точки, чтобы покрыть весь трафик перевозок.