Математика и компьютерные науки всегда воспринимаются как неотъемлемые составляющие Data Science, поскольку предлагают методы и средства для анализа данных, математического моделирования и построения интеллектуальных систем. Без них Data Science, очевидно, не может существовать. А отношение к отраслевой экспертизе не такое однозначное. Часто она изучается в последнюю очередь, особенно после неудачных попыток построить модель.
Мой опыт работы с Data Science в компании Datana сформировал понимание важных принципов разработки интеллектуальных решений для отрасли черной металлургии. Я расскажу о том, почему задачи Data Science в черной металлургии не решаются в стиле Kaggle, насколько важное значение имеет экспертиза в предметной области и о вызовах, с которыми приходится сталкиваться в жизненном цикле Data Science.
Data Science в металлургии
Data Science уже давно применяется в банках для решения задач кредитного скоринга и прогнозирования инвестиционных рисков, в маркетинге – для сегментации клиентов и создания персонализированных предложений, в страховании – для прогнозирования наступления страховых случаев, в GPS-навигации – для прокладывания оптимальных маршрутов. Сегодня невозможно представить себе ни одну индустрию, в которой бы не использовали Data Science. Активно захватывается и сфера «исключительно человеческой деятельности» – искусство (создание музыки и изобразительных объектов).
Черная металлургия до недавнего времени относилась с недоверием к технологиям, способным принимать решение за человека. Причины понятны: высокие риски выхода из строя дорогостоящего оборудования, возникновения аварийных ситуаций, а, соответственно, – непредвиденных финансовых затрат и травм на производстве. Благодаря тому, что системы искусственного интеллекта постоянно доказывают свою состоятельность во многих сферах деятельности, ежедневно увеличивая прибыль, сокращая расходы и улучшая качество продукции, руководители металлургических предприятий тоже не оставляют без внимания современные способы совершенствования производства и сегодня активными темпами внедряют системы искусственного интеллекта.
С помощью Data Science решается широкий спектр задач, различающихся как по объекту внедрения, так и по методам решения. В стиле Kaggle такие задачи не решаются из-за отсутствия необходимых данных и метрик, предоставленных «на блюдечке», сложности объекта моделирования и необходимости разбираться в физико-химических закономерностях процесса. Если просто взять большой набор данных производства и обучить на них ML-модель, то это не гарантирует достижение ожидаемого результата. Модель корректно работать не будет, так как, скорее всего, не впишется в производственный сценарий технологического процесса. Использовать сложные алгоритмы машинного обучения для многих задач недопустимо, поскольку снижается интерпретируемость модели. Эти и другие трудности приходится преодолевать на всех этапах жизненного цикла Data Science. Рассмотрим их подробнее.
7 вызовов черной металлургии для Data Science:
1. Данные нужно доставать
Часто заказчик ограничивается лишь желанием «Снизить расходы», «Улучшить качество» или «Сократить время» технологического процесса. С точки зрения Data Science такие формулировки не дают возможности понять, с какими данными предстоит работать, какие признаки нужно прогнозировать или оптимизировать. Поэтому специалистам Data Science предстоит самим определить, какие данные нужны для моделирования. Выполнить эту задачу невозможно, не погрузившись в предметную область технологического процесса.
Данные собираются из разных источников: с датчиков, контроллеров, контрольно-измерительного оборудования и с помощью ручного ввода. При этом они записываются в разные информационные системы с разной периодичностью и в разных форматах. Поэтому для заказчика сбор данных представляет собой непростую и длительную задачу, которая во многих случаях решается очень субъективно IT-специалистами. В итоге данные:
могут быть агрегированы в произвольном виде;
не содержать временных меток;
быть представлены в перемешанном из нескольких признаков виде;
содержать данные одних и тех же признаков, представленных в разных единицах измерения (килограммы и тонны).
Неправильно представленные данные (например, агрегированный расход электроэнергии вместо распределенного по времени) могут повлиять на возможность построения модели, например, для прогнозирования химического состава стали в процессе ее обработки.
В случае, если данные о добавлении в сталь ферросплавов представлены вперемешку в виде килограммов и тонн, то, во-первых, нужно это обнаружить, во-вторых, – разобраться с технологическими возможностями бункерной системы, предназначенной для подачи материалов в сталь, и с ее управлением, чтобы отделить одни значения от других и конвертировать в нужные единицы измерения (“2” – это 2 кг или 2 тонны?).
Кроме того, данные, относящиеся к одному процессу, собираются разными системами и сохраняются в разных форматах (XML, CSV, JSON, БД Oracle, SQL Server, IBA), при этом часто не соответствуя друг другу по временным меткам и другим признакам.
Так может выглядеть схема информационных систем цеха:
Поэтому для того, чтобы понять, какие данные нужны для моделирования и какие данные возможно получить, специалистам Data Science необходимо:
изучить технологические инструкции, разобраться в технологическом процессе и возможностях агрегатов и оборудования;
съездить на завод и понять, как соблюдаются правила на практике (и почему не соблюдаются);
разобраться в устройствах, генерирующих данные;
разобраться в схеме информационных систем, собирающих данные;
разобраться в форматах и типах генерируемых во время процесса данных.
2. Данные отсутствуют
Для задач компьютерного зрения данные приходится собирать самим. С этой целью закупаются и устанавливаются видеокамеры, записываются образцы видеороликов, которые семантически размечаются для дальнейшего обучения модели. Во многих случаях для этого прорабатываются дополнительные инженерные решения, позволяющие размещать камеры и получать доступ к записываемому объекту, например, – к поверхности металла в ковше.
Данная процедура не всегда заканчивается успехом с первого раза: защитные чехлы сгорают, жаропрочные стекла трескаются, не всегда есть возможность удобно установить камеру для полного охвата кадра.
О том, как нам удалось это сделать, мы рассказывали в этой статье. Там же можно увидеть, как выглядит поверхность расплавленного металла через защитное стекло.
В ряде случаев отсутствующие данные приходится восстанавливать за счет построения отдельных моделей. Например, температуру стали можно восстановить по ее зависимости от расхода электроэнергии, используемой для нагрева расплава электрической дугой.
3. Инжиниринг признаков нетривиальный
Инжиниринг признаков – один из самых важных этапов при создании моделей. Производство стали связано с комплексными физико-химическими процессами, которыми управляют в соответствии с установленными на заводе графиками производства, правилами и ограничениями. Для принятия решений оценивается большое количество факторов: физико-химических, технологических, статистических и даже чисто субъективных – визуальных и звуковых. Например, сталевары определяют возможность восстановления марганца в металле из шлака по его цвету и по звуку электрической дуги. Если шлак красного или желтого цвета, то он раскислен, и марганец не будет восстанавливаться в большом количестве, а если звук электрической дуги «глухой», то шлак имеет большую толщину, и марганец будет восстанавливаться значительно. Многие из этих факторов описываются физико-химическими зависимостями, некоторые – статистическими. О них можно узнать из научной литературы, статей и общения с технологами и сталеварами.
Например, в задаче сокращения времени вакуумной обработки стали необходимо учитывать материальный баланс массообменных процессов. Вакуумная обработка стали применяется для обезуглероживания металла (удаление углерода) на установке вакуумирования стали. Такая сталь обладает повышенными механическими свойствами, востребованными для автомобильного листа. Процессом управляют вручную, а средствами воздействия на процесс являются изменения давления в установке вакуумирования, расхода аргона во всасывающий патрубок и расхода кислорода для продувки металла. При этом, на протяжении процесса оператору недоступна информация о текущем содержании углерода в металле. Сталевар руководствуется данными, поступившими до начала процесса, а также своим опытом при установке управляющих воздействий, чтобы снизить углерод до требуемого уровня.
Вакуумирование стали осуществляется в вакуум-камере, которую погружают в расплавленный металл. В результате снижения давления металл втягивается в камеру, где происходит процесс обезуглероживания.
Для того, чтобы сократить время вакуумирования, нужно определить зависимости между содержанием углерода в металле, массами отходящих газов СО, СО2 и интенсивностью подачи аргона и кислорода. В итоге получается набор физико-химических зависимостей, которые дальше можно использовать для прогнозирования содержания углерода в металле в модели машинного обучения и для сокращения времени вакуумирования в оптимизационной модели.
Например, массу выведенного углерода из металла в единицу времени можно выразить зависимостью от масс отходящих газов СО и СО2:
Для определения масс отходящих газов СО и СО2 (данные поступают в виде доли общего содержания в газовой смеси, включающей еще аргон, кислород и другие газы), используется зависимость доли содержания СО и СО2 от долей содержания всех остальных газов с учетом их плотностей.
Таким же образом определяются зависимости для скорости обезуглероживания стали от скорости рециркуляции стали в вакуум-камере и от интенсивности подачи аргона и кислорода.
Для работы с признаками специалисту Data Science необходимо:
изучать научную литературу;
обращаться за консультациями к отраслевым экспертам;
прорабатывать признаки, в первую очередь основанные на физических и химических зависимостях процесса;
не придавать решающее значение автоматизированному инжинирингу признаков (таким как autofeat, tsfresh), а в случае применения – использовать как дополнение к физико-химическим зависимостям.
4. Метрики качества неизвестны
Для заказчика принципиально важными показателями являются бизнес-метрики. Именно по ним оценивается качество работы модели. Часто подбор метрик является нетривиальной задачей как для исполнителя, так и для заказчика, а в некоторых случаях оценить модель можно только путем специально организованных мероприятий.
Например, для оценки модели оптимизации расхода ферросплавов применяется метрика расчета экономического эффекта. Она характеризует снижение финансовых затрат с применением модели относительно затрат без применения модели:
cost_unitno_model - удельная стоимость ферросплавов без применения модели, руб./т;
cost_unitmodel - удельная стоимость ферросплавов с применением модели, руб./т;
steel_grades – множество марок стали.
А для модели компьютерного зрения, выполняющей мониторинг нежелательного попадания металла в шлак, сливаемый из конвертера (печь для получения стали из чугуна и металлического лома), необходимо для нескольких плавок слить шлак в шлаковую чашу, а после остывания провести анализ содержания металла, неравномерно распределенного по всему объему шлака. Это мероприятие не выполняется в рамках стандартного технологического процесса. Его нужно организовывать отдельно и только для ограниченного количества плавок.
Так выглядит слив шлака из конвертера через защитное стекло:
Подбор метрик – важный этап Data Science. Во всех случаях необходимо:
разбираться в технологии процессов для нахождения способов проверки качества модели с учетом технологических возможностей и ограничений;
проверять качество модели как с помощью математических метрик (MAE, MSE, RMSE, Accuracy и др.), так и с помощью бизнес-метрик.
5. Модель должна встраиваться в сценарий процесса
Модель не принесет большой пользы, если она не будет вписываться в сценарий производственного процесса. Сценарий – совокупность условий для принятия решений и порядок действий, выполняемых работниками по управлению технологическим процессом. Иногда сценарий сложно выявить в явном виде, даже изучив технологические инструкции, но удается – в ходе общения с работниками производства. Часто решения по управлению процессом принимаются очень субъективно, но получение такой информации является важным инсайдом, который можно применять для разбиения процесса на стадии.
В задаче оптимизации расхода ферросплавов мы выявили такой сценарий.
Известно, что добавляемые в сталь химические элементы усваиваются по-разному. Они могут окисляться и уходить в шлак или, наоборот, восстанавливаться и переходить обратно в металл.
В ходе обсуждения процесса со сталеварами выяснилось, что марганец они не добавляют в сталь на начальной стадии обработки, так как именно в этот период времени он может значительно восстановиться из шлака. Это может привести к превышению требуемого содержания и к нежелательным последствиям в виде разбавления стали. Данные подтвердили, что максимальное восстановление марганца происходит на начальной стадии обработки стали, а на последующих – прекращается.
Данный инсайд помог нам построить архитектуру моделей, которые хорошо встраиваются в сценарий и логику процесса. На начальной стадии применяется модель для рекомендации ферросплавов, которые не содержат марганец, с прицелом на промежуточный химический состав. Далее подключается другая модель, которая учитывает все ферросплавы для попадания уже в финальный химический состав.
Схема встраивания моделей в сценарий:
Создать работающую в реальных условиях модель, находясь лишь в офисе, не получится. Многие ограничения процесса, особенности использования ресурсов, порядок выполнения операций выявляются только при личном контакте с технологами и сталеварами, а также при наблюдении за процессом собственными глазами. Не всегда эти сведения содержатся в технологических инструкциях.
Специалистам Data Science перед разработкой модели следует:
исследовать сценарий процесса для возможности его разделения на характерные стадии по свойствам моделируемых объектов или технологическим операциям;
выявить с помощью работников производства неочевидную, но важную информацию о процессе и проверить ее на данных.
6. Модель должна быть интерпретируемой
Одно из основных требований к моделям в черной металлургии – интерпретируемость. Заказчик ожидает, что каждый факт выдачи рекомендации можно будет объяснить по шагам и обосновать понятными правилами или формулами. В случае с классическим моделированием и экспертными системами это возможно, так как алгоритм известен заранее, но, когда дело касается машинного обучения, интерпретируемость усложняется или вообще становится невозможной. Поэтому во многих задачах не приветствуется применение моделей вида «черный ящик» (например, нейронных сетей, если это не задача компьютерного зрения), но охотно принимаются линейные модели или деревья решений. Для любого типа моделей необходимо продумывать способы интерпретации результатов ее работы. Интерпретируемость может оказаться приоритетнее точности.
Для повышения уровня интерпретируемости моделей специалистам Data Science необходимо в первую очередь:
применять базовые модели машинного обучения, логически встраивая их в стадии процесса с учетом закономерностей и технологических ограничений;
применять физико-химические модели вместо машинного обучения;
применять экспертные системы, основанные на технологических правилах и логике принятия решений;
не повышать точность моделей путем стекинга, поскольку это приведет к ухудшению интерпретируемости;
продумывать способы интерпретации моделей.
Возможно также применение специальных библиотек для оценки важности признаков, прогнозов или для перевода ансамбля деревьев в полиномиальный вид (например, SHAP, LIME, Monoforest).
7. Модель должна быть надежной
На производстве задействовано множество агрегатов, контрольно-измерительного оборудования, датчиков, контроллеров, трайб-аппаратов. Погрешность измерительного оборудования меняется со временем из-за износа, поломок и перенастроек. Сталеплавильные агрегаты ремонтируются, огнестойкая футеровка обновляется. Приборы и датчики ремонтируются и заменяются на новые с другими единицами измерения. Меняются поставщики и характеристики исходного сырья. Модифицируется технология производства. Все это приводит к смещению данных. Модели деградируют, показатели их качества ухудшаются – надежность не обеспечивается. Этот эффект является одной из причин недостаточного доверия к обучаемым моделям в металлургии.
Чтобы обеспечить надежность, модели сопровождаются сервисами мониторинга для непрерывного отслеживания изменений ключевых показателей качества моделей и данных. В случае достижения критических границ проводится своевременная донастройка и дообучение моделей.
Во время мониторинга анализируются:
изменения качества поступающих данных относительно тех, на которых обучена модель;
изменения показателей качества работы модели (по математическим и бизнес-метрикам).
Задачей специалистов Data Science является подбор таких метрик, по которым можно выявить причину изменения входящих данных, результатов работы моделей, а также установить источники проблемы. Часть метрик связана со статистикой, часть – с ограничениями технологии процесса.
Примеры используемых метрик для мониторинга:
характер распределения и граничные значения данных;
меры центральных тенденций;
корреляции признаков;
дублирование данных;
количество пропущенных значений;
технологические метрики, основанные на ограничениях производства (например, одновременная продувка металла аргоном и слив шлака из конвертера невозможны);
точность модели (MAE, MSE и др.) в сравнении с фактическими данными;
экономический эффект от применения модели.
Заключение
При работе с Data Science в черной металлургии приходится преодолевать много вызовов, требующих погружения в предметную область, изучения производственных стандартов, понимания технологии и закономерности процессов. Опыт работы над проектами компании Datana показывает, что это достижимо. Для этого нужно уделять внимание и время для тщательного изучения технических и научных материалов, а также посещать производственные площадки для получения знаний из первых рук.
Именно при таком подходе в черной металлургии повышается доверие к интеллектуальным системам, а проблемы решаются эффективно и без серьезных изменений устоявшихся схем производства.
Свои производственные заметки мы, помимо Хабра, выкладываем в Telegram-канале. Присоединяйтесь!
А еще мы будем рады видеть вас в своей команде. Те, кто нужен нам прямо сейчас, перечислены тут.