Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Как и любой бизнес, металлургия, нефтегаз, нефтехимия и машиностроение заинтересованы в повышении своей эффективности и прибыли, а также в снижении себестоимости производства продукции.

Традиционные подходы исчерпали свой потенциал за десятки лет постоянных оптимизаций и улучшений. Поэтому все обратили внимание на работу с данными, ведь они справедливо считаются новой нефтью, а их правильное использование даёт компаниям существенные преимущества. Обилие разнообразных задач со своей спецификой привело к появлению отдельного направления — Data Science (DS) в промышленности. 

Светлана Потапова

Руководитель кластера «Искусственный интеллект» Северстали

Привет, Хабр! Меня зовут Светлана Потапова, я руковожу «Северсталь Диджитал» — подразделением ИТ-функции Северстали, которое занимается разработкой и внедрением решений на основе машинного обучения. Например, с помощью моделей машинного обучения мы уже ускоряем агрегаты на несколько тонн стали в час и научились детектировать и классифицировать дефекты на миллионах фотографий металлополосы. Системы компьютерного зрения следят за соблюдением технологического процесса, техники безопасности на площадках и помогают снижать выбросы вредных веществ на коксовых батареях.

В этой статье расскажу, зачем становиться дата-сайентистом в промышленности, кто это такой и чем занимается и почему повышать цифровизацию производства непросто, но того стоит. 

Чем занимается дата-сайентист в промышленности

Дата-сайентист использует машинное обучение для поиска закономерностей в больших объёмах данных, на их основе разрабатывает математические модели и, самое главное, с их помощью решает задачи бизнеса. С работой алгоритмов искусственного интеллекта мы соприкасаемся каждый день: это рекомендации музыки и кино в стриминговых сервисах, прогноз пробок, различные чат-боты и подсказки подходящих товаров от маркетплейсов. 

В промышленности свои задачи — сложнее и масштабнее, ведь с их помощью решаются проблемы непрерывного производства со сложной цепочкой процессов, спецификой и большим уровнем ответственности. С помощью алгоритмов машинного обучения можно найти скрытые резервы, в разы улучшить производственные показатели, изменить технологию производства, повлиять на качество выпускаемой продукции. Например, ускорить агрегат, чтобы производить больше травленого проката, увеличить производство бутадиена или создать рецептуру моторного масла. 

В процессе создания и внедрения Data-Science-решения принимает участие не только дата-сайентист, а целая команда квалифицированных специалистов в своих областях.

Расскажу, как это устроено, на нашем примере. Задача обычно приходит непосредственно от производства через владельца продукта. Он формирует конечное видение решения, прорабатывает сценарий использования и внедрения решения в бизнес-процесс вместе с остальной командой. Ядро команды со стороны ИТ — дата-сайентист, руководитель проекта и архитектор. Дата-сайентист в нашем понимании совмещает функции аналитика данных и ML-инженера: анализирует имеющиеся данные, проверяет гипотезы и создаёт модель машинного обучения. Когда модель готова и получаемые метрики достаточны для решения поставленной задачи, мы идём во внедрение. Начинаем с этапа проектирования архитектуры: определяем, из каких сервисов будет состоять решение и какими будут логические связи между ними, проектируем интеграции с другими системами. Далее для непосредственной разработки привлекаются фронтенд- и бэкенд-разработчики, дата-инженеры, девопс-инженеры. В период промышленной эксплуатации решение передаётся технической поддержке. 

А теперь как это выглядит на практике. Бизнесу нужно найти способ произвести больше оцинкованного проката без значительных дополнительных инвестиций. При этом важно сохранить качество продукции и соблюсти технологию. У владельца продукта есть гипотеза, что за счёт более оптимального управления режимами работы агрегата непрерывного горячего цинкования (АНГЦ-4) можно повысить его производительность. 

Команда из руководителя проекта и аналитиков данных едет на производственную площадку, чтобы лично поговорить с операторами, технологами и изучить процесс горячего цинкования и особенности агрегата, а также понять текущий уровень автоматизации агрегата, ведь это определит режим работы будущей модели: советчик или непосредственно управляющая модель.

Для старта работы дата-инженер делает выгрузку исторических данных, настраивает сбор данных в режиме реального времени, чтобы накопить их и потом использовать. С этого момента дата-сайентист приступает к исследованию данных (англ. exploratory data analysis, EDA): порой это целое расследование, которое даёт понимание, как данные взаимосвязаны, какие есть аномалии в процессе, какие факторы оказывают влияние и насколько существенное.

В рассматриваемом примере мы пришли к выводу, что для решения задачи нужен нестандартный подход: комплекс моделей на основе технологической экспертизы, физического моделирования, машинного обучения, а также современных подходов теории управления. Предложенный подход к достижению цели по увеличению производительности агрегата обсудили с бизнесом. После утверждения запустили разработку архитектуры и компонентов решения, произвели доработки на уровне АСУ ТП, чтобы туда поступали управляющие сигналы от моделей. Для отслеживания работы системы спроектировали и настроили мониторинг. Всё это время дата-сайентист непрерывно участвует в процессе для доведения решения до целевого состояния — когда оператор сможет управлять процессом в автоматическом режиме, созданном с помощью модели, максимально возможный процент времени.

В результате мы получили решение, которое автоматически управляет скоростью агрегата в технологической части и нагревом полосы в печи термохимического отжига. Производительность АНГЦ-4 только за первые три месяца увеличилась на 3,4%, а экономический эффект составил более 100 млн рублей. Разве не потрясающе!

Чем отличается DS в промышленности от DS в других сферах

Из инструментов у дата-сайентистов в ходу Python, математическая статистика, оптимизационные алгоритмы, классические методы машинного обучения и нейронные сети. Казалось бы, всё то же самое. Но у Data Science в промышленности есть особенности.

Во-первых, это особенности самих данных. Основной источник данных — сигналы с датчиков, установленных на производственных агрегатах. Для моделей, которые управляют агрегатами, данные идут непрерывно, и обрабатывать их необходимо также в режиме реального времени. Этих сигналов может быть огромное количество. Только с одной доменной печи собирается и обрабатывается свыше 10 000 сигналов в секунду. 

Датчики периодически калибруются, но не всегда это происходит своевременно и достаточно часто, поэтому в периодах между калибровками измерения могут постепенно смещаться и становиться менее точными. Сигналы с датчиков часто бывают зашумлены. Прежде чем использовать такие данные для обучения модели, необходимо производить очистку и сглаживание сигналов.

Изучение принципа работы конкретного агрегата и осуществляемых им технологических процессов тоже помогает в работе с данными. Информацию о расположении датчиков на агрегате можно использовать для интерпретации наблюдаемых корреляций между сигналами, а также для расчёта лагов каждого датчика при агрегации всех сигналов в единый датасет.

Всё это помогает не только очистить и правильно предобработать данные, но и глубже погрузиться в нюансы производственного процесса. Эти знания позволяют придумывать киллер-фичи для будущей модели.

В качестве примера рассмотрим область предиктивных ремонтов. Часто возникают ситуации, когда исторические данные об отказах и неисправностях ограничены или даже отсутствуют, точное время не зафиксировано, не существует измеряемых показателей, которые могут указывать на возможные отказы. В таких случаях нужны специальные подходы, основанные во многом на экспертном понимании работы оборудования.

Во-вторых, в промышленности управляют агрегатами, каждый из которых отвечает за отдельный технологический процесс со своими особенностями и физическими закономерностями. Если вы не металлург, химик, нефтяник или машиностроитель, вы их не знаете, но погрузиться в них придётся. Здесь сложнее представить себя на месте пользователя и примерить на себя паттерны поведения. Нужно понимать, что КПД не может быть больше 100%, и не пытаться подогнать решение под ответ, перебирая разные DS-методы без понимания сути задачи.

Готовые решения задач встречаются редко: к каждому процессу и оборудованию нужно искать свой подход. Бывают случаи, где можно перенять чей-то опыт, но чаще всего приходится справляться самостоятельно — это особо нравится пытливым умам, склонным к исследованиям. Однообразных задач здесь нет. Наоборот, всегда что-то новенькое.

В-третьих, на большом производстве высока цена ошибки. Простой на агрегате обходится очень дорого. Может произойти эффект домино, когда простой на одном агрегате приводит к остановке агрегатов дальше по цепочке производства.

Например, когда происходит задержка выдачи сляба из печи, стан простаивает в ожидании сляба. В итоге это может привести к денежным потерям на миллионы рублей. Всё становится ещё серьёзнее, когда речь идёт о безопасности персонала. Поэтому любое Data-Science-решение тщательно перепроверяется и тестируется. 

Какие плюсы и минусы есть у профессии

Да, дата-сайентист в промышленности сталкивается с большим количеством физики, ответственности и постоянных перепроверок. Однако материальные и нематериальные плюсы тоже имеются. Например, в условиях производства с его объёмами и масштабами даже небольшая для обывателя оптимизация в 1–3% может вылиться в солидный экономический эффект на миллионы рублей. Сэкономленные средства не передадут вам лично в руки, но это неплохое выражение и подтверждение эффективности приложенных усилий. А если есть доказанная эффективность, то будет конкурентная заработная плата и прочие материальные поощрения.

Михаил Деулин

Ведущий аналитик данных «Северсталь Диджитал»

Побывать в цеху, посмотреть на этот размах, на огромнейшие агрегаты размером со здание — есть в этом своя романтика. А ещё впечатлить бывалых коллег-металлургов. Когда люди работают десятки лет, у них есть опыт, своё понимание, как должны идти процессы, есть убеждённость, что так можно, а вот так нельзя. И потом вы с ними вместе разбираетесь, строите модели и расширяете эти границы: оказывается, и так тоже правильно и даже лучше! Иногда твоя работа выглядит магией, и это очень вдохновляет.

Елена Смольникова

Ведущий аналитик данных «Северсталь Диджитал»

Во-первых, ты можешь потрогать результат своей работы, ведь твои модели управляют реальными гигантскими машинами. И это действительно впечатляет. Во-вторых, интересно разбираться в работе этих машин, вникать в принципы. Но это одновременно и плюс, и минус: возможно, человеку без должной технической подготовки будет поначалу сложно погрузиться. Однако огромный плюс для меня — это разнообразие выполняемой работы: каждый раз новое оборудование, новое знакомство, новая проблема.

Но небольшая ложка дёгтя всё же нужна. Не все идеи по внедрению машинного обучения доходят до промышленной эксплуатации. И причин может быть несколько: недостаточно данных для построения модели, качество решения на имеющихся данных может не подходить заказчику, есть внешние факторы или действия персонала, которые влияют на качество модели. В компьютерном зрении это могут быть агрессивные условия внешней среды, неразличимость объектов и так далее.

Например, мы хотели сократить потребление мазута агрегатом в процессе сушки железорудного концентрата и построили модель на имеющихся данных. Режим работы агрегата носит сезонный характер и актуален только в холодное время года при высокой влажности — то есть каждый раз при подготовке к сезону сушка проходит настройку режимов и они могут, как выяснилось, не совпадать с предыдущими периодами. Таким образом, рекомендации нашей модели оказались нерелевантными для нового режима.

Кроме того, не всегда задача должна решаться именно с помощью машинного обучения. Иногда лучше использовать модели на основе простых правил или вовсе настроить дашборд. А где-то человек может справляться лучше машины, так как обладает более полной информацией о происходящем, которая не переведена в цифровой вид.

С какими навыками берут в индустриальные дата-сайентисты

База у дата-сайентиста едина для любой сферы: высшая математика и статистика, программирование на Python или R, технический английский, навыки работы с базами данных. Также требуются знания инструментов обработки и визуализации данных. В промышленности к этому списку добавляются основы физики и химии, так как производство сильно завязано на них. 

Когда собиралась команда DS в нашей компании, в неё приходили экономисты, люди с инженерным бэкграундом, опытом в точных науках или разработке, но ни одного металлурга среди них не было. На самом деле этого никто и не ожидает: иначе нанять кого-либо было бы очень сложно, — пока это не самое популярное сочетание профессий. Сегодня переквалификация из смежных профессий — всё ещё популярный способ прийти в промышленную DS. 

Сейчас обучиться DS можно несколькими способами. 

Во-первых, классический университетский путь с факультетами прикладной математики и компьютерных наук. Программы в этой области как для студентов, получающих основное образование, так и для тех, кто проходит профессиональную переподготовку, предлагают Высшая школа экономики, МГУ, СПбГУ, МФТИ, РАНХиГС и другие крупнейшие вузы страны.

Во-вторых, онлайн-платформы, чьи платные программы рассчитаны на год или два, так как за два месяца овладеть профессией, тем более с нуля, не получится. Например, мы принимаем на стажировку выпускников Нетологии, — у них недавно открылась специализация «Data Science в промышленности». На курсе студенты знакомятся со всеми особенностями индустриальной «цифры», получают представление о типичных задачах и готовятся к работе в этой сфере. 

Третий вариант — площадки, которые предоставляют доступ к бесплатным курсам от университетов, например Stepik. Однако бесплатные программы, как правило, короткие и поверхностные: знакомят с основами аналитики данных. Параллельно с обучением можно и нужно читать научные статьи на английском языке. 

Как понять, что вы готовы стать дата-сайентистом в промышленности

Расскажу на нашем опыте найма. От джуна мы ожидаем знание Python и основ статистики и линейной алгебры, понимание классических алгоритмов машинного обучения, умение писать SQL-запросы, работать с системой командной разработки Git и запускать Jupyter Notebook — популярный инструмент для анализа данных и быстрого прототипирования. Важным преимуществом будет опыт работы с Linux или хотя бы отсутствие страха и предубеждений по отношению к этой ОС. 

Мидлу потребуется всё то же самое плюс понимание, как работают Hadoop и Apache Spark, как происходит контейнеризация в Docker и оркестрация контейнеров в Kubernetes, как устанавливать причинно-следственные связи (causal inference) и решать задачи математической оптимизации. 

Сеньору добавляем понимание deep learning и reinforcement learning, а также теорий автоматизированного управления и оптимального управления. 

Это только hard skills. А ещё нужна усидчивость, готовность пробовать разные варианты решения задачи, умение работать в команде. 

Хотя промышленность считается консервативной сферой, этаким большим заводом с проходной, Data Science в ней прижилась. Более того, потребность в кадрах для цифровизации промышленности только растёт.