Часть 1: CRM для ERP

Часть 2: Роботизация бизнес-процессов

Часть 3: Волшебные интерфейсы и оживление железа

Часть 4: Автоматические личные кабинеты и чат-боты

Часть 5: Автоматизация на производстве

Часть 6: Траблшутинг на предприятии

Часть 7: Интуитивная система управления качеством (в этой публикации)

Свою первую статья на Хабре я опубликовал год назад, а это уже 7-ая часть из цикла статей о цифровой трансформации. В статье речь пойдёт о весьма интуитивной системе, которая работает с неактуальными данными, и успешно управляет качеством.

Краткая предыстория

В конце прошлого года на очередном заводском совещании обсуждался вопрос качества клинкера (полуфабрикат) и готовой продукции (цемент). Тема довольно спорная, так как на качество влияет множество факторов.

Одной из проблем называли нестабильное качество сырья (мергеля и мела), которое добывается в собственном карьере. Под качество сырья подразумевается его химический состав.

Чтобы разобраться в этой проблеме и понять применимость ИТ для улучшения качества, я решил исследовать эту область.

На обследование процессов мне потребовалось ~ 2 недели. Описывать всё в деталях нет смысла, в публикации информация изложена кратко и наиболее значимая.

Насколько детальным было обследование и анализ данных

Обследование включало в себя выезды на производственные участки, сбор и анализ данных, отсмотр архивов видеозаписей, прослушивание записей разговоров, личное общение с сотрудниками, поиск и изучение материалов.

То, что лежит на поверхности и это видят все - не имеет большой ценности. В таком случае, люди сделают примерно одинаковые выводы, а это не помогает найти решение.

Например, только 2 презентации для руководства включали больше 120 слайдов наиболее важной информации, включая конкретные предложения по автоматизации и изменению процессов на производстве.

Итак, первая часть публикации посвящена обследованию процессов и анализу данных, вторая - разработке новой системы и интеграциям.

Выезд в карьер и обследование процесса добычи сырья: частично проблемы начинаются здесь

Карьер представляет собой несколько уступов, где мергель и мел добываются открытым способом. Погрузка сырья в карьерные самосвалы выполняется ковшовыми экскаваторами.

Как происходит добыча мергеля и мела в карьере

Карьерные самосвалы доставляют мел и мергель на производственную площадку завода и выгружают в бункеры-приемники.

Как выглядят бункеры-приемники на производственной площадке завода

Всего на заводе 2 линии подачи и 8 бункеров-приемников: по 4 бункера-приемника на каждую линию (по 2 для мела и по 2 для мергеля).

От начальника горного цеха я узнал, что одной из проблем является наличие негабаритов в мергеле и меле (одна из сторон камня > 50 см), которые иногда попадают в бункеры-приемники и могут останавливать линию подачи. От начальника производственного участка я узнал, что проблемой также является периодическое налипание мела и мергеля на стенках бункеров-приемников.

Анализ данных о хим. составе сырья и добавок: много гугл-таблиц не сильно помогли понять проблему качества

В заводской лаборатории я запросил данные о хим. составе сырья (мергеля и мела) и покупных добавок (бокситов и огарков). Мел, мергель, бокситы и огарки являются компонентами сырьевой смеси, которая спекается для получения клинкера.

Личный опыт: Как быстро понять сложную технологию (на бытовом уровне)?

У меня нет профильного образования и я не являюсь специалистом в производстве цемента. Но для анализа данных нужны минимальные базовые знания, причем очень быстро, чтобы разобраться в таблицах и цифрах.

Попробовал получить консультацию у инженеров и технологов на производстве, но вместо внятной картины получил сложную техническую информацию.

На помощь пришла Википедия и техническая документация с картинками :)

На примере этой статьи понятно, как получается типичный клинкер и какой его примерный химический состав.

Например, в этой статье довольно простым языком написано о многообразии сырья, добавок, сырьевой смеси и технологии производстсва.

Вот эта технологическая схема (на картинке часть обследуемого процесса) помогла разобраться с тем, как сырье фактически идет по линии производства.

Так за пару вечеров удалось довольно быстро разобраться в сложной технологии - на бытовом уровне.

В моем распоряжении оказались гугл-таблицы за последние 3 года. Путем нехитрых манипуляций я свел данные в Excel в удобный для себя формат (по месяцам и годам) и получил сравнительную таблицу по каждому компоненту.

Как выглядели исходные таблицы и какая в них детализация?

Детализация данных с таблице до часов, когда выполнялся анализ хим. состава в лаборатории и все это разбито по дням. Т.е. одна гугл-таблица представляла собой совокупность вкладок с данными за конкретный месяц. Для анализа были взяты данные с 2018 по 2021 год (> 30 гугл-таблиц).

Часовые данные сводились среднедневные, далее в среднемесячные, далее в среднегодовые, и далее в сводную таблицу с динамикой по годам.

И так далее по каждому компоненту сырьевой смеси за последние 3 года.

По цифрам видно, что есть дневные и среднемесячные колебания, но в целом хим. состав довольно стабильный, особенно в динамике по годам.

Остальные таблицы по своей сути в цифрах сходны в том, что хим. состав отдельных компонентов примерно одинаковый и нет явных колебаний по хим. составу, чтобы существенно влиять на качество сырьевой смеси и клинкера.

Читая историю изобретения портландцемента, я узнал, что его запатентовал каменщик Джозеф Аспдин в 1824 году. В двухстраничном документе простыми словами написано, условно, что нужно взять определенное количество материалов и смешать их.

Текст патента на русском языке (картинка)

Отсутствие явных проблем с хим. составом сырья и добавок, наличие проблемы негабаритов и налипаний мела и мергеля, и патент каменщика навели на мысль, проверить: как соблюдается пропорция смешения компонентов сырьевой смеси на заводе?

Анализ работы оператора сырьевого отделения: интуитивный подбор пропорции, вместо сложных математических вычислений

Следующий участок после карьера и лаборатории - сырьевое отделение. Здесь мел, мергель, бокситы и огарки фактически смешиваются в определенном соотношении для получения сырьевой смеси с заданными показателями качества (Кн, n, p). Контролирует этот процесс оператор сырьевого отделения.

Что такое показатели качества (Кн, n, p) в сырьевой муке?

Кн (коэффициент насыщения) - показатель, характеризующий неполную насыщенность кремнезема оксидом кальция в процессе клинкерообразования.

n (cиликатный модуль) - представляет собой отношение процентного содержании в клинкере оксида кремния к сумме процентного содержания оксидов алюминия и железа.

p (глиноземный модуль) - показывает процентное отношение содержания глинозема к содержанию оксида железа.

C (CaO), A (Al2O3), F (Fe2O3), S (SiO2) содержатся во всех 4-х компонентах сырьевой смеси, и их нужно смешать в таких пропорциях, чтобы хим. состав находился в заданных пределах одновременно по каждому показателю качества (Кн, n, p).

Понять принцип работы оператора оказалось довольно просто. Каждый час оператор получает от лаборатории хим. состав сырьевой смеси и фактические значения показателей качества. В случае отклонения показателей качества от требуемых, оператор корректирует в АСУТП дозировки сырья и добавок.

Учитывая, что каждый показатель качества представляет собой математическую формулу (в сумме это система уравнений с тремя неизвестными - Кн, n, p), за 3 часа общения с оператором я не увидел, чтобы он пользовался калькулятором или какой-либо программой для вычисления.

Сменные операторы с 2018 года вели гугл-таблицу, в которой каждый час записывали - какие дозировки установлены для какого хим. состава сырьевой смеси за предыдущий час. Гугл-таблица содержала больше 60 тыс. строк.

Листая таблицу, обратил внимание, что в зависимости от фамилии оператора показатели качества имеют разную раскраску (красный фон - это выход за пределы).

Получается, что опыт работы оператора оказывает непосредственное влияет на качественные показатели сырьевой смеси, а не хим. состав сырья и добавок.

Дальше эта гугл-таблица подверглась очистке от "грязных" данных (явно некорректные значения, ошибки ручного ввода и т.п.) и поиску зависимостей с помощью инструмента гугл-таблиц "Анализ данных".

В основном, это были очевидные зависимости. Меня заинтересовали только графики с резкими колебаниями пропорций мергеля и мела.

Как выглядели колебания на графике для ~ 30 тыс. "очищенных "строк гугл-таблицы

Учитывая отсутствие явных колебаний в хим. составе мергеля и мела, резкие колебания в дозировках говорят проблеме, которой пока не видно. Дальнейший анализ данных гугл-таблиц больше ничего интересного не показал.

Оставалось как-то проверить влияние негабаритов и "зависаний" на качество сырьевой смеси. На помощь пришла система видеонаблюдения на заводе.

О чём не расскажут данные: анализ с помощью архива записей системы видеонаблюдения на заводе

Наибольший интерес для проверки вызывали резкие отклонения основного показателя качества сырьевой муки - Кн. Особенно там, где до и после показатель в норме.

Для анализа хим. состава сырьевой смеси используются усредненные пробы за предыдущий час с помощью автоматических пробоотборников. Зная, что в таблице оператора 3-х часовой хим. состав сырьевой муки, это фактически проба за предыдущий час, записи с камер системы видеонаблюдения я отсматривал также за предыдущий час.

Скриншоты с перемещением экскаватора к бункеру-приемнику

Примерно в течение 15 минут (с 03:09 до 03:25) экскаватор выкапает негабарит или устраняет "зависание" мела в бункере-приемнике.

Просмотр других строк гугл-таблицы по времени резких колебаний Кн, и аналогичный просмотр записей видеоархива за предшествующий час показывал одну и ту же явную зависимость - резкому падению качества Кн предшествует "зависание" материала в бункерах-приемниках.

Что делал оператор сырьевого отделения в подобных ситуациях:

1. При кратковременных "зависаниях" (до 5 минут) оператор ничего не делал.

2. При длительных "зависаниях" (до 15 минут) оператор увеличивал дозировку мергеля или мела на набольшой процент - интуитивно, без каких-либо вычислений.

3. При "зависаниях" больше 15 минут оператор мог остановить линию до полного устранения проблемы с движением сырья по линии.

Таким образом, возникала диспропорция сырья и добавок в составе сырьевой смеси. При установленных процентных отношениях, отклонения возникали в тоннаже мела или мергеля. Это служило причиной резких колебаний показателей качества в сырьевой муке.

Таким образом, существенное влияние на качество сырьевой смеси оказывал не хим. состав сырья и добавок, а несоблюдение весовой пропорции мела, мегреля, бокситов и огарков.

Таким образом, историческая ошибка на производстве заключалась в том, что проблему искали не в том месте - в нестабильном качестве добаваемого в карьере сырья.

Дополнительный анализ записей разговоров оператора сырьевого отделения вскрыл другие проблемы, которые были решены изменением регламентов и действующих процессов. Но это уже совсем другая история, и здесь описывать не буду.

АЦТЕК: интуитивная система управления качеством на основе неактуальных данных

После презентации руководству результатов анализа данных и обследования процессов, мы приступили к разработке системы для поддержания весовой пропорции подаваемых на линию производства материалов, что позволит удерживать качество сырьевой смеси в заданных пределах.

Какие готовые решения есть на рынке

Основным решением для цементных заводов является промышленный поточный анализатор, который представляет собой программно-аппаратный комплекс для онлайн-анализа и расчета состава сырьевой смеси, с последующим управляющим воздействием на дозаторы.

Стоимость для 2-х линий от 100 млн. руб. Это не только инвест. бюджет, но долгая поставка и длительный процесс внедрения и наладки.

Поточный анализатор устанавливается над ленточным транспортером и в режиме онлайн выполняет анализ хим. состава сырья и корректирует пропорции подачи материалов для подбора оптимального состава сырьевой смеси.

Учитывая множество факторов, включая стоимость и сроки, вариант покупки промышленных поточных анализаторов не рассматривался.

В любом случае, системе для обработки и вычислений нужны хоть какие-то данные, даже если их нет в режиме онлайн (как с поточным анализатором).

Позже выяснилось, что данные в гугл-таблицы лаборатории заносились вручную, а источником данных служили два XRF-анализатора (рентгенофлуоресцентных) в заводской лаборатории: большой и малый. Информация о результатах анализов выводилась на экраны мониторов.

Как выглядят XRF-анализаторы в лаборатории

Найденная в интернете инструкция для большого XRF-анализатора удивила: 2009 страниц на английском языке. Потребовалось несколько дней на его изучение, прежде чем приступить к интеграции.

Инструкция малого XRF-анализатора скромнее: всего 105 страниц

Какие выявлены ньюансы интеграции у большого и малого XRF-анализаторов.

Сложность с ограниченной 1 раз в час периодичностью выгрузки малого анализатора усугублялась тем, что это файловая БД MS Access, которая практически всегда занята. Решилось написанием простого bat'ника, который в периодичностью 1 раз в 5 минут копировал файл БД в общую папку, а уже эта копия БД обрабатывалась системой для выборки данных.

В пятой части я уже рассказывал о разработке собственного OPC-клиента для интеграции с АСУТП завода на базе Siemens Simatic PCS7. Коннектор пригодился и для этой задачи, изменились только источники получения данных по тэгам.

Систему АЦТЕК (цифровой помощник оператора сырьевого отделения) решили разработать в виде отдельной конфигурации 1С для автономной работы, независимо от контура ERP-системы.

С одной стороны, операторам сырьевого отделения удается достигать заданных показателей качества сырьевой смеси, пусть даже интуитивно и по личному опыту.

С другой стороны, диапазон значений Кн находится в довольно широком коридоре, а задача заключается в стабилизации качества, когда значения лежат в более узком коридоре с меньшими отклонениями.

В процессе опытной эксплуатации системы на заводе, за 1 месяц нам удалось протестировать 5 алгоритмов расчета состава сырьевой смеси и поддержания весовой пропорции материалов. 4 из них не буду описывать, а только приведу их название:

1. Прямой расчет от последнего хим. состава сырья и добавок

2. Расчет от усредненного за Х дней хим. состава сырья и добавок

3. Расчет на разницах последнего хим. состава муки и оптимального Кн

4. Расчет на разницах последнего хим. состава муки и оптимального, с поиском и усреднением оптимальных Кн

Все 4 алгоритма работают, но недостаточно хорошо и предсказуемо в условиях отсутствия актуальных данных на момент выполнения расчетов.

Что из себя представляет система АЦТЕК и какие принципы заложены в работу алгоритма

Система интегрирована с двумя XRF-анализаторами лаборатории и АСУТП завода, которые служат источниками данных:

• От анализаторов 1 раз в Х минут загружаются наборы данных о хим. составе мела, мергеля, бокситов, огарков и сырьевой муки. Актуальность данных: от 1 до 6 час назад.

• От АСУТП 1 раз в Х секунд загружаются наборы данных о фактическом тоннаже поданных на линию мела, мергеля, бокситов и огарков. Актуальность данных: актуальные.

Другими словами, в момент обработки данных и вычислений, система использует неактуальные (устаревшие) наборы данных из лаборатории. Прямо сейчас на линию производства подаются те же материалы, но с другим хим. составом.

Пример наборов данных от XRF и OPC, загруженные в систему:

Пример настроек системы для получения данных от XRF и OPC

Чтобы более менее корректно обработать неактуальные данные лаборатории, мы ввели в систему настройки производственных тактов. Т.е. получив от лаборатории хим. состав сырьевой муки за предыдущий час, нам нужно понимать какие весовые пропорции материалов в прошлом часе фактически образовали текущие показатели качества:

• за 15-20 минут до окончания часа усредненная проба сырьевой смеси извлекается из пробоотборника (это я узнал у сотрудника, который извлекает стакан из пробоотборника и передает в лабораторию)

• предшествующие 60 минут эта проба автоматически накапливалась в пробоотборнике (это я узнал от сотрудника КИПиА, который прислал фотографию настроек пробоотборника)

• еще 6-8 минут сырье и добавки движутся по линии от дозаторов до пробоотборника (это я узнал от начальника проиводственного участка, который знает длину производственной линии и скорость движения материалов по ней)

Таким образом, в начале часа в системе мы получаем хим. состав сырьевой муки, которая фактически начала формироваться примерно 84 минуты назад в течение следующих 60 минут до извлечения стакана из пробоотборника.

Как выглядят настройки автоматического пробоотборника

Пробоотборник отбирает порцию пробы 1 раз в минуту с паузой 8 минут в течение цикла 60 минут.

Таким образом, в системе появились предопределенные настройки тактов для макмимально приближенного вычисления фактических пропорций.

Дополнительный анализ работы оператора показал, что он практически не оценивает данные прошлых периодов, и в моменте реагирует на текущий показатели качества, как на входные данные. С другой стороны, у него нет выбора из-за отсутствия актуальных данных и при явном дефиците информации.

Поэтому реакция оператора по очередному изменению пропорции сырья и добавок допольно своеобразная: прямо сейчас управять и влиять на то, что фактически уже прошло по линии.

Система также работает с неактуальными данными и дефицитом информации, поэтому мы применяем довольно интуитивный подход к изменению пропорции сырья и добавок. Но в отличие от оператора, все же опираемся на расчеты и реагируем на изменение касество не так резко, как это делает оператор.

Понимая, что прямо сейчас на по линии производства идут сырье и добавки с доподлинно-неизвестным хим. составом, а текущие показатели качества муки это минимум полтора часа назад - еще в процессе опытной эксплуатации мы выявили типичные паттерны по изменению Кн.

Паттерны заложены в систему, чтобы не выполнять преждевременных пересчетов и не делать "лишних движений". Это позволяет уменьшить количество реакций системы, иначе возникает эффект маятника, который постоянно раскачивается.

Для определения оптимальной пропорции система использует данные прошлых периодов и находит последние Х значений хим. состава муки, где показатель качества Кн находился в заданном коридоре. Для них вычисляются фактические пропорции сырья и добавок по тактам, и усредняются. Учитывая текущие показатели качества сырьевой муки и оптимальные, система корректирует отклонение до идеального Кн.

Таким образом, нам удается подобрать оптимальную пропорцию сырья и добавок для формирования сырьевой муки в условиях деффицита актуальных данных.

Но этого недостаточно, так как остается проблема негабаритов и "зависания" материалов в бункерах-приемниках из-за чего возникают весовые диспропорции материалов. В результате хим. состав муки также становится расбалансирован.

Чтобы поддерживать расчетную пропорцию материалов, система оценивает каждые 15 минут соответствие заданной пропорции фактическому дозированию мела, мергеля, бокситов и огарков. В случае явного отклонения по любому из компонент, следующие 15 минут происходит компенсация и другие компоненты изменяются в пропорции относительно исходной - на уменьшение или увеличение доли в составе смеси.

Интерфейс системы и взаимодействие с оператором

С точки зрения оператора, интерфейс выглядит довольно лаконично, поэтому обучение по работе с системой не требуется. А только следование оператора рекомендациям, и установке значений в АСУТП для изменения пропорции подачи сырья и доабавок на дозаторах.

1 раз в 15 минут оператор получает на экране новую рекомендацию по изменению пропорции сырья и добавок для получения муки оптимального качества.

Новая рекомендация выводится на экран автоматически, и также автоматически пропадает с экрана по истечение полутора минут. Если оператор не успел ее обработать, то в любой момент может посмотреть последнюю рекомендацию.

Интерфейс выполнен таким образом, чтобы оператор понимал введены новые пропорции в АСУТП или нет. Яркий фон и заголовки говорят о том, что пропорция не введена в АСУТП. Серый фон и заголовки - рекомендация введена в АСУТП.

Также оператору доступно изменение диапазона качественных показателей (Кн, n и p), которые применяются автоматически и перестраивают алгоритм рекомендаций.

Результат работы системы можно легко оценить в сравнении с зпдпнными показателями качества и результатов работы оператора. Индикация "красным" говорит о том, что показатели качества не в норме. Индикация "зеленым" - качество в норме.

Более наглядное сравнение видно на графике колебания Кн за сутки: слева - результат работы оператора, справа - результат работы системы АЦТЕК.

Очевидно, что несмотря на то, что система работает с неактуальными данными, результат ее работы более предсказуемый и колебания качества сырьевой муки происходят в более узком диапазоне.

Сырьевая мука содержит более стабильный хим. состав, который усредняется дальше по линии производства и фактически превращается в оптимальную смесь ещё до того, как из нее будет спекаться клинкер.

Степень усреднения сырья на отдельных этапах производства

Результат работы системы это участок между "Усреднительный склад" и "Смесительный". Чем стабильнее хим. состав сырьевой смеси на это переделе, тем он еще более стабильный на этапах "Смесительный" и "Печь".

Таким образом, за 2,5 месяца нам удалось создать весьма интуитивную систему для довольно успешного управления качеством в условиях дефицита актуальных данных.

Спасибо, что дочитали до конца!