Добрый день. Сегодня я хотел бы поговорить о том, что вроде бы очевидно и должно быть везде, но когда я читаю статьи презентации, рекламные статьи, научные статьи, выступления на отраслевых конференциях и тексты «войди в айти и стань датасатанистом», я этого не вижу.

Речь о том, что данные, попадающие в машинное обучение, ИИ, цифровых двойников и т. п., не являются тем чем кажутся. Потому что между их изначальным физическим смыслом и числовым выражением внутри модели, стоит череда преобразований.

Но в этот раз речь пойдёт не о цифровом износе и моих многолетних наблюдениях за цифровыми объектами, а об измерительных приборах и ваших многолетних наблюдениях за производственными процессами.

ОБ АВТОРЕ

В связи с открытием новой серии статей, краткое CV для новых читателей:

• инженер по типу образования

• айтишник по сфере деятельности

• зануда по состоянию души

25 лет в айти, 20 лет изучаю историю техники, 10 лет изучаю утрату информации в цифровых документах, 5 лет изучаю утрату физического смысла в ретроспективных данных.

В общем, то что вы будете дальше читать, это не первый и не последний этап долгого пути.

ВСТУПЛЕНИЕ

Итак, в начале недели у нас вышла вторая статья про метрологический дефицит в промышленных больших данных. Она дискуссионная лёгкая, с экскурсами в историю измерений формы Земли, температуры воздуха, скорости ветра и т. п.

Елисейкин М. М., Очков В. Ф. О метрологических характеристиках исторических данных // Законодательная и прикладная метрология. 2024. № 5. С. 47–51. https://doi.org/10.32446/2782-5418.2024-5-47-51

А 2 месяца назад вышла основная статья о том, что проблема есть и теперь её даже можно решать.

Елисейкин М.М, Очков В. Ф. Метрологический дефицит в промышленных «больших данных» // Законодательная и прикладная метрология. 2024. № 4. С. 19–24. https://doi.org/10.32446/2782-5418.2024-4-19-24

И то что вы читаете сейчас, это третья статья данной серии, с картинками, объяснениями и призывами к действию.

Но прежде чем я перейду к картинкам, хочу обратиться к тем, кто захочет сказать «ну это же банально и очевидно».

Если это так банально и очевидно, то почему вы этого не делаете?

Я читал статьи и в интернете и в научных публикациях, я смотрел выступления и презентации, я приходил к людям рассказывающим как правильно работать с данными и задавал прямой вопрос. Все озабочены тем, как ловчее осуществить математический расчёт на основании доступных в данных, но никому не интересно, имеют ли результаты этого расчёта физический смысл.

Потому что это очень сложно и индивидуально в каждом отдельном случае.

Да, не смотря на лёгкость и доступность нижеследующих примеров, в реальности это будет очень сложно, из-за множества наслаивающихся явлений.

МЕТРОЛОГИЧЕСКИЙ ДЕФИЦИТ

Представим, что у нас есть установка, которая стоит и стабильно работает годами. Мы хотим создать автоматическую систему управления, которая бы сообщила нам, о том, что установка скоро выйдет из строя и требует предупредительного ремонта. Для этого мы собрали данные, выявили значения для нормального состояния и сидим ждём когда система зафиксирует выход показателей за границы очерченного нами пространства допустимых значений.

Дополнительно, для в целях данного объяснения примем, что установка всегда работает на одном и том же режиме и при этом она вечная, не изнашивающаяся и не ломающаяся.

Вот данные «собранные» нами за 3 года. (в качестве данных была взята картинка из Википедии, со страницы про корреляцию)

Имеем идентичные наборы в каждом году, но с каждым годом они всем набором уползают вверх.

Почему это происходит, если установка как вкопанная стоит на одном и том же режиме?

В данном случае происходит дрейф датчика - вследствие какого-то процесса (деградация материалов, налипание грязи и т. п.) датчик выдаёт ДРУГИЕ ПОКАЗАНИЯ при ТЕХ ЖЕ САМЫХ ФИЗИЧЕСКИХ СОСТОЯНИЯХ. Кроме того, это могла быть замена датчика на другой, такой же хороший и надёжный, но имеющий другую систематическую погрешность.

К чему это приведёт, в случае если мы используем собранные данные для настройки автоматической системы управления?

Вариант №1

Представим, что мы откалибровали модель по данным 1 года и наслаждаемся результатами.

Как видим, на 3 году, данные получаемые от датчиков почти полностью вышли за границы пространства допустимых значений. Настроенная нами система должна забить тревогу, остановить установку и направить к ней ремонтную бригаду.

Ведь мы же этого хотим от промышленного ИИ, чтобы он в автономном режиме принимал своевременные решения по управлению производством.

Да, мы с вами помним о том, что установка у нас не ломается и не изнашивается, а значит ремонта она не требует. А вот созданная нами АСУ ТП работает на основании данных получаемых от измерительных приборов, чьи показания чётко указывают на аварийную ситуацию.

Производство остановлено. Персонал эвакуирован. Ремонтная бригада отправляется смотреть на совершенно исправную установку.

Вариант №2

Рассмотрим другой вариант. Данные за три года это лучше чем данные за один год. И мы рассматриваем их все вместе.

Первое что бросается в глаза, это проблема с выявлением корреляции данных собранных за три года, но это ещё полбеды.

Главная проблема в том, что модель откалиброванная на суммарных данных за 3 года, будет считать нормальными значения аналогичные тем что были в 1 год, но по состоянию на 3 год это уже недопустимые значения соответствующие реальным проблемам в установке.

Однако наша АСУ ТП работает на основании данных от измерительных приборов, чьи показания полностью укладываются в модель, созданную на основании многолетних данных.

Предприятие встало, а ремонтная бригада слушает рассказы асушников о том, какие прекрасные показания датчиков имела установка сразу перед поломкой.

Получается, что игнорирование факта «датчики могут работать по разному» создаёт два риска:

• срабатывание системы управления в нормальной ситуации, так как будто ситуация аварийная

• не срабатывание системы управления в реальной аварийной ситуации.

И всё потому, что при анализе данных, эти данные рассматриваются как идеальные числовые значения и не учитываются метрологические характеристики средств измерения, с помощью которых эти данные были получены.

Да, я знаю, в этом есть парадокс, потому что вся суть метрологии как науки состоит в том, чтобы не знать каким прибором было сделано измерение. Прибор тарирован, откалиброван, поверен и сертифицирован — просто берём с него данные и используем так, как будто это и есть реальность.

И все два века современной науки и техники нам этого хватало, потому что у нас не было вычислительной возможности для точных расчётов на основании данных накопленных за длительный период времени.

А ещё, эти расчёты осуществляли люди, которые либо сами знали о том, что датчик поменялся или засрался, либо им сказали их коллеги по предприятию.

Теперь же у нас есть высокопроизводительная АСУ ТП, от которой мы хотим получить автоматическое принятие решений. И если в базе не будет данных об измерительных приборах и их метрологических характеристиках , то эта самая АСУ не может их учесть.

Да, если раньше отсутствие информации о метрологических характеристиках измерительных приборов было нормой, то теперь оно стало МЕТРОЛОГИЧЕСКИМ ДЕФИЦИТОМ.

ЧТО ДЕЛАТЬ

1. Если вы занимаетесь обучением и написанием учебных текстов.

В учебных целях часто используют задачи оптимизированные под освоение конкретного метода или приёма. Это может быть задача для вычисления длины полёта камня в зависимости от скорости и начального угла. Это задача на одну единственную формулу. Но в реальности так не бывает. В реальности надо учесть сопротивление воздуха.

Поэтому то, в школьных задачах по физике есть уточнения «трением пренебречь», «сопротивлением воздуха пренебречь», «соударение считать упругим» и т. п.

Это позволяет одновременно и дать учащемуся возможность освоить работу с нужной формулой и при этом напоминать ему о том, что существует физическая реальность, не совпадающая с упрощёнными условиями учебной задачи.

Поэтому, пишите в своих примерах уточнение «метрологическим дефицитом пренебречь». В этом случае, учебный пример будет простым и при этом учащийся не забудет о том, что в реальности метрологический дефицит придётся учитывать и преодолевать.

2. Если вы проектируете систему сбора промышленных данных.

Закладывайте туда автоматизированный сбор информации об используемых измерительных приборах — когда поставили, что за модель.

Если вас беспокоит вопрос нормативов и законов, то начиная с 2024 года у вас есть ГОСТ на IoT, в котором эта возможность заложена. ( см. статью "Метрологический дефицит в промышленных «больших данных»" )

Через 5-10 лет, эта информация может понадобиться разработчикам цифрового двойника вашего производства, и если вы её сегодня не соберёте, то у них её не будет.

3. Если вы анализируете данные о каком-то промышленном процессе.

Единственный совет, который можно дать без ознакомления с данными, это то, что вы должны принять то, что в ваших данных есть дефицит метрологической информации, что эти данные закономерно и неизбежно искажены и вам нужно учесть эти искажения.

Но в каждом конкретном случае это нужно делать индивидуально.

К сожалению, в интернете нет нормальных датасетов, на примере которых можно было бы показать проблему и её масштаб.

Если вдруг они у вас есть и вам интересно их поизучать на предмет последствий метрологического дефицита, то пишите в личку на хабре или в почту muxa@muxa.ru . Посмотрим, что можно найти.

Ну и, куда же без этого… ТЫ ЗНАЕШЬ КОМУ ОТПРАВИТЬ ЭТИ ССЫЛКИ !!!!!!!!!!!!!111

• Михаил Елисейкин «Метрологический дефицит в бигдате: что это такое и как с ним бороться» (2024-10-18) https://habr.com/ru/articles/851526/

• Елисейкин М. М., Очков В. Ф. О метрологических характеристиках исторических данных // Законодательная и прикладная метрология. 2024. № 5. С. 47–51. https://doi.org/10.32446/2782-5418.2024-5-47-51

• Елисейкин М.М, Очков В. Ф. Метрологический дефицит в промышленных «больших данных» // Законодательная и прикладная метрология. 2024. № 4. С. 19–24. https://doi.org/10.32446/2782-5418.2024-4-19-24

Михаил Елисейкин
2024-10-18