У нас в индустрии есть распространённый мем: мол, есть стандартный офисный IT, а есть тяжёлый диджитал. И «тяжёлый» —  это не про нагрузку, а про общий сеттинг.

Сибирь, дыхание зимы, посреди густой тайги завод, а внутри – металл теплообменников, экструдеров и печей пиролиза окружает IT-специалиста, взявшего на себя роль пришельца из будущего. Романтика. Ну или киберпанк.

Меня зовут Юрий, я тот самый IT-специалист или, как говорят заводчане, «цифровик». За время работы у меня накопилось столько красочных историй про IT на заводе, что хватит на пару альманахов. Но начну с поста на Хабре. Все истории реальны и без купюр (поэтому я не назвал свою фамилию, хехе).

Приятного чтения!

Ночной дозор

Цифровизатор на заводе – не просто инженер или разработчик. Это буквально амбассадор технологий и визионер эпохи, на которого возлагают сопутствующие надежды. И задачи.

К примеру, на заводах у нас установлена минимум тысяча камер интеллектуального видеонаблюдения. И ещё на заводах часто проводятся критически важные работы. Что может пойти не так?

МНОГОЕ. Однажды подрядчик, выполняя масштабный остановочный ремонт на одном участке, ошибся и разместил критически важную деталь не в том месте. А каждый день простоя производства – это десятки и сотни миллионов упущенной выгоды. Поэтому мне позвонили со словами вроде «Юра, тут немного профакапились и потеряли критически важное оборудование. Но зато (!) это точно попало на ваши умные камеры. Помоги, пожалуйста».

Стоит ли говорить, что наше компьютерное зрение на таких кейсах не обучалось. Но один набор инструментов в запасе всё-таки был – старые добрые органические рецепторы, зрительная кора и несколько цифровиков с высоким чувством ответственности, парой пачек чипсов и новыми планами на ночь.

Да, из-за срочности задачи отсмотреть сырые записи с камер было эффективнее, чем писать классификатор. В 23:00 мы сели за мониторы, поставили записи на 8х и начали кинопоказ промышленного артхауса неизвестной длительности (имхо, сюжет интересный, но может наскучить пресыщенному зрителю).

Есть своя эстетика. Какие-то из кадров даже попадают на принты футболок
Есть своя эстетика. Какие-то из кадров даже попадают на принты футболок

К счастью, в 6:20 в сюжете наметилась развязка: я нашёл пропавшую деталь и тут же растолкал потерявших надежду коллег. Нашу общую реакцию сложно передать словами, но поверьте: голливудские режиссёры не знают, что такое настоящий хэппи-энд.

Так критически важная проблема в очередной раз решилась с помощью инноваций. Если точнее, компьютерного зрения с человеческим лицом!

"Аминь"

Большой популярностью на наших заводах пользуется инструмент «ЭКОНС» —  он рассчитывает и визуализирует технологические параметры (и их комбинации) в виде спидометров, чтобы операторы установок могли корректировать эти параметры и направлять в зону максимальной эффективности.

Готовя систему для внедрения на одной площадке, мы наткнулись на особенно сложный параметр, который состоял из комбинации 5 других. Условий было примерно на 60+ строк цикла проверки, с матрицей 10х10, к тому же одно из условий определялось нелинейной системой уравнений. Для простоты мы допустили, что именно такая комбинация параметров не встретится ни при каких обстоятельствах – посчитанная вероятность была менее 0,0001%.  

Спидометры ЭКОНС снисходительно поглядывают на сотрудников
Спидометры ЭКОНС снисходительно поглядывают на сотрудников

В такие моменты пасхалки появляются сами собой, и вместо обычных спидометров мы поставили на эту комбинацию параметров изображение свечки с надписью «Аминь».

Мы думали, что этого будет достаточно для забавной истории. Но как же мы ошибались даже если вероятность события ничтожно мала, она всё ещё существует.

Обновление спидометров в ЭКОНС происходит 1 раз в 20 секунд, поэтому даже если значения параметров совпали на долю секунды, это может почти на полминуты отображаться на экране в виде активного действия системы. Особенно если обновление какого-то отдельного параметра произошло с небольшим случайным тайм-лагом.

Разумеется, это случилось во время планового обхода руководства.

Представьте картину: делегация топ-менеджеров приезжает на производство, внимательно слушает о заводе будущего, эффективности расчётов и миллиардах экономического эффекта, серьёзно вникает в параметры технологического процесса, и тут на одном из экранов появляется свечка с надписью «Аминь».

К счастью, менеджеры оказались с юмором и оценили пасхалку. А наша команда получила седые волосы более философский взгляд на вероятность и платиновую историю для мемуаров.

К хорошему быстро привыкаешь

Как я уже упомянул, IT-специалист на заводе – это в целом амбассадор технологий. Поэтому в первые годы цифровизации нам иногда приходилось рассказывать матёрым производственникам, что такое продуктовый подход, эджайл, и почему желаемую фичу нельзя внедрить вчера. И разумеется, параллельно мы внедряли новые продукты и меняли устоявшиеся процессы.

Коллеги с заводов очень быстро и накрепко привыкли к новым веяниям. К примеру, 5 лет назад обязательный документ для выполнения работ на производстве – наряд-допуск – был здоровенной кипой бумаг, а сейчас это удобное мобильное приложение, где всё можно оформить и согласовать в пару нажатий. Но иногда у нас случаются технические работы, и сервис «Цифровой наряд-допуск» бывает недоступен.

Так и случилось однажды, когда в 2 часа ночи на одной из площадок понадобился срочный ремонт, и технический руководитель позвонил мне, громко сетуя на то, что приложение недоступно – мол он уже 2 года всё согласовывает с телефона, а тут ему нужно вставать с постели и ехать на завод, бумаги подписывать (что он и делал до этого всю жизнь).

Мы, конечно, пошли ему навстречу и нашли обходной путь для цифрового согласования. Благодарности с его стороны не было предела!

История забавная, но кроме шуток, такие моменты добавляют смысла и радости в нашей непростой и интересной работе.

Открытое пространство и опен-спейс — разные вещи!
Открытое пространство и опен-спейс — разные вещи!

Продолжение следует

Вот такие дела, дорогой Хабр! Какие ещё инсайды с заводов хотели бы услышать?

Пишите в комментах и, возможно, встретимся в следующих материалах! Лайк повышает вероятность :)

Комментарии (38)


  1. rudnik85
    30.10.2023 19:28
    +8

    К примеру, 5 лет назад обязательный документ для выполнения работ на производстве – наряд-допуск – был здоровенной кипой бумаг, а сейчас это удобное мобильное приложение, где всё можно оформить и согласовать в пару нажатий.

    Да да, конечно, рассказывайте..., раньше наряд-допуск был 4-6 листов, теперь он составляется в цифре, подписывается цифрой ИИИиииии..., распечатывается на 10 листов!! И по какой причине, Вы прекрасно знаете: законодательство нас обязывает ставить ручные подписи исполнителей. Вот и вся цифровизация разбилась о Российскую бюрократию...


    1. CptAFK
      30.10.2023 19:28
      +8

      УКЭП является полным аналогом собственоручной подписи человека и имеет юридическую значимость. Что именно должно помешать использовать ее для подписания наряд-допуска?


      1. AndyKorg
        30.10.2023 19:28
        +2

        Тетя Клава из юрлтдела легко вам приведет кучу доводов против УКЗА, а если будете упираться, то приведет еще и ген.дира. :)


        1. CptAFK
          30.10.2023 19:28
          +12

          Тупость персонала не делает УКЭП не законной)


          1. AndyKorg
            30.10.2023 19:28
            +1

            Совершенно верно! Проблема в том, что другого персонала нет.


            1. kingwizvrd
              30.10.2023 19:28
              +1

              Это смотря где...


            1. Arioch
              30.10.2023 19:28

              Но тезис-то был про "вся цифровизация разбилась о Российскую бюрократию...".

              Вряд ли они каждого вахтёра ездят в Кремль согласовывать, чтобы не дай бог умные на работу не полезли.


      1. rudnik85
        30.10.2023 19:28
        +2

        Помешать должны реалии производства. После создания наряда "в цифре" и согласования "в цифре", с ним должны ознакомиться и с мероприятиями в нём исполнители. Исполнители как правило слесаря, мастера, сантехники и т.д. У них нет с собой УКЭП, у них с собой ключ на 52 и кувалда.

        А что бы ознакомиться исполнителям, это им нужно зайти под своей учёткой в ПК, зайти в сервис и т.д. Исполнителей как правило минимум трое. Теперь посчитайте время на вход в учётку, в сервис и т.д. и сравните с временем поставить подпись ручкой....


        1. uszer
          30.10.2023 19:28

          Не знаю, как сейчас в СИБУРе, но в некоторых других параллельно живущих конторах (с аналогичными бюджетами) у ремонтного персонала один компьютер на цех.


          1. rudnik85
            30.10.2023 19:28

            И сейчас так, максимум два АРМа, один как доп. поставили. АРМ может быть ещё в цехе, а место работы за километр, а исполнители, прибыли с другой стороны, тоже, с каких ни будь работ.

            Ну т.е. по факту, сервис цифровых нарядов-допусков, это просто красивый веб сервис, который местами неудобный...


          1. Arioch
            30.10.2023 19:28

            А какая разница? Да хоть один компьютер на весь завод.

            Подпись - это не компьютер и не иконка на рабочем столе. Те же копеечные электронные пропуска на двери -то по сути и есть КЭП, только не надёжная, копируется легко. U2F/FIDO ключи в последней итерации. i-Button как в домофонах в МВД ещё в нулевые на десктопы ставили, пилили корпуса и вклеивали.


    1. ulovka22
      30.10.2023 19:28
      +1

      Работаю в сфере ЭДО, и могу засвидетельствовать, что цифра вполне заменяет бумагу, и ничего не надо распечатывать. У нас есть клиенты с традиционным производством в том числе, вот прямо большие заводы, построенные в прошлом веке.


  1. igorts
    30.10.2023 19:28
    +22

    Что касается баек из жизни - была история, делали мы АСОДУ ( система оперативного диспетчерского управления, по простому это SCADA , серверы сбора данных и удаленные объекты управления)

    И пришлось сервер сбора данных разместить в цеху (удаленная площадка), в отдельном помещении, рядом с диспетчерами. Все развернули, протестировали , диспетчерам показали собрались и поехали. Не успели отъехать километров 5 как звонок от диспетчеров - ничего не работает, объекты не доступны.

    Возвращаемся, заходим в помещение, включаем свет, смотрим на сервер - все работает, диспетчера радуются, достают еду, говорят оставайтесь, без вас работать не будет.

    Ну мы покрутились, поозирались собрались и поехали. Доехали примерно до того же места и опять звонок - возвращайтесь, ничего не работает!

    Вернулись и все повторилось, серверы работают, данные идут. Какой то странный эффект присутствия!

    Решили подождать, закрыли помещение с сервером и пошли попить чаю с диспетчерами. И буквально через несколько минут радостные диспетчеры зовут, смотрите, опять не работает!

    В итоге выяснили, что сервер был запитан от розетки, которая в свою очередь была запитана от выключателя освещения и при выключении света выключался и сервер.

    Производство - это суровая действительность и куча особенностей ;)


    1. CheBurashka
      30.10.2023 19:28
      +10

      Честно говоря совсем на байку смахивает, чем на реальную историю. Ибо при отключении питания сразу "слышно" тишину, либо наоборот рев вентилей сервака при включении. Или другое - неужели сервак без бесперебойника был? Такбы он пищал при отключении эл-ва


      1. takezi
        30.10.2023 19:28
        +2

        Была похожая история, но в моей истории вырубал оборудование включаемый в ту же розетку чайник. При запуске большого обьекта - суета, у всех дел по горло. И нашу заявку на отдельную розетку еще игнорили несколько дней, а операторам мы уже по телефону обьясняли как включать все обратно.


      1. igorts
        30.10.2023 19:28
        +3

        сервером была персоналка, выключали свет не мы, а диспетчера через некоторое время после отъезда, ну и другое оборудование, что находилось там, было подключено к нормальным розеткам ;)


        1. iig
          30.10.2023 19:28
          +6

          сервером была персоналка

          Какой сервер ,такое и питание.


      1. AnimeSlave
        30.10.2023 19:28
        +2

        У меня таких же баек наберётся с десяток с предыдущего места работы. Я как раз работал в автоматизации одного завода. И большая часть проблем за всё время работы было как раз из-за корявого разведения питания в одном цеху. Ремонтные работы с применением сварки могли легко сжечь близстоящие силовые агрегаты. А уж чувствительная автоматика в них, типа софт-старт вообще была практически на уровне расходников. Потому что дешевле было поменять модуль RS-485 у какого-нибудь двигателя, нежели переделать электрическую сеть в цеху


        1. igorts
          30.10.2023 19:28
          +1

          В совсем давние времена на работе начали гореть com порты (а тогда они довольно часто были задействованы, модемы и прочая периферия)

          Начали разбираться, замерили напряжение между 0 и землей - 100 В.

          Лопату в руки и программисты пошли ямы копать, землю переделывать.


    1. NutsUnderline
      30.10.2023 19:28

      Даже ка кто странно что со второго раза догадались :) Если уж бывает когда замето розетки 220 вилка то че уж про разводку говрить


    1. Grad02
      30.10.2023 19:28

      А как же UPS? Неужели сервер сбора данных и вот так просто в обычную розетку?


      1. igorts
        30.10.2023 19:28
        +1

        Ну со временем все обустроилось.

        На тот момент граница ответственности проходила по прикладному ПО, местные предоставили железку и настроили операционку, мы развернули и настроили ПО

        Это было все в начале 2000х годов, и на тот момент такие финты были не в диковинку. А сейчас без проекта и рабочей документации и не чихнешь!

        А система до сих пор функционирует.


  1. Refridgerator
    30.10.2023 19:28
    +3

    Аминь

    Была у нас похожая история, только фигурировала не свечка, а эпизод из фильма для взрослых (gif). Большие боссы пасхалку не оценили.

    А вообще чистенько у вас там, завидую.


    1. iig
      30.10.2023 19:28
      +1

      Большие боссы пасхалку не оценили.

      Понимаю и одобряю ;) Одно дело, если пасхалка вкручена в окошко About, и может быть вызвана только руками, и никак иначе. Другое дело - когда оно вызывается в рандомный момент автоматически. Может вы заодно еще и отчет какой-то сломали, и в мониторинг что-то юморное шлете.. А кому-то с этим работать.


      1. Refridgerator
        30.10.2023 19:28

        Так это не моих рук было дело, лично я сам категорически не одобряю пасхалки, юмор в комментариях и сообщения об ошибках в стиле "упс... что-то пошло не так".


  1. igorts
    30.10.2023 19:28

    Эконс - это чтото самописное? SCADA?

    На СК, насколько я помню, Вандеровские продукты использовались для MES задач.


  1. NutsUnderline
    30.10.2023 19:28
    +2

    Поломки под действием непредолимой силы местных луддитов случались?


  1. 321785
    30.10.2023 19:28
    +2

    А переработка было оплачена или «Мы одна семья!»?

    Вы внедрением и эксплуатацией занимаетесь?

    Есть 1я линия ТП, 2я, монтажом кто занимается?


    1. Palesandr
      30.10.2023 19:28

      это так важно?


      1. MiraclePtr
        30.10.2023 19:28
        +1

        Да, это важно.


      1. 321785
        30.10.2023 19:28
        +1

        Судя по ответу, 2е. Хотя я хотел бы ошибаться.


  1. bororo
    30.10.2023 19:28
    -2

    аджал в продакшене -чума на ваш дом


  1. dimanko
    30.10.2023 19:28

    Интересно читать про отдельные техноказусы и способы исправления ситуациий.


  1. MoshCore
    30.10.2023 19:28
    +1

    А сколько вы получаете там? По меркам региона - выше средней?


  1. RranAmaru
    30.10.2023 19:28
    +1

    Эх... A я уже приготовился читать байки по типу Послелнего героя труда уважаемого DiHalt-a...


  1. SPB-PAN
    30.10.2023 19:28
    +1

    Очень хочется, чтобы на заводах IT занимались не только интеллектуальной слежкой, но и разработкой и внедрением новых технологий для производства чего либо…


    1. AleVaKa
      30.10.2023 19:28

      Для этого надо много денег и желания. А следить не так дорого и полезно- можно премии срезать.


  1. AleVaKa
    30.10.2023 19:28

    Так вот кто эти смешные «спидометры» делал! Когда первый раз увидел их, очень необычно было. Только мне показалось, что операторы все равно следят за основными параметрами производства, а это больше вычисляемые показатели для вышестоящего руководства.

    И в этом году когда были на объектах сибура, то всё по старому- наряд печатается и подписывается ручкой в двух экземплярах с расставлением кучи ненужных галочек и десятком-другим подписей в разных местах.