У нас в индустрии есть распространённый мем: мол, есть стандартный офисный IT, а есть тяжёлый диджитал. И «тяжёлый» — это не про нагрузку, а про общий сеттинг.
Сибирь, дыхание зимы, посреди густой тайги завод, а внутри – металл теплообменников, экструдеров и печей пиролиза окружает IT-специалиста, взявшего на себя роль пришельца из будущего. Романтика. Ну или киберпанк.
Меня зовут Юрий, я тот самый IT-специалист или, как говорят заводчане, «цифровик». За время работы у меня накопилось столько красочных историй про IT на заводе, что хватит на пару альманахов. Но начну с поста на Хабре. Все истории реальны и без купюр (поэтому я не назвал свою фамилию, хехе).
Приятного чтения!
Ночной дозор
Цифровизатор на заводе – не просто инженер или разработчик. Это буквально амбассадор технологий и визионер эпохи, на которого возлагают сопутствующие надежды. И задачи.
К примеру, на заводах у нас установлена минимум тысяча камер интеллектуального видеонаблюдения. И ещё на заводах часто проводятся критически важные работы. Что может пойти не так?
МНОГОЕ. Однажды подрядчик, выполняя масштабный остановочный ремонт на одном участке, ошибся и разместил критически важную деталь не в том месте. А каждый день простоя производства – это десятки и сотни миллионов упущенной выгоды. Поэтому мне позвонили со словами вроде «Юра, тут немного профакапились и потеряли критически важное оборудование. Но зато (!) это точно попало на ваши умные камеры. Помоги, пожалуйста».
Стоит ли говорить, что наше компьютерное зрение на таких кейсах не обучалось. Но один набор инструментов в запасе всё-таки был – старые добрые органические рецепторы, зрительная кора и несколько цифровиков с высоким чувством ответственности, парой пачек чипсов и новыми планами на ночь.
Да, из-за срочности задачи отсмотреть сырые записи с камер было эффективнее, чем писать классификатор. В 23:00 мы сели за мониторы, поставили записи на 8х и начали кинопоказ промышленного артхауса неизвестной длительности (имхо, сюжет интересный, но может наскучить пресыщенному зрителю).
К счастью, в 6:20 в сюжете наметилась развязка: я нашёл пропавшую деталь и тут же растолкал потерявших надежду коллег. Нашу общую реакцию сложно передать словами, но поверьте: голливудские режиссёры не знают, что такое настоящий хэппи-энд.
Так критически важная проблема в очередной раз решилась с помощью инноваций. Если точнее, компьютерного зрения с человеческим лицом!
"Аминь"
Большой популярностью на наших заводах пользуется инструмент «ЭКОНС» — он рассчитывает и визуализирует технологические параметры (и их комбинации) в виде спидометров, чтобы операторы установок могли корректировать эти параметры и направлять в зону максимальной эффективности.
Готовя систему для внедрения на одной площадке, мы наткнулись на особенно сложный параметр, который состоял из комбинации 5 других. Условий было примерно на 60+ строк цикла проверки, с матрицей 10х10, к тому же одно из условий определялось нелинейной системой уравнений. Для простоты мы допустили, что именно такая комбинация параметров не встретится ни при каких обстоятельствах – посчитанная вероятность была менее 0,0001%.
В такие моменты пасхалки появляются сами собой, и вместо обычных спидометров мы поставили на эту комбинацию параметров изображение свечки с надписью «Аминь».
Мы думали, что этого будет достаточно для забавной истории. Но как же мы ошибались даже если вероятность события ничтожно мала, она всё ещё существует.
Обновление спидометров в ЭКОНС происходит 1 раз в 20 секунд, поэтому даже если значения параметров совпали на долю секунды, это может почти на полминуты отображаться на экране в виде активного действия системы. Особенно если обновление какого-то отдельного параметра произошло с небольшим случайным тайм-лагом.
Разумеется, это случилось во время планового обхода руководства.
Представьте картину: делегация топ-менеджеров приезжает на производство, внимательно слушает о заводе будущего, эффективности расчётов и миллиардах экономического эффекта, серьёзно вникает в параметры технологического процесса, и тут на одном из экранов появляется свечка с надписью «Аминь».
К счастью, менеджеры оказались с юмором и оценили пасхалку. А наша команда получила седые волосы более философский взгляд на вероятность и платиновую историю для мемуаров.
К хорошему быстро привыкаешь
Как я уже упомянул, IT-специалист на заводе – это в целом амбассадор технологий. Поэтому в первые годы цифровизации нам иногда приходилось рассказывать матёрым производственникам, что такое продуктовый подход, эджайл, и почему желаемую фичу нельзя внедрить вчера. И разумеется, параллельно мы внедряли новые продукты и меняли устоявшиеся процессы.
Коллеги с заводов очень быстро и накрепко привыкли к новым веяниям. К примеру, 5 лет назад обязательный документ для выполнения работ на производстве – наряд-допуск – был здоровенной кипой бумаг, а сейчас это удобное мобильное приложение, где всё можно оформить и согласовать в пару нажатий. Но иногда у нас случаются технические работы, и сервис «Цифровой наряд-допуск» бывает недоступен.
Так и случилось однажды, когда в 2 часа ночи на одной из площадок понадобился срочный ремонт, и технический руководитель позвонил мне, громко сетуя на то, что приложение недоступно – мол он уже 2 года всё согласовывает с телефона, а тут ему нужно вставать с постели и ехать на завод, бумаги подписывать (что он и делал до этого всю жизнь).
Мы, конечно, пошли ему навстречу и нашли обходной путь для цифрового согласования. Благодарности с его стороны не было предела!
История забавная, но кроме шуток, такие моменты добавляют смысла и радости в нашей непростой и интересной работе.
Продолжение следует
Вот такие дела, дорогой Хабр! Какие ещё инсайды с заводов хотели бы услышать?
Пишите в комментах и, возможно, встретимся в следующих материалах! Лайк повышает вероятность :)
Комментарии (38)
igorts
30.10.2023 19:28+22Что касается баек из жизни - была история, делали мы АСОДУ ( система оперативного диспетчерского управления, по простому это SCADA , серверы сбора данных и удаленные объекты управления)
И пришлось сервер сбора данных разместить в цеху (удаленная площадка), в отдельном помещении, рядом с диспетчерами. Все развернули, протестировали , диспетчерам показали собрались и поехали. Не успели отъехать километров 5 как звонок от диспетчеров - ничего не работает, объекты не доступны.
Возвращаемся, заходим в помещение, включаем свет, смотрим на сервер - все работает, диспетчера радуются, достают еду, говорят оставайтесь, без вас работать не будет.
Ну мы покрутились, поозирались собрались и поехали. Доехали примерно до того же места и опять звонок - возвращайтесь, ничего не работает!
Вернулись и все повторилось, серверы работают, данные идут. Какой то странный эффект присутствия!
Решили подождать, закрыли помещение с сервером и пошли попить чаю с диспетчерами. И буквально через несколько минут радостные диспетчеры зовут, смотрите, опять не работает!
В итоге выяснили, что сервер был запитан от розетки, которая в свою очередь была запитана от выключателя освещения и при выключении света выключался и сервер.
Производство - это суровая действительность и куча особенностей ;)
CheBurashka
30.10.2023 19:28+10Честно говоря совсем на байку смахивает, чем на реальную историю. Ибо при отключении питания сразу "слышно" тишину, либо наоборот рев вентилей сервака при включении. Или другое - неужели сервак без бесперебойника был? Такбы он пищал при отключении эл-ва
takezi
30.10.2023 19:28+2Была похожая история, но в моей истории вырубал оборудование включаемый в ту же розетку чайник. При запуске большого обьекта - суета, у всех дел по горло. И нашу заявку на отдельную розетку еще игнорили несколько дней, а операторам мы уже по телефону обьясняли как включать все обратно.
AnimeSlave
30.10.2023 19:28+2У меня таких же баек наберётся с десяток с предыдущего места работы. Я как раз работал в автоматизации одного завода. И большая часть проблем за всё время работы было как раз из-за корявого разведения питания в одном цеху. Ремонтные работы с применением сварки могли легко сжечь близстоящие силовые агрегаты. А уж чувствительная автоматика в них, типа софт-старт вообще была практически на уровне расходников. Потому что дешевле было поменять модуль RS-485 у какого-нибудь двигателя, нежели переделать электрическую сеть в цеху
igorts
30.10.2023 19:28+1В совсем давние времена на работе начали гореть com порты (а тогда они довольно часто были задействованы, модемы и прочая периферия)
Начали разбираться, замерили напряжение между 0 и землей - 100 В.
Лопату в руки и программисты пошли ямы копать, землю переделывать.
NutsUnderline
30.10.2023 19:28Даже ка кто странно что со второго раза догадались :) Если уж бывает когда замето розетки 220 вилка то че уж про разводку говрить
Grad02
30.10.2023 19:28А как же UPS? Неужели сервер сбора данных и вот так просто в обычную розетку?
igorts
30.10.2023 19:28+1Ну со временем все обустроилось.
На тот момент граница ответственности проходила по прикладному ПО, местные предоставили железку и настроили операционку, мы развернули и настроили ПО
Это было все в начале 2000х годов, и на тот момент такие финты были не в диковинку. А сейчас без проекта и рабочей документации и не чихнешь!
А система до сих пор функционирует.
Refridgerator
30.10.2023 19:28+3Аминь
Была у нас похожая история, только фигурировала не свечка, а эпизод из фильма для взрослых (gif). Большие боссы пасхалку не оценили.
А вообще чистенько у вас там, завидую.
iig
30.10.2023 19:28+1Большие боссы пасхалку не оценили.
Понимаю и одобряю ;) Одно дело, если пасхалка вкручена в окошко About, и может быть вызвана только руками, и никак иначе. Другое дело - когда оно вызывается в рандомный момент автоматически. Может вы заодно еще и отчет какой-то сломали, и в мониторинг что-то юморное шлете.. А кому-то с этим работать.
Refridgerator
30.10.2023 19:28Так это не моих рук было дело, лично я сам категорически не одобряю пасхалки, юмор в комментариях и сообщения об ошибках в стиле "упс... что-то пошло не так".
igorts
30.10.2023 19:28Эконс - это чтото самописное? SCADA?
На СК, насколько я помню, Вандеровские продукты использовались для MES задач.
RranAmaru
30.10.2023 19:28+1Эх... A я уже приготовился читать байки по типу Послелнего героя труда уважаемого DiHalt-a...
AleVaKa
30.10.2023 19:28Так вот кто эти смешные «спидометры» делал! Когда первый раз увидел их, очень необычно было. Только мне показалось, что операторы все равно следят за основными параметрами производства, а это больше вычисляемые показатели для вышестоящего руководства.
И в этом году когда были на объектах сибура, то всё по старому- наряд печатается и подписывается ручкой в двух экземплярах с расставлением кучи ненужных галочек и десятком-другим подписей в разных местах.
rudnik85
Да да, конечно, рассказывайте..., раньше наряд-допуск был 4-6 листов, теперь он составляется в цифре, подписывается цифрой ИИИиииии..., распечатывается на 10 листов!! И по какой причине, Вы прекрасно знаете: законодательство нас обязывает ставить ручные подписи исполнителей. Вот и вся цифровизация разбилась о Российскую бюрократию...
CptAFK
УКЭП является полным аналогом собственоручной подписи человека и имеет юридическую значимость. Что именно должно помешать использовать ее для подписания наряд-допуска?
AndyKorg
Тетя Клава из юрлтдела легко вам приведет кучу доводов против УКЗА, а если будете упираться, то приведет еще и ген.дира. :)
CptAFK
Тупость персонала не делает УКЭП не законной)
AndyKorg
Совершенно верно! Проблема в том, что другого персонала нет.
kingwizvrd
Это смотря где...
Arioch
Но тезис-то был про "вся цифровизация разбилась о Российскую бюрократию...".
Вряд ли они каждого вахтёра ездят в Кремль согласовывать, чтобы не дай бог умные на работу не полезли.
rudnik85
Помешать должны реалии производства. После создания наряда "в цифре" и согласования "в цифре", с ним должны ознакомиться и с мероприятиями в нём исполнители. Исполнители как правило слесаря, мастера, сантехники и т.д. У них нет с собой УКЭП, у них с собой ключ на 52 и кувалда.
А что бы ознакомиться исполнителям, это им нужно зайти под своей учёткой в ПК, зайти в сервис и т.д. Исполнителей как правило минимум трое. Теперь посчитайте время на вход в учётку, в сервис и т.д. и сравните с временем поставить подпись ручкой....
uszer
Не знаю, как сейчас в СИБУРе, но в некоторых других параллельно живущих конторах (с аналогичными бюджетами) у ремонтного персонала один компьютер на цех.
rudnik85
И сейчас так, максимум два АРМа, один как доп. поставили. АРМ может быть ещё в цехе, а место работы за километр, а исполнители, прибыли с другой стороны, тоже, с каких ни будь работ.
Ну т.е. по факту, сервис цифровых нарядов-допусков, это просто красивый веб сервис, который местами неудобный...
Arioch
А какая разница? Да хоть один компьютер на весь завод.
Подпись - это не компьютер и не иконка на рабочем столе. Те же копеечные электронные пропуска на двери -то по сути и есть КЭП, только не надёжная, копируется легко. U2F/FIDO ключи в последней итерации. i-Button как в домофонах в МВД ещё в нулевые на десктопы ставили, пилили корпуса и вклеивали.
ulovka22
Работаю в сфере ЭДО, и могу засвидетельствовать, что цифра вполне заменяет бумагу, и ничего не надо распечатывать. У нас есть клиенты с традиционным производством в том числе, вот прямо большие заводы, построенные в прошлом веке.