Привет! На связи Объединенная металлургическая компания.
У нас важная новость для всех ML-специалистов и тех, кто неравнодушен к теме ИИ.
Мы не сильно удивим вас, сказав, что ОМК ИТ уже давно использует искусственный интеллект в своей работе. Но вот хакатона по LLM у нас еще не было. Пришло время его объявить!
Какую задачу решаем
В металлургии есть такое понятие как сортамент. Если по-простому – это список характеристик металлического изделия. Допустим: «широкополосный прокат (базовое исполнение), марка стали 09Г2С, толщина проката 25, класс прочности 325, категория 12 по ГОСТ 19281-2014».
Зная, с каким изделием мы имеем дело, можно принять ряд решений по дальнейшей работе с ним. Например, определить перечень необходимых испытаний для соответствия изделия ГОСТу. Или обозначить и определить приемочные границы этих испытаний.
Все характеристики и действия строго зарегламентированы Нормативно-Технической Документацией (НТД), особой вариативности тут нет.
Наша задача на первый взгляд очень простая. Нам нужна LLM, на вход которой мы подаем характеристики сортамента. А на выходе получаем список необходимых испытаний, свойств и допустимых границ.
Эта задача имеет максимальное практическое применение. Используя подобную LLM получится автоматизировать процесс поиска по НТД. И, наверняка, это поможет избежать ошибок, связанных с человеческим фактором.
А как сейчас?
Сейчас эту задачу решают технологи и сотрудники ОТК, знающие ГОСТы если не наизусть, то близко к этому. Они собирают по всем текстам и табличкам нужные сведения и вносят в информационные системы. Когда что-то забывается, они берут на столе распечатку ГОСТа и сверяются с ней.
Зачем тут LLM
На первый взгляд может показаться, что ИИ в данной работе избыточен. Ведь задача линейная. По сути, нам нужен поисковик по справочнику, логически выглядящий как ряд входных условий. По этим условиям и находится нужная информация.
Проблем тут две.
Во-первых, у нас может быть огромное число вариантов того, что придет нам на вход. Прописать эту вариативность вручную часто нереально, нужна какая-то автоматизированная система, способная обучаться самостоятельно.
Во-вторых, НТД (т.е. набор ГОСТов) оцифрована очень неоднородно. Она точно есть в виде бумажных справочников, а вот в электронном виде как повезет. Может оказаться не текстом, а, скажем, PDF-файлом или вообще PNG-картинкой.
Таким образом нам нужно распознать характеристики сортамента и запрос, найти необходимые ГОСТы, достать из них нужную информацию и дать на выход. Уже тянет на искусственный интеллект, да?
Только в реальности и характеристик больше, и колонок справа. А еще Заказчики могут эпистолярно в комментариях к заказу что-нибудь еще заковыристое написать.
Примеры промптов и ответы на них
Чуть-чуть примеров того, что мы хотим получить.
Что может поступить на вход в составе промта
Марка стали;
Толщина проката;
Класс прочности (не для всех НТД требуется);
Категория металлопроката (не для всех НТД требуется);
НТД (нормативно-техническая документация на продукцию);
Дополнительная информация о типе проката и исполнении (в наших примерах прокат широкополосный).
Мы готовы получить и принять определённые условия от участников. Скажем, если ваша модель сможет работать только со стандартизированным промтом, в котором важна последовательность параметров – ОК, давайте обсуждать. Мы всю жизнь работаем с ГОСТами, для нас формы и правила не пустой звук. Мы готовы формулировать промты правильно.
Примеры промптов и правильных ответов LLM
Запрос № 1
Перечислите перечень испытаний для широкополосного проката (базовое исполнение), марка стали 09Г2С, толщина проката 25, класс прочности 325, категория 12 для ГОСТ 19281-2014.
Ответ
Временное сопротивление, предел текучести, относительное удлинение, ударная вязкость -40 (KCU), ударная вязкость (KCU) мех. старение при комнатной температуре.
Следующие запросы ориентированы на определение границ механического свойства. Свойство может ограничиваться только минимальным/максимальным или максимальным/минимальным значениями.
Запрос № 2
Какие границы для испытания на временное сопротивление для широкополосного проката (базовое исполнение), марка стали 09Г2С, толщина проката 25, класс прочности 325, категория 12 для ГОСТ 19281-2014?
Ответ
Минимальная граница 450 Мпа.
Запрос № 3
Какие границы для испытания на временное сопротивление для широкополосного проката, марка стали Ст3сп, толщина проката 20, категория 5 для ГОСТ 14637-89?
Ответ
Минимальная граница 370 Мпа. Максимальная граница 480 МПа.
Что даём взамен
Пока нам не удается решить задачу своими силами. Поэтому мы и хотим обратиться к помощи специалистов, которые, возможно, смогут найти какое-то свежее и рабочее решение. Мы не ожидаем, что вы сможете дать полностью готовую модель со стопроцентным попаданием в промт. Скорее, хакатон будет первым шагом в большой работе. Но, кто знает? Вдруг найдется тот, кто решит задачу сразу?
В любом случае, мы выберем трех победителей, которые получат каждый свой приз.
Первое место. Сертификат на покупки в Озоне на 75 тыс рублей.
Второе место. Сертификат на покупки в Озоне на 50 тыс рублей.
Третье место. Сертификат на покупки в Озоне на 25 тыс рублей.
С людьми или компаниями, добившимися наибольшего успеха в решении задачи, ОМК ИТ будет готов продолжить сотрудничество на коммерческих условиях.
Напоминаем, это крайне практическая задача. Подобные проблемы стоят не только перед ОМК ИТ, а перед всеми, кто связан с тяжелой металлургией. И получившийся продукт, в случае его удачи, будет иметь огромные перспективы.
Отдельно отметим, что мы не ожидаем от участников глубоких знаний в сфере тяжелой металлургии. И уж совсем мы не ждем знания ГОСТов. Задача исключительно на правильный поиск информации и связку «стандартизированный промт» - «выжимка из нужных ГОСТов».
“Нужные” ГОСТы приводим ниже:
https://docs.cntd.ru/document/1200113779
https://docs.cntd.ru/document/1200000119
Как принять участие
Что нужно для участия в новом хакатоне? Вам нужно сделать следующее:
В комментариях к этой статье написать "участвую".
Также в комментах вы можете задавать уточняющие вопросы. Однако, всем заинтересованным предлагаем сразу перейти вот в эту ТГ-группу. В ней есть наши эксперты, они помогут с более специфичными вопросами, не стесняйтесь задавать им вопросы!
Свои решения необходимо загрузить через форму (с использованием гитхаб).
Сроки приема ответов до 3 ноября.
Итоги подведем отдельным постом после 11 ноября.
Дерзайте и удачи)
Комментарии (13)
AnSt
14.10.2024 12:27Интересное начинание. Хорошо бы в ответе указывать пункты ГОСТов, чтобы можно было проверить ответ ИИ. Нет пока к ним абсолютного доверия.
Loralie
14.10.2024 12:27Как человек, который работал таким технологом. Будет ли ИИ отслеживать локальные решения, согласованные между заказчиком и поставщиком? Как быть в более сложном случае (а они встречаются), если ГОСТ ссылается на ОСТ, а ОСТ в свою очередь на ТУ на сам металл? Кто отследит, если ИИ в этой спагетти-документации не прочитает последовательность верно? И самое интересное, почему у вас не разработаны техпроцессы или инструкции, где уже вышеописанные технологи все вытащили, расписали и согласовали с вышестоящими людьми? Почти 50% работы технолога в металлургии и материаловедении - это работа с документацией, за правильную обработку которую он отвечает. Кто будет отвечать за ошибки ИИ и самое интересное подписывать результаты его работы? В разрезе испытательных лабораторий особенно интересно) лучше просто организовать локальную справочную систему, которая действительно будет полезна и нормальную же базу инструкций и техпроцессов.
hacken4221
14.10.2024 12:27На хайп вокруг LLM вестись не стоит https://arxiv.org/pdf/2410.05229, "Current LLMs are not capable of genuine logical reasoning; instead, they attempt to replicate the reasoning steps observed in their training data"
Задча востребованная, как писали выше, ГОСТы можно попробовать оцифровать, данные распарсить в структурированный формат. Если просто юзать LLM/RAG - привет галлюцинации.
svpcom
14.10.2024 12:271. Первое место. Сертификат на покупки в Озоне на 75 тыс рублей. 2. Второе место. Сертификат на покупки в Озоне на 50 тыс рублей. 3. Третье место. Сертификат на покупки в Озоне на 25 тыс рублей.
Еще бы доширак предложили. Похоже очередь за забором внезапно закончилась, но эффективные менеджеры это еще не поняли
Agrumer
14.10.2024 12:27Приветствую. Очевидно, что имеется толпа дегенератов в it и среди технологов. Задача тривиальна: каталогизировать нормативку, алгоритмизировать выдачу требований. 200к, 2 месяца, оплата 25/25/50, неспеша сделаю. Напишите в телегу mikh1024, расскажу почему нейросети под эту задачу - абсолютный дебилизм. Статью лучше удалите, среди понимающих в нейросетях - засмеют.
i_home
Вот уж любители серебряных пуль!)
Вместо того чтобы спокойно оцифровать ГОСТы и сделать нормальную справочную систему, будем городить ИИ который будет правильно отвечать на критически важные вопросы с вероятность, пускай процентов 90...
А к тому времени как его внедрят, все работники знающие текущие ГОСТы наизусть, вымрут как мамонты, и новое поколение, привыкшее доверять ответам Алисы, начнёт производить испытания проката по советам этого самого ИИ
Ждём апокалипсис в отдельно взятом секторе промышленности...)
Пошёл скидывать акции ОМК
Std137
Ржу не могу...
Может стоит уволить таких спецов и набрать нормальную команду, которая хотя бы понимает, что такое ИИ...
AnSt
Внедрение ИИ не отменяет контроль со стороны человека. А если вы считаете что "все работники знающие текущие ГОСТы наизусть, вымрут как мамонты" - ну это тогда вопрос не к ИИ, а к людям.
"Вместо того чтобы спокойно оцифровать ГОСТы и сделать нормальную справочную систему, будем городить ИИ который будет правильно отвечать на критически важные вопросы с вероятность, пускай процентов 90..." Так может быть и будет одно из решений как вы написали, но с примесью ИИ. ЧТо в этом плохого?
svpcom
А если каждый ответ от ИИ нужно обязательно проверять человеком, то зачем нужен ИИ?