От переводчика: Авторы свежей научной работы попробовали заставить обычные открытые LLM (от 1B до 70B) генерировать валидный BPMN-XML прямо в чате по текстовому описанию процесса.
Если вкратце, то без дообучения — полный провал. 80% токенов тратится на XML-мусор, модели сыплются на синтаксисе, забывают ветки и галлюцинируют теги. Работает только на больших моделях и то не очень хорошо.
Но вроде просматривается рабочий вариант для генерации BPMN — берем 7–13B модель, дообучаем через LoRA/QLoRA на нормальном датасете, переходим на компактный JSON вместо XML и добавляем Preference Tuning + CoT. Тогда может быть взлетит.
В оригинале рассматриваются еще два кейса использования LLM, но к процессам они отношения не имеют, там другое.
Мотивация
Модели бизнес-процессов являются высокоценным источником информации в бизнес-контекстах (Leopold, 2013). Они необходимы для адекватного проектирования информационных систем, инженерии требований и для целей коммуникации процессов. Однако создание этих моделей требует значительных ручных усилий и знаний о нотациях моделирования, таких как BPMN. В то же время в моделировании процессов участвуют различные заинтересованные стороны с разным уровнем экспертизы (Dumas et al., 2018). Например, эксперт в предметной области обладает знаниями о лежащих в основе бизнес-процессов; тем не менее, он может быть не в состоянии самостоятельно создать или понять модель процесса (Meitz et al., 2013). Поэтому было бы полезно сделать возможным моделирование процессов через естественный язык, одновременно устранив требование понимания соответствующей нотации моделирования. Кроме того, возможность задавать вопросы о конкретной модели процесса также могла бы улучшить понимание для всех заинтересованных сторон.
На протяжении многих лет исследователи изучали автоматизированные подходы «text-to-model», начиная от методов на основе правил и заканчивая более продвинутыми системами, использующими техники обработки естественного языка (NLP). Большие языковые модели (LLM) стали перспективной технологией для этой задачи благодаря своим мощным возможностям рассуждения над естественным языком и способности решать задачи, на которых они явно не обучались. Таким образом, LLM могут также поддерживать диалоговое моделирование процессов, позволяя осуществлять интерактивное, совместное моделирование процессов с пользователями в чат-ориентированной среде (Klievtsova et al., 2023).
Ключевая проблема в этом контексте — обеспечение того, чтобы LLM могли точно интерпретировать и генерировать диаграммы BPMN. Кроме того, необходимо решить, в каком машиночитаемом формате будут представлены модели процессов. Мы отметили, что большинство открытых LLM с трудом генерируют валидные модели BPMN, хотя это одна из наиболее часто используемых нотаций моделирования (Lauer et al., 2025). Это подчёркивает необходимость специализации LLM для данной задачи, например, путём их дообучения (предпочтительно лёгкого). В частности, Supervised Fine-Tuning на задаче text-to-BPMN может существенно повысить их способность генерировать валидные и точные модели BPMN.
Подход
Мы реализовали прототип с чат-средой, которая позволяет пользователям взаимодействовать с большой языковой моделью (LLM) для генерации BPMN-моделей бизнес-процессов. Пользователи могут запрашивать у LLM создание BPMN, модификацию уже существующей BPMN или задавать уточняющие вопросы. Эта интерактивная система требует от LLM понимания различных намерений пользователя, таких как начальное моделирование, доработка и обновление модели.
Для управления LLM используется системный промпт, который сначала определяет общую обстановку и задачу. Он также определяет целевой формат вывода LLM — в нашем случае это JSON-объект, который легко парсится. Он содержит текстовый ответ, а также собственно модель BPMN. Кроме того, применяется one-shot prompting: предоставляется один пример корректного вывода, что, как правило, повышает качество ответа. Далее LLM обрабатывает запросы пользователя, генерирует новую BPMN, обновляет существующую или отвечает на вопросы по модели BPMN по мере необходимости.
В нашем сценарии форматом обмена BPMN между приложением и LLM был выбран официальный стандарт BPMN-XML. Для повышения эффективности разметка (layout) элементов BPMN (т.е. точные координаты) обрабатывается алгоритмически. Такой подход ускоряет инференс, поскольку LLM не нужно генерировать токены, связанные с разметкой. Одновременно это предотвращает ошибки размещения, которые могли бы возникнуть из-за некорректного вывода LLM. Наконец, был добавлен цикл доработки (refinement loop), обеспечивающий валидность BPMN: система исправляет любые проблемы до финализации модели и её предъявления пользователю. Общая архитектура и взаимодействие с пользователем показаны на рисунке.
В предварительных экспериментах мы протестировали различные открытые LLM размером от 1B до 70B параметров на общедоступных парах «текст–модель» (Lauer et al., 2025). Для проверки валидности сгенерированных BPMN-XML-моделей мы использовали XML-валидатор. Качество сгенерированных моделей BPMN оценивалось по нескольким метрикам, охватывающим различные аспекты моделирования — такие как синтаксическая корректность и семантическая выразительность — в сравнении с эталонными (ground truth) моделями.
3.3. Опыт и наблюдения
На первый взгляд качество BPMN, сгенерированных LLM, кажется убедительным. Модели способны отображать описанный процесс, причём более крупные LLM генерируют диаграммы с большим количеством деталей по сравнению с меньшими. Тем не менее, в ходе экспериментов мы выявили ряд существенных ограничений (подробности см. в (Lauer et al., 2025)).
Наши результаты показывают, что LLM плохо справляются с BPMN-XML в качестве формата обмена. Стандарт XML требует очень большого количества символов для представления модели процесса — в частности, многочисленных обязательных тегов, определяющих схему XML. В итоге большая часть генерируемых токенов тратится не на содержательную часть модели процесса, а на необходимые структурные элементы. Генерация BPMN-XML оказалась крайне склонной к ошибкам и приводила к большому числу невалидных моделей, даже несмотря на добавленный цикл доработки. Особенно сильно с этим справлялись меньшие LLM, которые часто не могли выдать валидную и синтаксически корректную BPMN. Крупные модели, как и ожидалось, показали заметно лучшие результаты.
Кроме того, сгенерированные BPMN имеют семантические недостатки. LLM часто не удаётся выявить все релевантные поведения бизнес-процесса, поэтому генерируемые модели не содержат всех возможных путей исполнения. Это означает, что требуется либо ручная доработка, либо дополнительные инструкции о том, как именно обновить конкретные детали BPMN. Мы также наблюдали, что при запросе на изменение уже существующей BPMN модели LLM нередко не вносят все необходимые правки, особенно в части обновления, удаления или добавления правильных последовательных потоков (sequence flows).
При генерации сложных BPMN модели склонны выдавать ошибочный код или галлюцинировать, выдавая несуществующие XML-теги. Поэтому целесообразно перейти на более компактное представление моделей процессов. В литературе применяются разные подходы, например, использование списков с маркерами (Grohs et al., 2024) или частично упорядоченного языка рабочих потоков, который потом можно преобразовать в модель процесса (Kourani et al., 2024). Кроме того, рекомендуется применять Chain-of-Thought: это повышает точность генерируемых моделей и делает намерения LLM в процессе моделирования прозрачными для пользователя, что способствует доверию к модели и лучшему пониманию полученной BPMN.
Кроме того, время инференса оказалось довольно большим, из-за чего крупные LLM плохо подходят для реального времени и чат-ориентированных взаимодействий. Это подчёркивает необходимость использования лёгких LLM для данного сценария, чтобы решить проблемы масштабируемости. Дообучение с помощью техниками типа LoRA (Hu et al., 2022) может быть эффективным способом повысить производительность LLM в диалоговом моделировании процессов.
Однако создание высококачественных датасетов для дообучения — задача сложная и трудоёмкая. Альтернативой может служить так называемое Preference Tuning, которое позволяет LLM глубже понять нюансы моделирования процессов. Например, можно предоставить текстовое описание процесса и несколько соответствующих моделей процессов (в нашем случае — BPMN) разного уровня качества, а LLM должна выбрать ту, которая подходит лучше всего. С обратной стороны: дать одну модель процесса и несколько текстовых описаний разной точности — и пусть LLM выберет наиболее подходящее описание.
В реальных условиях один и тот же процесс часто можно корректно смоделировать несколькими разными способами. Именно этот аспект и можно обучать с помощью такого подхода: LLM усваивает тонкости бизнес-моделирования процессов. Тем не менее, для этого тоже требуются высококачественные датасеты предпочтений и дополнительные этапы дообучения (например, с использованием Direct Preference Optimization (Rafailov et al., 2023)).
BPM Developers — про бизнес-процессы: новости, гайды, полезная информация и юмор.