ИИ может не только ускорить, но и значительно повысить качество обработки обращений в техподдержку. Я занимаюсь в НЛМК генеративным искусственным интеллектом и расскажу, как нам совместно с ИТ‑вендором Аксеникс удалось преобразовать подход к обслуживанию ИT‑запросов поддержки пользователей через проект интеллектуальной классификации и маршрутизации.

Контекст вызова

В компанию ежемесячно поступает несколько десятков тысяч запросов через различные источники: почту, телефон, портал самообслуживания и т. д. В этих условиях обнажились ограничения традиционных методов обработки: высокая нагрузка на операторов, ручная маршрутизация, скорость обработки запросов, ошибки и человеческий фактор. Это стало поводом для поиска новых решений. Кроме того, развитие и внедрение технологий LLM создали дополнительный стимул для исследования инновационных подходов к обработке запросов.

Pешение

Аналогичные проекты по автоматизации уже успешно реализуются во всем мире и в России, особенно актуально если запросы стандартные и повторяющиеся.

Постановка задачи и ожидаемые результаты

В начальной фазе проекта были четко определены ключевые задачи и ожидаемые эффекты.

1. Автоматизация первичной классификации и маршрутизации запросов, которые поступают через почту (более половины всех запросов ежемесячно): цель — снизить нагрузку на операторов, автоматизируя процесс классификации и маршрутизации входящих обращений.

2. Ускорение обработки запросов: благодаря быстрой и точной маршрутизации обращений сервис позволит сократить время реакции на запросы пользователей.

3. Проверка гипотезы, что улучшение классификации запросов возможно с помощью интерактивного уточнения обращений модели LLM с пользователями.

4. Снижение операционных затрат: применение передовых технологий искусственного интеллекта и больших языковых моделей предназначено для минимизации рутинных задач и, как следствие, уменьшения расходов на оплату ручного труда.

Описание бизнес‑процесса

В основе процесса пользовательской поддержки лежит система ITSM System, которая управляет потоком обращений. Обращения пользователей, поступившие из различных каналов, сначала вручную классифицируются по содержанию, приоритету и другим параметрам. За это отвечают операторы контактного центра. После классификации обращения перенаправляются в соответствующие сервисные группы на второй линии для дальнейшей обработки или решения.

Роль AI‑ICS в маршрутизации обращений

Первая версия сервиса Incident Classification System (AI‑ICS). ИИ‑инструмент был разработан для автоматизации процесса классификации и маршрутизации.

• AI‑ICS анализирует и классифицирует обращения на основе их содержания, определяя нужные категории: услуга, категория, тип запроса и целевая группа.

• Обращения, классифицированные AI‑ICS, автоматически направляются либо непосредственно в соответствующие отделы, либо на дополнительную проверку в случае неуверенности системы в классификации.

Ключевыми участниками являются AI‑ICS, система ITSM System и операторы контактного центра НЛМК, работающие совместно для обеспечения эффективности и точности обработки пользовательских запросов.

Данные для обучения и тренировочный набор

Объем и источники данных

Проект использовал обширный набор данных из почти миллиона обращений, собранных за последние два года. Эти данные включали следующее:

Структура обращений

Приблизительно 50% обращений были организованы по 7 услугам, 14 категориям и 15 группам. Остальные 50% данных разделялись между 50 услугами, 107 категориями и 83 группами, сформировав в сумме около 5300 уникальных комбинаций.

Пригодность данных

Из всего массива около 79% обращений подходили для обучения и тестирования модели «как есть». Это были короткие запросы, не превышающие 500 символов. Более длинные тексты требовали предварительной обработки, включая суммирование и удаление избыточной информации.

Интеграция вложений

Значительная часть обращений (34%) содержала графические вложения. Однако испытания показали, что добавление данных, извлеченных из этих вложений, не улучшило точность модели.

Подход к реализации AI‑ICS

Разработка и деплоймент

Проект включал несколько ключевых этапов разработки и внедрения ИИ‑системы.

1. Выбор ML‑модели: определение подходящей модели для классификации и маршрутизации обращений.

2. Разработка сервиса: создание Docker‑контейнера для ML‑модели и разработка API для интеграции с ITSM‑системой.

3. Дообучение модели: непрерывное обучение модели на основе новых данных от службы поддержки.

4. Отчетность и оценка: реализация отчетной системы для анализа эффективности AI‑ICS.

5. Тестирование и оценка качества: проведение тестов и оценка результативности системы.

6. Администрирование системы: разработка инструментов для управления параметрами модели и типами обращений.

Инструменты машинного обучения

Сервис AI‑ICS использует ряд передовых технологий машинного обучения.

• PyTorch: основной фреймворк для работы с моделями.

• Pandas: инструмент для обработки и анализа данных.

• MLflow: платформа для управления машинным обучением и автоматизации пайплайнов.

• Matplotlib и Seaborn: библиотеки для визуализации данных.

• LaBSE: трансформерная модель, оптимизированная для задач классификации и маршрутизации обращений на различных языках.

Архитектура классификатора на базе модели LaBSE

Введение в большие языковые модели

Большие языковые модели, такие как GPT и BERT, революционизировали обработку естественного языка, предоставляя возможности для перевода, суммирования и ответов на вопросы. LaBSE, оптимизированная для многоязычного использования, идеально подходит для глобальных компаний с мультиязычными запросами.

Выбор модели

Выбор модели LaBSE стал результатом тщательных исследований и экспериментов. В процессе разработки AI‑ICS мы протестировали GPT2, BERT и другие трансформерные модели. Каждый из этапов включал проверку гипотез, анализ производительности и соответствия наших требований к точности и скорости обработки данных. LaBSE показала себя наиболее эффективной благодаря своей способности справляться с многоязычными задачами, легковесности, которая обеспечивала высокую скорость обработки, и способности наиболее точно классифицировать и маршрутизировать запросы. Кроме того, LaBSE продемонстрировала устойчивость к изменениям в данных и гибкость в интеграции — это стало ключевыми факторами при выборе модели для реализации проекта.

Роль LaBSE в маршрутизации обращений

В компании архитектура классификатора, базирующаяся на модели трансформера LaBSE, играет ключевую роль в процессе интеллектуальной маршрутизации обращений в IT‑поддержку. Вот как она работает.

1. Подготовка данных: сервис AI‑ICS начинает с приема данных обращений. Они включают текст самого обращения, данные о сотруднике, отправившем запрос, и специальный флаг «isSpecial». Этот флаг используется для идентификации пользователей, чьи запросы могут требовать особого внимания или ручной классификации, хотя они также включены в общий анализ для сбора статистических данных.

2. Токенизация и эмбеддинг: текст обращения и связанные с ним данные объединяются и обрабатываются с помощью токенизатора LaBSE, который преобразует текст в векторное представление. Эти векторы или эмбеддинги помогают кодировать семантическое содержание текста в формат, пригодный для машинной обработки.

3. Классификация признаков: эмбеддинги анализируются с использованием классификационных моделей, которые определяют ключевые атрибуты каждого обращения (тип услуги, категория запроса и др.). В некоторых случаях одна модель может быть задействована для определения нескольких связанных атрибутов — например, категории и услуги одновременно.

4. Возврат результатов: классификационные модели возвращают значения для каждого из признаков вместе с параметрами, которые отражают уверенность модели в каждом из прогнозов. Эти параметры помогают в дальнейшей маршрутизации запросов.

5. Маршрутизация обращения: исходя из данных о признаках и степени уверенности модели, AI‑ICS принимает решения о направлении обращения. Если уверенность высока, запрос направляется непосредственно в соответствующий отдел. Если модель выражает недостаточную уверенность или если запрос подпадает под дополнительные правила (например, запросы от пользователей группы Special), он может быть отправлен на дополнительную ручную проверку.

Практические преимущества использования LaBSE

• Ускорение обработки: автоматизация классификации сокращает время обработки запросов.

• Повышение точности: точное определение категорий уменьшает ошибки маршрутизации.

• Снижение затрат: эффективная автоматизация уменьшает ресурсы, необходимые для ручной сортировки и обработки запросов.

Результаты работы прототипа сервиса AI‑ICS в НЛМК

Эффективность классификации

В период тестирования 61% обращений были классифицированы ИИ с установленным порогом уверенности (Confidence Threshold, CT) на уровне 0,8, а оставшиеся 39% — направлены на ручную проверку (рисунок 2).

Из обработанных ИИ 84% были точно классифицированы по атрибутам услуги, категории, типа и группы, что дает общий охват сервиса в 51,24% (84% * 61%) (рисунок 3).

Средняя доля корректно классифицированных и маршрутизированных обращений КЦ в день — 75% (рисунок 4).

Оптимизация процессов

Использование AI‑ICS позволило повысить точность классификации до 85%, уменьшить время и затраты на обработку обращений за счет уменьшения доли обращений, требующих ручной классификации. Это, в свою очередь, привело к экономии ресурсов и улучшению качества обслуживания клиентов.

Прогнозируемые результаты

Ожидается, что до 80% всех электронных обращений будут эффективно обработаны ИИ без необходимости в ручной маршрутизации, а до 84% обращений будут корректно маршрутизированы. Это подтверждает потенциал системы значительно сократить операционные расходы при сохранении высоких стандартов качества обработки запросов.

Дальнейшее развитие AI‑ICS в НЛМК: углубление автоматизации и интеграция новых моделей

Расширение возможностей ИИ

В рамках продолжающегося усовершенствования системы AI‑ICS компания активно работает над внедрением функций автоматической обработки стандартных запросов. С помощью выделения интента и последующего автоответа модель сможет самостоятельно решать типичные задачи без привлечения специалистов. Это значительно ускоряет процесс обслуживания и повышает его эффективность.

Улучшение взаимодействия с пользователями

Одной из новых функций является возможность ИИ задавать уточняющие вопросы. Это позволяет более точно классифицировать запросы и находить наиболее подходящие решения, минимизируя вероятность ошибок и увеличивая удовлетворенность клиентов.

Интеграция передовых моделей ИИ

В линейку инструментов включены новейшие модели машинного обучения, такие как LLAMA 3 и Mixtral, которые предоставляют улучшенные возможности для анализа и обработки запросов. Эти мощные модели обеспечивают более глубокое понимание контекста и способны обрабатывать сложные запросы с высокой точностью.

Планы на будущее

Компания планирует и дальше интегрировать новые технологии, чтобы снизить зависимость от человеческого фактора в процессе обработки запросов. Разработка и тестирование новых функций уже показали значительные успехи, и этот тренд сохранится — как в плане скорости обслуживания, так и в качестве обработки запросов.