Привет, Хабр! На связи Мурат Апишев, руководитель направления NLP R&D в Just AI. Одним из ключевых направлений компании является разработка инструментов для создания голосовых и чат-ботов. Задача создания классификатора интентов в таких проектах является краеугольным камнем, и в этой статье я бы хотел поделиться некоторыми апдейтами наших продуктов в этом направлении. Речь пойдет о внедрении моделей классификации и парафраза на основе трансформеров. Приятного чтения!

Введение

В мире NLP сейчас происходит много интересного и почти фантастического. Но простые задачи обработки текстов не теряют своей актуальности, ведь для огромного количества компаний важно, чтобы их чат-боты определяли намерения пользователей быстро, качественно и дешево.

Для рядового специалиста по анализу данных и ML не составляет особого труда собрать хороший классификатор. Даже если данные сложные, можно сделать дополнительную разметку, подобрать модели, поработать над обучением и получить нужный результат. Но в мире платформ для чат-ботов (равно как и в облачных ML-сервисах общего назначения) упор делается на быстрое обучение по кнопке с минимальным вовлечением пользователя и пусть не идеальным, но достаточно хорошим качеством результата. Когда вы располагаете необходимым набором данных и/или задачи не очень сложные с т.з. близости классов и их сбалансированности, такого результата достичь несложно. 

Проблема заключается в том, что обучающие выборки некоторых представителей малого и среднего бизнеса оставляют желать лучшего по всем критериям, и именно у этой категории клиентов обычно нет инхаус-специалистов и наработанных компетенций для работы с такими данными. Поэтому в подобных случаях нам бы хотелось улучшить работу NLU-решений на своей стороне.

Работа с интентами в JAICP

В нашей платформе JAICP до недавнего времени пользователь имел несколько опций для работы с интентами: паттерны, STS, Classic ML и Deep Learning (DL):

• Паттерны — расширенный аналог регулярных выражений. Их можно использовать для решения сложных кейсов, но проблемы очевидны: сложность и длительность разработки и поддержки, нулевая переиспользуемость;

• STS — простой алгоритм вычисления соответствий между текстами по семантической близости слов. Уже не требует ручной работы и предоставляет понятную информацию для дебага классификации, но подходит только для небольших датасетов и нагрузок на систему. Алгоритм работает медленно из-за обработки лингвистической информации (синонимы, нормальные формы и т.д.), но при этом небольшого количества тренировочных данных недостаточно для хорошего качества классификации;

• Classic ML — это линейная модель на разнообразных текстовых признаках, которая показывает себя достойно в задачах с адекватным количеством объектов, но требует предобработки текста, сбалансированности классов и относительно большого объема данных, о чём редко беспокоится среднестатистический пользователь платформы без опыта работы с ML-алгоритмами;

• DL — под этим названием в платформе подразумевается модель на основе CNN с одномерными свертками над предобученными векторами, которая в целом неплохо и быстро справляется с разными задачами, если адекватно выставить гиперпараметры обучения.

Практика показала, что многие авторы ботов пишут интенты на паттернах, потому что их работа более предсказуема и контролируема. Или же они используют классификатор STS, потому что он опять же самый понятный и относительно хорошо показывает себя на небольших датасетах. Эти подходы работают, но пользователи периодически выражают недовольство качеством распознавания интентов. Собрав фидбек, мы решили вплотную заняться этой проблемой.

Анализ показал, что в реализациях сервисов присутствуют недочеты, а также неоптимальность выбора дефолтных параметров, с которыми происходит обучение «по кнопке». В первую очередь мы решили исправить эти технические проблемы, но очевидной также стала необходимость создания нового сервиса для классификации на основе более совершенных мультиязычных моделей, который бы требовал от пользователя минимальной вовлеченности и подходил бы для практически всех типов датасетов, включая маленькие, несбалансированные и те, в которых разные языки смешиваются в одной фразе. Мы сразу сконцентрировали внимание на переносе обучения (transfer learning), тем более, что в алгоритме DL такой подход тоже используется. В последние годы стандартом для переноса обучения в задачах классификации и разметки стали BERT-like модели на основе кодировщика Transformer. Приятным следствием такого подхода является возможность использования одних и тех же моделей (или набора моделей в одном сервисе со стандартным интерфейсом) не только для классификации, но и для целого ряда иных задач (QA, FAQ, суфлёр и т.д.).

Тестирование собственного классификатора

Выбрав несколько подходящих базовых моделей с HuggingFace, мы с лингвистами компании провели тесты на наших внутренних данных. Проверялась прежде всего возможность получать адекватные результаты при минимальных выборках (1-5 обучающих текстов на класс). Модели использовались в качестве векторизаторов, поверх которых помещались либо KNN-индекс (мы используем для ускоренного поиска ближайших соседей NMSLIB) с различными стратегиями определения класса по соседям, либо обучаемая линейная голова.

Качество результатов оказалось неплохим, но не существенно выше, чем у нормально обученного на тех же данных алгоритма DL. Поэтому решили дообучать базовые модели для русского языка — у нас как раз и данные внутри подходящие есть и потребность в хорошем качестве наиболее высокая для русского. Данные диалоговые, поэтому модель мы учили предсказывать близость между диалоговой репликой и предшествовавшим ей контекстом. И это зашло хорошо.

После многочисленных подходов к снаряду удалось получить обновленные модели, которые в классификаторе с линейной головой по метрикам показали себя ощутимо лучше (+2-8 пунктов F1-меры на разных датасетах) базовых векторизаторов, что для первой версии мы посчитали приемлемым.

Для валидации качества работы наших классификаторов (назовем новый Transformer) мы провели тестирование на наборе русскоязычных датасетов (как открытых, так и наших внутренних), дополнительно сравнивая качество с Dialogflow как с одной из самых известных диалоговых платформ, в которой можно достаточно свободно проводить тесты. Ниже показаны параметры 9 датасетов на русском языке и результаты для них.

В публичных датасетах HWU-20-Ru и Chatbots-ru (из статьи от Ростелекома) разбиение на train/test определено заранее для чистоты сравнения с результатами предыдущего исследования, в прочих разбили случайным образом в пропорции 60/40. Время обучения измерялось в секундах. В Dialogflow отказ от классификации засчитывался как ошибочная классификация.

Все наши алгоритмы запускаются в доработанных версиях с фиксированными дефолтными параметрами (они станут доступны всем пользователям JAICP после обновления платформы). Для честности сравнения обучение происходит как и в жизни, «по кнопке», без дополнительной настройки.

Характеристики датасетов, для публичных указаны названия.

Итак, результаты замеров:

Датасет 1

Датасет 2

Датасет 3

Датасет 4

Датасет 5

Датасет 6

Датасет 7

Датасет 8 (HWU-20-Ru)

Датасет 9 (Chatbots-ru)

Как и ожидалось, в среднем наиболее высокий прирост по сравнению с более простыми методами получается именно на проблемных датасетах с относительно небольшим числом примеров на класс (хотя и на последнем, самом большом наборе данных, качество ощутимо выросло). Скорость работы нового классификатора на момент замеров далека от оптимальной — мы находимся в процессе внедрения оптимизаций на уровне модели и сервиса, которые позволят получить значительный прирост производительности.

Альтернатива «ручной» генерации тренировочных фраз

Как было замечено выше, создание примеров для интентов — один из вызовов, с которыми сталкиваются пользователи диалоговой платформы. Далеко не всегда в наличии есть гора диалогов, из которой можно набрать достаточно разнообразных примеров для классификатора. На деле может не быть ничего, потому что чат-бот только создается или же примеров из жизни очень мало по всем или отдельным классам. Из-за этого много времени уходит на генерацию тренировочных фраз, например: «Как 20 раз сказать «хочу оформить заказ» разными словами». Как следствие, создаваемые таким образом выборки не только малы, но и достаточно однообразны по составу слов.

Для борьбы с этим можно использовать краудсорсинг (дорого, медленно, качественно) или автоматический парафраз (проще, но зато быстро и почти бесплатно). Так как кейсы применения различны, мы хотим использовать оба подхода. Большие генеративные модели за последние годы сильно продвинулись в решении разнообразных текстовых задач. Наиболее известный их представитель, ChatGPT, способен перефразировать тексты почти на человеческом уровне (а в ряде случаев и лучше обычного краудсорсера), и масштабы его использования для подобных целей будут расти (нами в том числе). Тем не менее, на момент старта разработки мы решили обучать собственную модель, поскольку это:
1) Более контролируемо и изменяемо;
2) Дешевле и быстрее;
3) Не требует пересылки данных третьей стороне. Можно дообучить свою небольшую модель под домен клиента и поставить решение в его внутренний контур.

Есть готовые относительно небольшие модели для парафраза, но свои мы учили самостоятельно, чтобы иметь возможность добавлять в них различные элементы управления результатом. В качестве данных использовались пары фраз из открытых источников и наш собственный большой набор данных, полученный с помощью обратного перевода (back translation), в сумме больше 2М пар. После ресерча и ряда консультаций было решено использовать в качестве базовой модели полный трансформер, потому что в seq-2-seq задачах он показывает себя стабильнее декодерных моделей. Мы выбрали предобученные T5 от Сбера и Google. В первой версии обучалась обычная seq-to-seq модель с кросс-энтропийным лоссом. Для генерации используется nucleus sampling, для удобства пользователей были протестированы и подобраны четыре режима генерации, регулирующие степень разнообразия результирующего текста. Тестирование моделей производилось силами внутренних асессоров, оценивалась адекватность парафраза на наборе реплик из логов чат-ботов по различным тематикам.

Несколько примеров относительно неплохих сырых вариантов для фраз на разные темы в разных режимах:

Впрочем, еще есть над чем поработать. Иногда модель без необходимости сбивается на транслитерацию (баги исходных данных) и английские варианты слов, обычно это свойственно более «вольным» режимам генерации:

А иногда коверкает отдельные слова (в т.ч. сущности) и существенно изменяет даты:

Как мы влияли на генерацию

Следующим шагом стало добавление возможности влиять на генерацию. В рамках парафраза полезной является возможность поощрять/запрещать появление каких-то слов и словосочетаний в результате. Запрещать модели использовать определенные токены можно чисто технически, накладывая ограничения на процесс генерации методами библиотеки transformers. Для поощрения использования определенных токенов мы добавили во вход модели дополнительный контролирующий сегмент, в котором перечисляются слова, появление которых в результате очень желательно.

Сперва для проверки гипотезы мы просто добавляли в половине выборки случайные слова и словосочетания из верных парафразов в этот сегмент на входе, т.е. никак не модифицировали лосс, и это уже заработало. Позже решили усилить эффект, добавив в слагаемые кросс-энтропии взвешивание, и для токенов из контролирующего сегмента штраф за неверную генерацию был существенно повышен. Тестирование показало, что к последней версии модели долю адекватно генерируемых вариантов парафразов в тестовой выборке с учётом требований по наличию слов удалось довести до 70%. Основные сложности связаны с сохранением имен, дат и числительных. Общая адекватность модели по первому тесту осталась на прежнем уровне.

Исходная фраза: «Хочу закрыть счет в вашем банке»:

Исходная фраза: «Курьер сообщил, что у него нет части заказа, я хочу вернуть деньги»:

Больше возможностей управления

Поскольку хороший вариант перефразирования не всегда получается с первого раза, для контроля качества и отбора мы добавили к сервису ранжирование по семантической близости с помощью внешней модели. Отбор по топу семантической близости парафраза к исходной реплике помогает избавиться от неадекватных результатов в ряде случаев (естественно, если среди кандидатов в принципе есть адекватные). Приведем несколько примеров фильтрации:

При этом такой отбор может улучшить качество в ущерб разнообразию, так что в определенных случаях ранжирование можно выключать или даже использовать в обратную сторону.

В качестве дополнительной опции мы добавили в модель возможность симплификации текстов на основе датасета RuSimpleSentEval и библиотеки для промпт-тюнинга ru-prompts от Sber AI:

На первом этапе внедрения парафраза мы просто предлагаем сгенерировать другие варианты написанной пользователем тренировочной фразы, которые он сможет сам поправить и добавить в выборку или, вдохновившись ими, написать свой собственный вариант. Пока мы даже не нагружаем пользователя выбором силы перефразирования и делаем это рандомно. А уже после этого этапа MVP и получения первого фидбека мы хотим дать пользователю возможность более гибко настраивать генерацию с помощью описанных выше настроек модели. Например, управление появлением слов может быть полезным в связке с предварительным выделением важных сущностей, появление которых в парафразе является обязательным.

Подводя итоги

Разработка новых инструментов для классификации интентов проводилась одновременно с разработкой новой версии всего внутреннего NLU-движка CAILA (проект реализуется при поддержке РФРИТ) продуктов Just AI. CAILA 2.0, а точнее app.caila.io — это платформа для встраивания, хостинга и масштабирования NLP-моделей. Именно этих возможностей нам не хватало для использования хороших тяжелых моделей в продакшене, поэтому мы много работали над созданием новой микросервисной архитектуры и над переносом в неё (в ряде случаев — с улучшением, донастройкой и оптимизацией) уже используемых в наших продуктах NLU-сервисов. Таким образом, сейчас первым клиентом CAILA 2.0 становится наша же платформа JAICP. На очереди — наши клиенты on-premise, а со временем мы планируем развивать облачную платформу ещё и как маркетплейс NLP-сервисов.

Итак, мы рассказали в общих чертах о том, как улучшаем наши продукты с помощью трансформеров и надеемся, что лучшее качество классификации из коробки позволит разработчикам ботов сосредоточиться на бизнес-логике своих решений. Мы же продолжим дальнейшую работу, будем улучшать и ускорять наши модели!