В приложении «Магнит: акции и доставка» можно оставлять отзывы на товары. Отзывы модерируются: мы публикуем те, которые считаем полезными для других покупателей, — они должны описывать потребительские свойства товара. Отклоняем все остальные: как правило, это жалобы на ценники, сервис в магазине, условия хранения либо просто нерелевантные тексты. Отзывы с жалобами обрабатывают службы поддержки и сервиса.

Меня зовут Роман Милованов, я занимаюсь разработкой сервиса модерации покупательских отзывов в команде User Generated Content. Расскажу о том, как мы попробовали применять большие языковые модели, чтобы автоматизировать модерацию отзывов. 

Если вам в первую очередь интересны выводы без погружения в нюансы — можете увидеть их вместе с наглядной таблицей в конце статьи. 

Как обрабатываем отзывы сейчас

Отзывы от пользователей поступают к нам в таком виде:

• Вкусное печенье.​

• в ценнике было написано 59р. ОБМАН ПОКУПАТЕЛЯ! ​

• Бананы неспелые

• Товар не купил я а в чеке прабили ???​

• У мен не было такое в чеке пробить а сам нету​
  витрины другой цена а в кассу другой кошмар ето Магнит как всегда​

• Хорошая колбаса от КУМК. Постоянно беру только её. Цена и качество её лучшим вариантом.​

• Очень понравилась соломка. К чаю и кофе очень подходит . Вкусная и недорогая.​

• Подделка! Не имеет ничего общего с коньяком . Водка смешанная с колером и огромным количеством ванилина! Пить эту бурду невозможно! Деньги выбросил на ветер. Позор  Магниту,который продает такую бурду. ​

Сейчас сервис модерации представляет собой ансамбль из нескольких роботов. Два самых простых построены на основе словарей и имеют внутренние названия «Антимат» и «Политрук». Ещё три работают на основе паттернов и правил, и есть одна ML-моделька. Все это вместе обрабатывает 67% текстов, которые к нам поступают. Остальное обрабатывается людьми.

Первый подход к большим языковым моделям: ChatGPT

Мы решили, что можно попробовать применять для нашей задачи большие языковые модели. Проверять гипотезу стали на ChatGPT 3.5. Составили промпт, покидались им в ботов, которые работают на базе ChatGPT.

По каждому отзыву модель дала решение — отклонено или одобрено — и обоснование. По совокупности пары десятков таких экспериментов получилось, что боты на основе ChatGPT 3.5 дают от семи до десяти правильных ответов. Это результат, с которым можно работать.

Углубляемся в тему: сравнение разных моделей

После этого решили исследовать, на базе каких моделей можем построить нашего нового модератора. Мы попробовали:

• ChatGPT

• YandexGPT

• GigaChat от Сбера

• LLaMA

Наши принципы взаимодействия с большими языковыми моделями

Прежде чем мы перейдём к собственно сравнению разных моделей, расскажу об общих принципах взаимодействия с ними.

На первых этапах в промпте мы указывали полный список правил модерации. Довольно быстро стало понятно, что такой подход неэффективен: языковые модели лучше реагировали на человекочитаемые объяснения, чем на формальные документы.

Мы сразу просили модель не только давать итоговое решение, но и объяснять, почему оно принято: такой подход позволяет визуально оценивать результаты при доработке запросов, да и объяснение всегда кажется не лишним.

Мы применяли подход, именуемый Few-Shot Prompting. Суть его заключается в том, что, помимо описания собственно задачи, к инструкции для модели прилагается несколько примеров отзывов и эталонных ответов, которые мы ожидаем увидеть от модели. Кроме того, каждая инструкция снабжалась требованием  соблюдать определённый формат ответа: нумерованный список или даже JSON. Некоторым моделям сложно соблюдать формат вывода, и тогда могут помочь всяческие ухищрения: такие как, например, угрозы наказать за несоблюдение формата или поощрение за прилежную работу.

Проблемы точности

Точность классификации в нашей задаче, как, зачастую, во всех задачах с модерацией текстов, не может быть абсолютной. Но вопрос о целевой точности предсказаний требовал ответа. Мы решили отталкиваться от показателей штатных модераторов-людей.

Важно отметить, что если принять какой-то набор уже отмодерированных отзывов за эталон (тестовый датасет), то результат модераторов-людей по нему будет ниже 100%. Человек не идеален: дайте двум квалифицированным модераторам сотню одинаковых текстов и увидите, что не во всех случаях их мнения совпадают. В нашем случае модераторы-люди приходили к консенсусу лишь в 90% отзывов. Значит, при точности машины в 90% по отношению к «эталонному» датасету мы фактически получим уровень штатного сотрудника.

Язык общения

Большинство моделей понимает и русский и английский языки, но какой-то из них для модели всё же стоит считать «родным» в том смысле, что инструкция на родном языке более понятна модели. Так, для ChatGPT и LLaMA инструкция подавалась на английском языке, а вывод требовался на русском. Такой подход показал свою эффективность. С моделью Яндекса говорили по-русски. Были эксперименты с инструкцией на английском языке, которые ожидаемо показали снижение качество ответов модели.

ChatGPT

Для экспериментов, описанных в этой статье, мы использовали ChatGPT 3.5 Turbo, и этот инструмент в итоге позволил нам приблизиться к желаемому результату.

После нескольких модификаций промпта удалось увидеть не только хорошую (относительно) точность ответов, но и стабильно хорошее качество формата выдачи: даже JSON парсился практически всегда без дополнительных ухищрений.

В каждом запросе помимо общей инструкции мы давали десять случайных примеров из размеченного датасета и просили отмодерировать десять отзывов.

Вариативность предсказаний модели и мультиагент

ChatGPT при прогоне на тестовом датасете показала точность (ассuracy) около 80%: от прогона к прогону цифра могла на процент скакать туда-сюда. Да и на глаз было видно, что одни и те же отзывы модель может классифицировать по-разному: в одном запросе одобрит, в другом отклонит.

Чтобы справиться с этой вариативностью, был применён подход, именуемый (узким кругом) «мультиагент». Суть в том, что по каждому отзыву мы отправляем модели несколько запросов, имитируя таким образом работу нескольких ИИ-агентов. Решение считается принятым, только если агенты достигли консенсуса. Это позволило поднять точность до 85%.

Этот обнадёживающий результат сподвиг нас к попыткам поиграть с другими генеративными моделями.

Сравнение моделей

Ожидать от других моделей результатов, близких к ChatGPT, кажется нелогично, поскольку эти модели несопоставимы банально по своим техническим характеристикам  (объёму параметров). Но всё же хотелось как-то на прикладном уровне модели сравнить. Для этого придумали несколько простых запросов, которые проверяют разные аспекты работы модели: способность соблюдать формат вывода, принимать решения на основе правил, генерировать читабельный текст, объяснять решения, говорить по-русски, в конце концов ?

Например, вот таким простым запросом мы сравнивали модели по умению соблюдать формат вывода:

Классифицируй животных по зоне обитания

Например:

Обезьяна - джунгли

Гепард - прерии

Медведь - леса

Ответ представь в виде таблицы.

Для примера выше таблица выглядит так:

| Животное | Зона обитания |

----------------------------

| Обезьяна | Джунгли |

| Гепард | Прерии |

| Медведь | Леса |

Построй таблицу зон обитания для следующих животных:

Зебра, Носорог, Крокодил

YandexGPT

Яндекс постоянно работает над выпуском новых и улучшением старых версий моделей семейства YandexGPT. На момент написания мной этих строк уже вышла версия YandexGPT 3 Pro. В этой же статье я суммирую опыт экспериментов с более ранними версиями. Наши самые первые эксперименты с ранними моделями были неудачными: без углубления в подробности просто отмечу, что практически ничего не работало. Позже ситуация изменилась, и кое-какой результат мы всё-таки получили.

Методика была простой: пробовали решить задачу модерации отзывов тем же подходом, что и с ChatGPT, а также оценивали выдачи по дополнительным промптам, назначение которых я указал выше.

 Итоги по YandexGPT2, которые мы получили, когда она только вышла

• Качество ответов непредсказуемо: то в точку, то вообще мимо.

• Модель неспособна соблюдать формат выдачи.

• Часто генерирует нерелевантный текст.

• Не всегда заметен эффект от изменения параметров запроса, таких как температура.

• Бывают проблемы с русским языком: неверные окончания слов или просто лишние буквы.

На тот момент мы зафиксировали, что решение наших коммерческих задач с помощью few-shot prompting на базе YandexGPT не представляется возможным. С тех пор почти по всем пунктам работа модели улучшилась, хотя кардинально для нас это картины не поменяло.

Дообученная YandexGPT

После отказа от дальнейших экспериментов с few-shot prompting в отношении YandexGPT, мы решили попробовать дообучить модель — Яндекс предоставляет такую возможность.

Технически это очень простая операция: нужно загрузить промпт и датасет с правильными парами запросов-ответов через интерфейс Yandex DataSphere.

Я не ожидал многого, поэтому на скорую руку собрал датасет из 800 пар. Вечером загрузил, утром дообученная модель уже была готова.

И тут случился конфуз. К дообученной модели можно обратиться через веб-интерфейс или через API. Я пошёл в веб, отправил несколько запросов и обнаружил, что модель отвечает только «да» и «нет» на любой вопрос. Эти ответы не релевантны, поскольку по инструкции и в соответствии с датасетом она должна выдвавать бинарное решение (одобрено или отклонено) и его обоснование в одном-двух предложениях.

Я уже открыл Джиру, чтобы в комментариях к задаче записать неутешительные выводы, но решил для «соблюдения протокола» покидаться запросами через API и — о чудо — увидел в точности ожидаемые от модели ответы. Она четко следовала формату и в большинстве случаев давала качественные обоснования.

Полагаю, в веб-интерфейсе присутствовал баг при обращении к модели и, возможно, на сегодня его уже пофиксили.

Дообученную модель прогнали на тестовом датасете и увидели точность в 81%. Недурно!

При этом вариативность ответов отсутствовала: на один и тот же запрос модель всегда давала один и тот же ответ (параметр температуры выставлен на минимум), что делает необязательным использование мультиагентного подхода. Определённо тут есть почва для дальнейших исследований, над чем сейчас и работаем.

GigaChat

Сбер тоже выкатил свою генеративную модель. И она умеет генерировать не только текст, но и картинки. Получить доступ к WEB API GigaChat оказалось совсем не просто, поэтому с этой моделью мы ограничились экспериментами только в вебе.

Пара картинок ниже с моими запросами про «маленький камазик» неплохо иллюстрирует общее впечатление от GigaChat.

А вот так она работает с отзывами:

1. кто опять разрешила это преступление против жительниц России:"пальму" в составе? абсолютно всё што содержит "пальму" в любая количестве в принципе является фальсификатом! абсолютно вся продукция с "пальмой" обязательно должна быть окончательно и навсегда запрещена законами России!
2. Мясо сильно воняло,это просто ужасно 3 позиции чека неликвид
3. вкусно,но нужно есть в меру даже если нет сахара
4. не похоже на брынзу
5. Очень долго и неудобно активировать сим-карту.В кнопочном телефоне она не работает (
6. Наша кошка ест с удовольствием.
7. Вскрыли упаковку, а рыба с запахом. ?
8. норм
9. Все устраивает
10. 10% арахиса
11. цена по чеку не соответствует цене на полке магазина


1. Одобрено. Описание вкусовых качеств товара.
2. Отклонено. Отзыв на отвлечённую тему.
3. Одобрено. Описание аромата.
4. Отклонено. В отзыве нет описания потребительских свойств товара.
5. Отклонено. Упоминание о цене.
6. Отклонено. Упоминание о качестве продукта.
7. Отклонено. Упоминание о вкусе.
8. Отклонено. Упоминание о запахе.
9. Отклонено. Упоминание о цене.
10. Отклонено. Упоминание о вкусе.
11. Отклонено. Упоминание о цене. 

Итоги экспериментов

• Модель довольно непредсказуема: иногда выдаёт хорошие ответы, а иногда — плохие.​

• Отлично работает с форматом: может выдавать ответы сразу в JSON​.

• На нашем стандартном промпте результат хуже, чем у LLaMA-производных моделей 13B. Много некорректных ответов, а обоснования слабо соотносятся с текстами отзывов. ​

LLaMA

Семейство моделей от Meta AI отличается тем, что при меньших объёмах (количестве параметров) выдаёт сопоставимые с гораздо более крупными моделями результаты. Требует меньше вычислительных мощностей: самую маленькую можно запустить на вполне «гражданском» ноутбуке. Официального WEB API нет, но много неофициальных за деньги.

Результат задания по разметке отзывов:

1. кто опять разрешила это преступление против жительниц России:"пальму" в составе? абсолютно всё што содержит "пальму" в любая количестве в принципе является фальсификатом! абсолютно вся продукция с "пальмой" обязательно должна быть окончательно и навсегда запрещена законами России!
2. Мясо сильно воняло,это просто ужасно 3 позиции чека неликвид
3. вкусно,но нужно есть в меру даже если нет сахара
4. не похоже на брынзу
5. Очень долго и неудобно активировать сим-карту.В кнопочном телефоне она не работает (
6. Наша кошка ест с удовольствием.
7. Вскрыли упаковку, а рыба с запахом. ?
8. норм
9. Все устраивает
10. 10% арахиса
11. цена по чеку не соответствует цене на полке магазина

 

1. Отклонено. Содержит жалобу на содержание пальмы в продукте, но без доказательств фальсификации и запрета в России.

2. Отклонено. Сообщение не связано с описанием потребительских свойств товара.

3. Одобрено. Описывается вкусовой качество продукта, но без указания на количество сахара.

4. Отклонено. Утверждение о том, что product не похож на брынзу, не связано с его потребительскими свойствами.

5. Отклонено. жалоба на трудности активации сим-карты не связана с ее потребительскими качествами.

6. Одобрено. Аромат кошки является личным вкусовым предпочтением, но не связан с потребительскими свойствами товара.

7. Отклонено. Содержит нарушение законов России и обвинение в фальсификации продукта.

8. Отклонено. Описывается неприятный запах мяса, что может отпугнуть потребителей.

9. Одобрено. Описываются вкусовые качества товара и рекомендация о количестве для consumption.

10.  Одоobreno. Рекомендация для потребителей, соответствующая количеству товара.

11.  Отклонено. Не содержит арахса в указанных пропорцииях.

Итоги

• Качество ответов немного ниже, чем у ChatGPT​.

• Обоснования решений бывают отличными, бывают бредовыми​.

• Можно много играть с настройками​.

• Лучшие результаты показывает на низких температурах​.

• По-русски говорит сносно​.

• Разница между 13B и 70B на глаз не видна​.

Выводы

Качество инференса

Это точность предсказаний: насколько точно модель модерирует отзывы.

Структура инференса

Ответы модели нужно читать программно: важно, чтобы они подчинялись какой-то структуре, которую мы задаем. Допустим, модель может выдавать либо JSON, либо  размеченный список, либо что-то ещё.

Оказалось, что не все модели с этим хорошо справляются. Вот, например, YandexGPT справляется почему-то очень плохо: не может постоянно поддерживать одну и ту же структуру.

Web API

С этим у Яндекса всё хорошо.

ChatGPT блокирует запросы из РФ, но есть прокси-сервисы, да и вообще голь на выдумки хитра.

У GigaChat есть API и они даже готовы были открыть к нему доступ, но там очень сложная бюрократическая канитель. Настолько сложная, что мы в рамках исследования и пытаться не стали.

В случае LLaMA предполагается, что вы должны сами захостить модель. Но на самом деле есть много сервисов, которые сделали это за вас и дадут вам за деньги доступ к модели любого размера.

Time-to-market

Все достаточно быстро: при желании мы могли бы на базе YandexGPT уложиться в пару недель и вывести модератор в прод.

ChatGPT чуть дольше: закладываем время на решение вопросов с доступом. Тут я говорю исключительно с технической точки зрения. Практически же решение на базе сервиса, блокирующего запросы из РФ, запускать никто не станет. 

GigaChat — поправка по времени на решение вопросов с доступом.

LLaMA — тут либо погружаться в техничку и запасаться видеокартами, либо заплатить кому-то, кто уже сделал это и даёт доступ к модели как сервису.

Остаётся только добавить, что крайне интересной выглядит перспектива дообучить LLaMA — и это предмет наших будущих изысканий.