rupersonaagent ― это небольшая библиотека для Python с функциями и классами для разработки русскоязычного персонифицированного диалогового агента с динамической долговременной памятью. Плюс в том, что каждый алгоритм можно переиспользовать отдельно для других задач — например, представленные в ней методы оптимизации можно применить для различных генеративных и ранжирующих моделей. Сегодня мы расскажем о нескольких новых модулях из обновления rupersonaagent и посмотрим, как их можно использовать для персонификации и повышения эмоциональности ответов диалогового агента.

Подробнее о rupersonaagent мы писали в нашей прошлой статье на Хабре. В целом библиотека предоставляет разные возможности для работы с генеративными моделями и анализа текстовых данных. Например, в ней реализованы методы предобработки и автоматического извлечения информации о персоне из диалоговых данных, что позволяет эффективно анализировать текстовые взаимодействия. Также доступны модули, специализирующиеся на выявлении особенностей письменной речи в зависимости от профессии, и реализованы персонифицированные BERT модели для более глубокого понимания контекста.

Кроме того, rupersonaagent предлагает методы дистилляции моделей и оптимизации ― это помогает улучшать производительность при использовании больших моделей. Также присутствуют лингвистические правила для извлечения информации из диалогов. Модуль для работы с информацией позволяет обучать модели, которые могут интегрировать внешние знания, а собранные датасеты по профессиям служат источником знаний для долговременной памяти.

В чем проблема

В области обработки естественного языка и исследований диалога сегодня уже удалось достичь немалого: самый яркий пример ― разработка GPT, BERT моделей и их производных, которые способны генерировать текст, анализировать и понимать содержание на высоком уровне. Эти модели были обучены на огромных объемах данных и могут выполнять различные задачи, в том числе перевод, суммирование, создание контента и даже ведение диалогов. Но несмотря на это, еще остается ряд серьезных проблем.

Среди них ― отсутствие у диалоговых агентов способности к эмоциональной эмпатии, неадекватные и неуместные ответы в эмоционально насыщенных контекстах, а также неспособность учитывать эмоциональное состояние пользователя на протяжении длительного взаимодействия. Также современные диалоговые агенты иногда генерируют бессвязные и противоречивые ответы в диалоге ― это вызвано отсутствием консистентной персоны диалогового агента.

Мы решили добавить в библиотеку методы, которые помогут решить эти проблемы. Рассказываем, что получилось:

Новые модули

В нашем последнем обновлении rupersonaagent от 30 июля 2024 года мы добавили следующие модули:

• Модуль распознавания эмоций и тональности сообщений пользователя.

• Модуль детекции агрессивной̆ речи пользователя.

• Модуль интерпретации моделей̆ классификации.

• Модуль аугментации и синтеза эмоциональных и персонифицированных диалоговых данных для русского языка.

• Модуль модификации ответа персонифицированного диалогового агента на основе информации о его персоне.

• Модель повышения эмоциональности ответов диалогового агента с учетом контекста диалога.

В этой статье рассмотрим подробно некоторые из них.

Модель повышения эмоциональности ответов диалогового агента с учетом контекста диалога

Данный модуль основан на модели Fusion-in-Decoder.

Fusion-in-Decoder модели могут быть обучены с помощью train_reader.py и протестированы с помощью test_reader.py.

Описание всех возможных параметров доступно в файле options.py

Обучение

train_reader.py предоставляет код для обучения.

Example:

python train_reader.py \
        --train_data train_data.json \
        --eval_data eval_data.json \
        --base_model_path base/model/path \
        --per_gpu_batch_size 1 \
        --name my_experiment \
        --checkpoint_dir checkpoint \

Тензоры разного размеры ведут к увеличению затрат памяти. Тензоры, подаваемые на вход Энкодера, имеют фиксированный размер по умолчанию, в отличие от входа Декодера. Размер тензоров на стороне Декодера может быть установлен при помощи --answer_maxlength.

Тестирование

Тестирование моделей происходит при помощи test_reader.py
Тестовыми метриками являются Exact Match (полное совпадение) и BLEU.

Пример:

python test_reader.py \
        --base_model_path base/model/path \
        --model_path checkpoint_dir/my_experiment/my_model_dir/checkpoint/best_dev \
        --eval_data eval_data.json \
        --per_gpu_batch_size 1 \
        --name my_test \
        --checkpoint_dir checkpoint \

FiD Agent

FiD Agent это базовый класс, позволяющий использовать обученные модели в качестве диалоговых агентов

Параметры:

model_path — путь до чекпойнта

context_length — сколько последних сообщений хранится в контексте (сообщения бота и пользователя вместе)  

text_maxlength — максимальная длина текста, подаваемого на вход модели 
(включает в себя последнюю реплику, один факт о персоне и историю диалога).  
Если текст слишком длинный, он обрезается с правой стороны.  

device — cpu или gpu

Методы:

def set_persona(self, persona: List[str]):
    # установка списка фактов о персоне

def clear_context(self):
    # очистка истории диалога 

def set_context_length(self, length: int):
    # изменение параметра context_length и обрезка истории диалога соответственно

def chat(self, message: str) -> str:
    # передача одного сообщение модели и получение ответа в виде строки

Минимальный рабочий пример:

from rupersonaagent.fidagent import FiDAgent

#Создаем объект класса агента, передавая ему путь до обученной модели
model_path = "path/to/your/model"
agent = FiDAgent(model_path=model_path,context_length=7,text_maxlength=200,device="cuda:0")

#Определяем набор фактов о персоне и передаем его агенту
persona = ["Я аспирант", "Мне 25 лет", "Грусть"]
agent.set_persona(persona)

#Отправка и получение сообщения
message = "Привет, как дела?"
response = agent.chat(message)
print(response)

Данные

Формат данных

The expected data format is a list of entry examples, where each entry example is a dictionary in the following format Ожидаемый формат данных это список в формате JSON, каждый пример в котором выглядит следующим образом:

Пример данных:

{ 
        'id': '0', 
        'question': 'Последняя реплика', 
        'target': 'Ожидаемый ответ', 
        'answers': ['повторяет target'], 
        'ctxs': 
        [ 
                { 
                        "title": "Факт_о_персоне_1", 
                        "text": "История диалога" 
                }, 
                { 
                        "title": "Факт_о_персоне_2", 
                        "text": "История диалога”
                }
        ] 
}

Так как диалог состоит из последовательных реплик, то для диалога длины N реплик необходимо создать N подобных примеров.

Обработка данных

Обработка данных для датасета rupersonachat может быть воссоздана с помощью persona_chat_preprocess.ipynb

Методы:

def merge_utts(utts: List[str]) -> List[str]:
    # Сливает последовательные реплики одного пользователя в одну

def clean_dialogue(dialogue: str) => List[str]:
    # Обрабатывает диалог и разбивает его на отдельные реплики
  
def clean_persona(persona: str) -> List[str]:
    # Обрабатывает описание персоны и бьет его на отдельные факты
  
def preprocess(ds: DataFrame, bot_prefix: str, user_prefix: str) -> List[Dict]:
    # Принимает на вход pandas DataFrame и возвращает список обработанных примеров

Пример:

# Загрузка данных как pandas DataFrame
df = pd.read_csv('./TlkPersonaChatRus/dialogues.tsv', sep='\t')

# Обработка
data = preprocess(df)

# Сохранение
with open('data.json', 'w') as outfile:
    json.dump(data, outfile)

Модуль модификации ответа персонифицированного диалогового агента на основе информации о его персоне

Данный модель базируется на методе RAG (Retrieval Augmented Generation).

Модель ретривера для RAG может быть обучена при помощи train_biencoder.py и протестирована с помощью test_biencoder.py

Обучение

train_biencoder.py предоставляет код для обучения.

Пример:

python src/train_biencoder.py \
        --data_path data/toloka_data \
        --model_name "cointegrated/rubert-tiny2" \
        --max_epochs 3 \
        --devices 1 \
        --save_path "bi_encoder/biencoder_checkpoint.ckpt" \

Тестирование

Тестирование моделей происходит при помощи test_biencoder.py. Тестовыми метриками являются Recall@k и MRR.

Пример:

python src/test_biencoder.py \
        --model_name \ 
        --checkpoint_dir bi_encoder/biencoder_checkpoint.ckpt \
        --data_path data/toloka_data \

Данные

Формат данных

Ожидаемый формат данных — два столбца: запрос и кандидат, где запрос содержит историю диалога, а кандидат — следующий ход диалога.

Пример данных:

DatasetDict({
    train: Dataset({
        features: ['query', 'candidate'],
        num_rows: 209297
    })
    val: Dataset({
        features: ['query', 'candidate'],
        num_rows: 1000
    })
    test: Dataset({
        features: ['query', 'candidate'],
        num_rows: 1000
    })
})

{
    'query':	'dialog_history',
    'candidate': 'next_turn'
}

{   
    'query': [
        '<p-2> Привет) расскажи о себе', 
        '<p-2> Привет) расскажи о себе <p-1> Привет) под вкусный кофеек настроение поболтать появилось', 
        '<p-2> Привет) расскажи о себе <p-1> Привет) под вкусный кофеек настроение поболтать появилось <p-2> Что читаешь? Мне нравится классика'
        ],
    'candidate': [
        '<p-1> Привет) под вкусный кофеек настроение поболтать появилось', 
        '<p-2> Что читаешь? Мне нравится классика',
        '<p-2> Я тоже люблю пообщаться'
        ]
}

Для экспериментов использовался датасет Toloka Persona Chat Rus. В качестве модели для обучения использовалась rubert-tiny2. LLM model - saiga_mistral_7b_gguf

Предварительная обработка данных проводилась с помощью data_processing.ipynb

Факты о персоне

Факты о персоне были загружены в векторную базу данных FAISS при помощи data_storage.py

Пример взаимодействия с диалоговым агентом

Можно пообщаться с моделью, используя demo.py

gradio demo.py 

При запуске команды, открывается ссылка с интерфейсом для общения с агентом, для того, чтобы установить персону в demo.py можно изменить переменную persona в классе ChatWrapper()

Модуль детекции агрессивной̆ речи пользователя.

Методы

• train_ngram_attention.py --- обучение и валидация NgramAttention модели;

• train_ddp_ngram_attention.py --- обучение NgramAttention модели на gpu в распределенной установке. Рекомендуется к использованию, так как процесс обучения достаточно трудоемкий;

• train_bert.py --- обучение BERT модели;

• fusion.py --- объединение BERT с NgramAttention для лучшего качества.

Формат данных

Данные должны быть представлены в виде файла csv с двумя столбцами: «comment, label и храниться в каталоге out_data. Пример набора данных можно найти в том же каталоге.

Использование

Обучение NgramAttention модели на cpu:

python -m hate_speech.train_ngram_attention --mode train

Обучение NgramAttention модели на gpu:

python -m hate_speech.train_ddp_ngram_attention

Скорость обучения, размер пакета и количество эпох можно указать с помощью опций --learning_rate, --batch_size, --total_epochs. Все параметры скрипта можно найти в train_ngram_attention.py или train_ddp_ngram_attention.py в случае распределенного обучения.

Оценка NgramAttention модели:

python -m hate_speech.train_ngram_attention --mode test

Обучение и оценка BERT модели:

python -m hate_speech.train_bert

Обучение и оценка объединенной модели:

python -m hate_speech.fusion

Используя новые модели библиотеки rupersonaagent, нам удалось успешно разработать персонифицированный эмоциональный диалоговый агент, интегрировав ряд модулей, направленных на распознавание и интерпретацию эмоциональной окраски письменной речи. Также реализованные в библиотеки модули позволили нашему диалоговому агенту классифицировать эмоции, адаптировать свои ответы в зависимости от эмоционального состояния пользователя и заданной эмоции. Это помогло сделать взаимодействие более глубоким и персонализированным.