Хабр, привет! Это Just AI, и мы создали JustGPT – третью большую языковую модель, сопоставимую по качеству ответов с известными LLM для русского языка (GigaChat, YandexGPT). Наша история – про работу над моделью, ее обучение и тестирование. Но в конечном итоге о том, как получить свою LLM на русском языке без космических мощностей и огромных команд.

Совсем немного вводных, и к делу

Выход ChatGPT от OpenAI запустил два процесса:

• создание прикладных приложений, использующих GPT-3.5 Turbo или GPT-4,

• создание своих больших языковых моделей (Large Language Models, LLM).

Мы в Just AI тоже не смогли остаться в стороне от всех событий – и разработали Jay CoPilot, инструмент по работе с нейросетями, и собственную LLM JustGPT. Пока Just AI не обладает вычислительными ресурсами, достаточными для создания таких мощных LLM, как GPT-3,5. Тем более c нуля.

Тем не менее нам удалось за несколько месяцев сделать LLM, сопоставимую по качеству ответов с двумя известными LLM для русского языка (GigaChat, YandexGPT). Теперь о том, как мы создавали и тестировали JustGPT — третью большую языковую модель, выпущенную российской компанией.

Данные для добучения

• Инструктивные данные, подготовленные лингвистами Just AI

• Данные из опенсорса:

  • Русскоязычная часть данных OpenAssistant:

    • ​​удалены диалоги, где ассистент хотя бы раз отвечал токсично – разные параметры токсичности из колонки detoxify отсеяны по порогу не выше, чем 0,4. Порог подобран мануально.

    • датасет представлял собой деревья диалогов с разветвлениями на возможные продолжения. Каждое дерево было разбито на несколько диалогов – на каждый вариант развития диалога. Это значит, что начало диалога может дублироваться несколько раз, но завершение уникально.

    • иногда диалог завершается репликой промптера, а не ассистента. Мы не стали такое убирать, потому что эта последняя реплика может содержать исправление предшествующей реплики ассистента (типа «Ты не прав, я спросил другое…»).

    • в итоге получилось 692 дерева диалогов и из них 2738 диалогов глубиной от 2 до 6 реплик

  • Русскоязычные датасеты, созданные с помощью ChatGPT. Часть была отложена для дальнейшего тестирования.

  • Перевод англоязычных датасетов.

Базовая модель

В качестве базовой модели использовали оригинальную LLama 2 на 70 миллиардов весов, оптимизированную для диалоговых кейсов.

Дообучение

Для дообучения использовались две концепции.

1. Дообучение через адаптеры, а именно LoRA: Low-Rank Adaptation. Суть подхода заключается в том, чтобы вообще не обучать веса исходной базовой модели, а встроить небольшое количество весов параллельно к старым, уменьшая размерность за счёт перемножения двух матриц более низкого ранга.

2. LOMO: LOw-Memory Optimization

   

   В этом подходе предлагается новый оптимизатор, LOw-Memory Optimization (LOMO), который объединяет вычисление градиента и обновление параметра в одном шаге для снижения использования памяти. Этот подход позволяет полностью настраивать параметры модели на 7B на одном Nvidia RTX 3090 (24 Gb VRAM), или модели на 65B на одной машине с 8×RTX 3090.

   Забегая вперед, должны отметить, что работа над вторым подходом еще ведется, и о результатах пока говорить преждевременно. Поэтому в первый релиз пошла модель, обученная с применением только LoRA-адаптеров.

Оптимизация модели для ускорения инференса

Для ускорения производительности модели на инференсе использовали оптимизацию GPTQ, реализованную в этом репозитории.

Методы квантизации (квантования) обычно относятся к одной из двух категорий:

• Пост-тренировочная квантизация (Post-Training Quantization, PTQ): мы квантуем предварительно обученную модель, используя умеренные ресурсы, такие как набор данных для калибровки и несколько часов вычислений.

• Квантование с учетом обучения (Quantization-Aware Training, QAT): квантование выполняется перед обучением или дальнейшей тонкой настройкой (файн-тюнингом, fine-tuning).

GPTQ попадает в категорию PTQ, и это особенно важно для больших LLM, для которых полное обучение модели или даже тонкая настройка может быть очень дорогой как по ресурсам, так и по времени.

В частности, GPTQ использует смешанную схему квантования int4 / fp16, где веса модели квантуются, как int4, а активации остаются в формате float16. Во время инференса веса деквантуются на лету, и фактическое вычисление выполняется в формате float16.

Преимущества этой схемы двояки:

• Экономия памяти, близкая к x4 для квантования int4.

• Потенциальное ускорение, благодаря экономии времени на передачу данных из-за меньшего битового размера, использованного для весов.

Этот подход позволил получить прирост в производительности в среднем в 2 раза по сравнению с 16-битной JustGPT и в 3 раза по сравнению с 8-битной JustGPT.

Тестирование (и почему не Russian SuperGLUE, а своя методика)

Сейчас первое, что приходит на ум в вопросе тестирования русскоязычных LLM — общепринятый бенчмарк Russian SuperGLUE, а также бенчмарк RUCOLA. Это очень хорошая методика, которая позволяет получить объективную оценку модели по большому числу сложных NLP-задач.

Однако в бою наша модель будет решать другие задачи: либо более повседневные, либо специфичные для наших продуктов, в которых мы будем использовать LLM, а также имеющие явно диалоговый характер. И качество их решения (количественное и качественное) нам тоже важно проверить. Также нам важно проверить, что некоторые задачи модель, напротив, не решает.

Более того, методика RSG в основном предполагает, что модель должна дать короткий ответ, вплоть до выбора одной из альтернатив. Это позволяет однозначно и автоматически оценивать ответы генеративных моделей.

Но в реальной жизни им приходится генерировать полные ответы, поэтому нам понадобилось оценивать и саму генерацию. Так как главной целью дообучения JustGPT было научить модель русскому языку, нам было важно оценить, насколько хорошо это удалось.

Модель может быть бесконечно права, что тренировка должна начинаться с разогрева, но в этом меньше толка, если она назвала его «разогрейкой».

Данные и методика

Чтобы проверить всё, что нас интересует, мы собрали небольшой датасет из 200 примеров инструкций на следующие укрупнённые темы:

• креатив: написание текстов разных жанров с заданными условиями,

• написание, интерпретация и исправление кода,

• анализ диалога, суммаризация и QnA,

• эрудиция и общие знания,

• этика и безопасность,

• рассуждение,

• математика и логика,

• перевод,

• русский язык,

• генерация текста со специфическими условиями,

• контрольные вопросы, на которые хорошая модель не должна пытаться ответить без доступа в интернет.

Данные для тестирования были взяты из открытых источников, либо придуманы нами. Мы намеренно остановились на небольшом количестве тест-кейсов: нам нужно проверять не одну модель, а разные её версии в процессе дообучения, чтобы отслеживать прогресс. Это не быстро, поэтому тестовый датасет у нас ориентирован больше не на количество, а на качество. Для ускорения проверки каждого ответа мы получили референсные ответы от GPT-4.

После прогона версии модели на тестовом датасете наступает этап оценки результатов. Тут мы тоже оптимизировали процесс и воспользовались оценкой LLM by LLM.

Промпт для такого тестирования содержал тестовый вопрос, ответ от нашей модели и задачу проверить ответ модели. В качестве ответа LLM-тестировщица должна была вернуть оценку True или False, а в случае последнего — еще и выбрать причину или причины из списка:

• фактологическая ошибка,

• грамматическая ошибка (сюда относились также лексические и синтаксические),

• логическая ошибка,

• отсутствие здравого смысла,

• несоответствие инструкции,

• неэтично или незаконно.

Результаты оценки by LLM проверялись человеком, чтобы отловить ошибки автоматизации. Да и какая качественная оценка генерации может быть без лишней пары глаз? На определенной итерации тестирования мы расширили инструкцию просьбой обосновать неверность ответа, и это тоже существенно ускорило процесс мануальной валидации.

В качестве валидационной LLM мы взяли GPT-4, так как она отлично следует инструкциям к оцениванию и формату ответа. В итоге для каждого тестового прогона мы получали число верных ответов (accuracy) и примерную небольшую статистику по причинам ошибок. Также можно было видеть, какие темы инструкций больше западают.

Чтобы сравниваться не только с моделями OpenAI, мы включили в тестирование самые известные большие языковые модели для русского языка — GigaChat от Сбера и YandexGPT (первой версии, так как по API на момент написания статьи доступна только она).

Условия тестирования:

• GigaChat тестировался с дефолтными параметрами;

• для YandexGPT установили лимит числа токенов генерации 4096, так как остальные две модели не поддерживают максимум этой модели в 7400;

• результаты YandexGPT оценивались с параметром температуры 0.5, так как прогон с дефолтным значением показал заметно менее хорошие ответы;

• YandexGPT предполагает указание instructionText. Мы указали базовый промпт: «Ты — SimpleGPT, русскоязычный автоматический ассистент, созданный в компании SimpleAI. Ты разговариваешь с людьми и помогаешь им».

Результаты

Сразу к цифрам. Количественно результаты JustGPT сопоставимы с YandexGPT и GigaChat: доля верных ответов 146, 143 и 123, соответственно. Важно сказать, что оценку генерации сложно приводить к бинарной шкале, поэтому обязательно надо смотреть на качественную сторону.

Качественно — к последнему тестированию нам удалось существенно полечить Llama 2 от проблем с русским языком, а именно с согласованием и выдумыванием слов, а также с общей стройностью предложений. Например, больше нет «разогрейки» во время тренировок и «амиusing» в списке синонимов для слова «смешной».

Хоть мы еще не догнали идеальный красивый русский язык YandexGPT и GigaChat, JustGPT лидирует в вопросах про использование разных аспектов русского языка — синонимы, морфологический разбор и прочее: 12/13 верных ответа в этой категории.

— Составьте предложение, содержащее два подлежащих и один глагол.

— Я и мой друг играем в футбол.

На различные инструкции про креатив и рассуждение модель дает полные и разнообразные ответы, а на политические и этические вопросы ломается только при использовании ухищрений.

Последний штрих — JustGPT оказалась самой послушной, так как меньше всех получала замечание о несоответствии ответа инструкции при тестировании LLM by LLM.

Тестовые кейсы и результаты тестирований доступны по ссылке. Мы не включили в публичную версию датасета кейсы на проверку безопасности ответов модели по тем же соображениям.

Над чем нам еще предстоит поработать:

• Фактология. Пока что это самая главная причина ошибок, в том числе из-за недостаточного знания российских данных: «НДС — Налоговый доходный статистический отчет», вот так вот. Доля ошибок этого типа примерно с такой же частотой встречалась у YandexGPT, но по существу ошибки при этом менее значимы.

• Место для развития у всех моделей — написание и анализ кода. У JustGPT несколько меньше ошибок при анализе или написании кода по сравнению с другими, но пока ей не хочется доверять так же, как GPT-4 или специально дообученным моделям под эту задачу.

• Скорость инференса. Тут мы не летаем, но мечтаем научиться.

Дальнейшие шаги

Мы любим, что делаем, и делаем, что любим. Поэтому поделимся некоторыми планами на будущее.

To do list:

• Сделать миниверсию JustGPT (в количестве весов) для быстрой проверки гипотез — что хорошо сказывается на обучении, а что плохо.

• Решать проблемы, которые подсветили в результатах оценки качества.

• Сделать критерий, подобный Russian SuperGLUE, для LLM, чтобы оценивать генеративные способности модели, которые лежат в плоскости не только encoder-ных моделей.

• Создать стандартизированный пайплайн обучения для получения доменных LLM на основе JustGPT (JustGPT-bank, JustGPT-telecom и тд) и собрать тренировочные данные для этой цели.

• Работать над оптимизацией и ускорением модели, в том числе для возможности установки в контур компаний.

• Искать возможности расширения окна контекста.

• Ну и конечно, мы будем продолжать работать и над дообучением других моделей, и сравнением результатов!

Где можно протестировать модель и самим сравнить ее возможности с другими LLM на ваших данных? Jay CoPilot (пока по запросу, сейчас мы стартовали программу раннего доступа), с начала следующей недели — в версии Jay для Телеграм. 

Будем рады обратной связи и вашим предложениям!