Supervised fine-tuning (SFT) — это методика, применяемая для адаптации предварительно обученных Large Language Model (LLM) под конкретную задачу при помощи размеченных данных.


В процессе SFT предварительно обученные LLM подвергаются fine-tuning на основе размеченного датасета при помощи методик обучения с учителем. Веса модели выравниваются на основании градиентов, полученных из функции потерь конкретной задачи, измеряющей разность между прогнозами LLM и эталонной разметкой.

Этот процесс позволяет модели обучаться паттернам и нюансам конкретной задачи, адаптируя её параметры в соответствии с распределением конкретных данных и требований задачи.

SFT, обычно выполняемый после предварительного обучения модели, применяется для того, чтобы научить модель следовать переданным пользователем инструкциям. Он более вычислительно затратен, чем fine-tuning без учителя, но и имеет больше шансов достичь повышенной точности.

Объём необходимого дообучения зависит от сложности задачи и размера датасета. В случае простого переноса стиля с использованием моделей OpenAI наподобие GPT-3.5 или GPT-4 для получения превосходных результатов обычно достаточно 30-50 высококачественных примеров.

Чтобы преобразовать базовую Large Language Model (LLM) в выполняющую инструкции LLM (например, превратить Mistral в Mistral Instruct), обычно требуется обучение на десятках тысяч примеров.

Дообучение Zephyr 7b выполнялось на 16 GPU Nvidia A100 в течение примерно четырёх часов. Это можно считать примером отправной точки для модели с 7 миллиардами параметров.

Как работает supervised fine-tuning?

Supervised fine-tuning — это трёхэтапный процесс, применяемый в ИИ и LLM для оптимизации моделей под конкретные задачи.

1. Этап 1: предварительное обучение — базовая (фундаментальная) модель изначально обучается на большом датасете, учась понимать паттерны, грамматику и контекст языка, предсказывая следующее слово в текущем контексте. Этот этап помогает модели разработать обширное понимание языка.
2. Этап 2: разметка данных — подготавливается датасет, используемый для дообучения. Каждый пример данных размечается правильными выходными данными или ответом. Эти размеченные данные крайне важны для обучения с учителем (supervised learning), потому что ими модель руководствуется при выравнивании своих параметров в процессе файнтюнинга.
3. Этап 3: fine-tuning — затем предварительно обученная модель обучается на датасете конкретной задачи с размеченными данными. Модель выравнивает свои параметры, чтобы повысить точность выполнения этой конкретной задачи. Такими задачами могут быть классификация текстов, анализ интонации текста и даже системы ответов на вопросы.

Используется термин supervised («с учителем»), потому что в этом процессе для управления обучением применяются размеченные данные, в которых верные выходные данные известны заранее. Эта методика повышает точность модели благодаря применению широкого понимания языка, полученного при предварительном обучении, к узкой, специфической задаче во время дообучения.

Преимущества supervised fine-tuning

Supervised fine-tuning (SFT) — это мощная методика, используемая для адаптации предварительно обученных LLM под конкретные узкие задачи при помощи размеченных данных. Supervised fine-tuning обладает следующими преимуществами:

• Специфичные для задачи паттерны и нюансы — SFT позволяет модели учиться паттернам и нюансам задачи, адаптируя свои параметры под распределение конкретных данных и требования задачи.
• Повышение точности — fine-tuning предварительно обученной модели позволяет использовать знания и представления, изученные на больших объёмах данных, что повышает точность выполнения более узких задач.
• Эффективность применения данных — SFT можно применять к широкому спектру реальных областей использования, даже если количество размеченных примеров ограничено, что позволяет задействовать данные эффективнее.
• Эффективность использования ресурсов — fine-tuning предварительно обученных моделей позволяет существенно экономить время и вычислительные ресурсы, которые бы требовались для обучения модели с нуля.
• Настройка — SFT позволяет адаптировать поведение LLM, стиль письма или знания предметной области под специфические нюансы, интонации или терминологии, обеспечивая глубокое выравнивание с конкретными стилями или областями знаний.
• Снижение переобучения — во время fine-tuning можно применять такие технологии, как early stopping, dropout и data augmentation, чтобы снизить риск переобучения на небольших датасетах или стимулировать обобщение модели под новые данные.

Распространённые способы supervised fine-tuning

Среди популярных способов supervised fine-tuning для LLM можно упомянуть LoRA (Low-Rank Adaptation) и его вариант с эффективным использованием памяти QLoRA (Quantized LoRA). Эти способы относятся к семейству Parameter-Efficient Fine-Tuning (PEFT), нацеленному на повышение эффективности и доступности fine-tuning.

В методике fine-tuning LoRA применяется низкоранговое разложение с целью представления обновления весов в виде двух матриц меньшего размера, что снижает количество обучаемых параметров и делает fine-tuning более эффективным. Эта методика в некоторых ситуациях превосходит по показателям полный fine-tuning, избегая при этом катастрофического забывания — явления утери при fine-tuning знаний, полученных во время предварительного обучения.

• LoRA (Low-Rank Adaptation) — методика fine-tuning с эффективным использованием параметров, использующая низкоранговое разложение.
• QLoRA (Quantized LoRA) — вариант LoRA с эффективным использованием памяти, ещё больше снижающий требования к памяти при fine-tuning моделей LLM.

Распространённые проблемы supervised fine-tuning

Самые распространённые проблемы supervised fine-tuning больших языковых моделей:

• Переобучение — происходит, когда модель становится слишком специфичной относительно данных обучения, что приводит к неоптимальному обобщению на неизвестных ей данных. Эта проблема часто встречается в машинном обучении и может также возникать в процессе дообучения моделей LLM.
• Настройка гиперпараметров — выбор неподходящих гиперпараметров может привести к медленному схождению, плохому обобщению или даже к нестабильному обучению. Освоение искусства настройки гиперпараметров может быть крайне сложным, вынуждая тратить время и ресурсы.
• Проблемы с качеством данных — fine-tuning сильно зависит от качества переданных LLM данных. Нехватка знаний у модели или в источнике данных может привести к плохим результатам дообучения.
• Катастрофическое забывание — это явление возникает, когда fine-tuning предварительно обученной модели заставляет её забыть ранее изученное знание, приводя к нестабильности процесса fine-tuning.
• Колеблющаяся точность — fine-tuning LLM иногда может привести к колеблющейся точности в пограничных случаях или неспособности уместить достаточное количество промтов few-shot в контекстное окно для управления моделью.

Для решения распространённых проблем supervised fine-tuning моделей LLM используется множество разных стратегий. Настройку гиперпараметров можно автоматизировать при помощи таких методик, как поиск по сетке (grid search) или байесовская оптимизация, которые, по сути, исследуют пространство гиперпараметров для обнаружения оптимальных конфигураций. С переобучением и катастрофическим забыванием можно бороться при помощи таких методик, как дистилляция знаний (knowledge distillation). Критически важно также обеспечить качество и релевантность данных. Наконец, следует выполнять мониторинг и оценку процесса fine-tuning при помощи постоянного анализа ошибок и итеративного совершенствования.

Вопросы и ответы

В чём разница между supervised fine-tuning и unsupervised fine-tuning?

Supervised fine-tuning улучшает предварительно обученную модель при помощи размеченных данных, передавая ей для обучения явные примеры пар входных и выходных данных. Такой целенаправленный подход часто обеспечивает повышенную точность, но требует больше вычислительных ресурсов из-за сложности минимизации функции потерь.

При unsupervised fine-tuning размеченные данные не используются, вместо них задействуется внутренняя способность модели выявлять паттерны и структуры в данных. Эта методика менее затратна вычислительно, но может и не достичь уровней точности методик с учителем из-за отсутствия прямой обратной связи.

Решение о выборе между supervised и unsupervised fine-tuning зависит от конкретной задачи, доступности размеченных данных, бюджета вычислительных мощностей и требований к точности. Supervised fine-tuning обычно выбирают в случае необходимости максимальной точности, а unsupervised fine-tuning — в случае ограниченности ресурсов или недоступности размеченных данных.

Чем supervised fine-tuning отличается от трансферного обучения?

Хотя в обеих методиках выполняется адаптация предварительно обученной модели под новую задачу, supervised fine-tuning обычно требует размеченных данных и делает упор на выравнивание весов модели под эти данные. В трансферном обучении в качестве отправной точки тоже возможно использование предварительно обученной модели с обучением её на новом датасете, который может быть и не размечен.

Можно ли supervised fine-tuning применить к любой LLM?

Теоретически да. Однако эффективность fine-tuning может зависеть от таких факторов, как размер LLM, качество и количество данных для fine-tuning и схожесть между задачами предварительного обучения и целевой задачей.

Что позволяет избежать переобучения при supervised fine-tuning?

Рекомендуется использовать такие методики, как dropout, early stopping и data augmentation, а также тщательно выбирать гиперпараметры и применять способы регуляризации. Также важно применять датасет валидации, чтобы выполнять мониторинг точности модели и не позволять ей обучаться шуму из данных обучения.

Как замерить успех supervised fine-tuning?

Мерилом успеха supervised fine-tuning являются различные метрики оценки, определяющие точность модели на тестовом датасете, с которым она не работала во время обучения. В качестве стандартных метрик применяются accuracy, precision, recall и F1 score, однако в конечном итоге способы оценки LLM зависят от целей fine-tuning и сути задачи.

Понравилась статья? Еще больше контента на темы разметки, Data Mining и ML вы можете найти в нашем Telegram канале “Где данные, Лебовски?”

• Как подготовиться к сбору данных, чтобы не провалиться в процессе?
• Как работать с синтетическими данными в 2024 году?
• В чем специфика работы с ML проектами? И как разметить 1500 пузырьков руды на одном фото и не сойти с ума?

Обо всем этом читайте в “Где данные, Лебовски?”