Привет, Хабр!
Меня зовут Роман, я NLP-инженер в Сбере. Занимаюсь мультиагентными системами и работаю с LLM в проде. Сегодня расскажу про одну из самых интересных статей июня по версии Huggingface Daily Papers — Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning.

TL;DR

Авторы предлагают простой, но мощный метод: если первая попытка модели провалилась, она должна написать краткую саморефлексию, а затем сделать повторную попытку. Если она успешна — награду получают только токены саморефлексии.

Для этого используется модифицированный GRPO (Group Relative PPO), где все токены, кроме self-reflection, маскируются. Оценка правильности — через бинарный верификатор, которому не нужен ground truth.

Итог: максимальный прирост 18.1 п.п. на tool-calling задачах (APIGen) и 34.7 п.п. на арифметике (Countdown). Для 1.5–7 B моделей техника работает наиболее впечатляюще: они превосходят по качеству >70B модели. Без катастрофического забывания и с затратой ≈ 2 тысячи RL-шагов на 4–8 × H100.

При всей простоте метод закрывает проблему при работе с маленькими моделями, строгим форматом и отсутствием датасета с полной разметкой.

Зачем всё это нужно?

В таких задачах как Tool / API-calling в фиксированном формате, генерация кода и подобных изменение одного символа в ответе может привести к неверному решению. И именно здесь проявляется сразу несколько «узких мест», которые авторы пытаются устранить.

В реальном процессе для таких задач мы можем встроить бинарный верификатор (например, проверка корректности json). Задача состоит в том, чтобы поставить ответу метку «верно/неверно», при этом правильный ответ знать необязательно.

Основная идея подхода — отдать награду только там, где она действительно влияет на ответ. Модель формулирует краткую саморефлексию после ошибки. Бинарный верификатор оценивает, привела ли эта мысль ко второму успешному решению. Если да — положительный градиент получает только текст рефлексии. Так мы превращаем каждую прод-ошибку в обучающий пример без ручной разметки. Не рискуем переобучить модель на конкретных числах или аргументах — лишь улучшаем её умение анализировать собственные ошибки.

Таким образом, бинарный верификатор становится бесплатным поставщиком данных для постоянного самообучения модели — без разметки людей.

Как это работает?

1. Модель делает первую попытку решить задачу.

2. Если провал — она генерирует короткую рефлексию.

3. Снова пробует — с рефлексией и первой попыткой в контексте.

4. Если вторая попытка успешна → reward получают только токены рефлексии.

Модель учится анализировать ошибки, а не просто угадывать ответ. Это позволяет дообучаться даже без разметки и не ломать знания на других задачах.

Формально, GRPO-advantage вычисляют так:

Пример работы на математическом примере:

Датасеты

Для каждого запроса сэмплировали около 64 ответов, сохранили только ошибочные ответы перед основным прогоном для экономии ресурсов.

Эксперименты

Основной метрикой рассмотрим изменение точности между «сырой» моделью (vanilla pass@2) и обученной с предложенной техникой (RL pass@2).

Для маленьких моделей средний прирост особенно впечатляет. Относительно простая (но нельзя сказать, что недорогая — 8 x H100 есть не у всех) техника очень сильно добавляет процентные пункты.

Количественные результаты

Здесь я оставил маленькие модели, потому что они представляют наибольший практический интерес. Для больших моделей несложно предложить более эффективную технологию повышения качества (по крайней мере на этих двух датасетах), а дообучение в сравнении с маленькими моделями сильно дороже.

Function Calling (APIGen, 12k):

Math Countdown (15 k)

Видно, что после применения авторского подхода растет качество при первом проходе. Это полезно, потому что в прод-решении мы хотим минимизировать количество вызовов модели для получения финального решения (минимизация расходов).

Ключевые наблюдения и анализ ошибок

Vanilla рефлексии — длинные, многословные, дублируют промпты. После GRPO — в 2–3 раза короче, без повторов, прямо указывают ошибку.
Лучшая единичная дельта — +34.8 п.п. (10.2 % → 45.0 %) у Qwen-2.5-1.5 B на Countdown. 
Qwen-2-7B Instruct после Reflect, Retry, Reward опережает Qwen-2-72B Instruct (в 10 раз больше!) без обучения на tool-calling (77.3 % vs 73.7). 

Катастрофического забывания нет: MMLU-Pro, GSM8K, HellaSwag, MATH просели не более чем на 1 п.п.

APIGen: у 1.5 B-модели ошибки выбора инструмента падают с 33.9% до 21.3%. Countdown: у той же 1.5 B-модели доля «неправильных чисел» снижается с 73.7% до 34.3%.

Better Self-Reflections

Размышления моделей без дообучения длинные и избыточные, а дообученные генерируют более короткие и обобщаемые размышления.

Гиперпараметры

Параметры не вызывают особых вопросов, можно обратить внимание на вычислительные ресурсы. Может показаться, что кластер 4-8 x H100 не выглядит бюджетным, но тут важно отметить, что эти ресурсы нам нужны только на этапе дообучения. Для инференса маленьких моделей, на которые авторы делают акцент в своей работе, необходимо гораздо меньше ресурсов (в пересчете на один инстанс модели).

Ограничения

Метод требует бинарного верификатора. Для более сложных задач может понадобиться judge-LLM, что может требовать дополнительных ресурсов. И так как judge-LLM должна быть сильнее, чем базовая модель, то тут подход уже выходит за рамки бюджетного. Во время инференса придется либо разворачивать вторую (более тяжелую) модель, либо тратить деньги (и жертвовать приватностью) на API.

При этом GRPO-обучение крупных моделей (> 8B) осложняется вычислительной эффективностью.

Вывод

Обучая модель улучшать саморефлексию, а не конкретный ответ. Авторы достигают значительного прироста на задачах APIGen и Countdown без катастрофического забывания и демонстрируют, что меньшие модели (1.5–7 B) после RRR обгоняют 10× более крупные «сырые» модели. Метод требует лишь бинарного верификатора, что делает его применимым там, где проверка ответа проста.

Подход действительно интересный, хотя и кажется достаточно простым. Лично мне хотелось бы еще увидеть сравнения с обычным GRPO без рефлексии. Хочется точно увидеть, что мы не получим такой же прирост без дополнительной рефлексии от модели.

Еще фиксация только на двух датасетах (двух достаточно узких типах задач) кажется недостаточной. Можно попробовать как в недавней Absolute Zero: Reinforced Self-play Reasoning with Zero Data более сильной моделью генерировать задачи и проверять эту синтетику бинарным верификатором. В прод-решении мы можем генерировать синтетику на основе реальных логов, получая доступ к более сильной модели по API, либо (для приватности) поднимать более тяжелую модель на тех же 4-8 x H100.

Спасибо, что дочитали! Пишите свои мысли в комментарии ↓

Автор статьи: Потемин Роман, магистрант AI Talent Hub.