Продолжение. В первой статье мы протестировали 30 нейросетей на задачах для российских учителей. Российские модели заняли последние места. Но строчка #9 — наша: дообученная модель за ~30 000₽, которая работает локально. Вот как мы её сделали.

Зачем вообще дообучать

В комментариях к первой статье справедливо спросили — почему российские модели плохи? GigaChat-2 Max набрал 2.39 из 4, YandexGPT 5.1 Pro — 2.51. Ответ простой: в обучающей выборке этих моделей мало российских школьных задач, они оптимизированы под чат, не под образовательную деятельность.

Та же проблема у GPT-5.4 — он набрал 3.2 из 4. Хорошо, но не лучший вариант, он знает, что такое урок, но не знает, как его правильно оформить по российскому стандарту.

Вторая причина практическая. По 152-ФЗ российские школы не могут использовать иностранные облачные модели для работы с данными учеников. Нужно что-то, что можно развернуть локально.

Выбор базовой модели

Мы выбрали Qwen3.5-27B — открытую модель от Alibaba.

Почему именно она:

Тюркские языки важны, потому что в бенчмарке есть Модуль D — ChuvashBench (чувашский язык, тюркская группа). Модель, которая видела турецкий и казахский, лучше отработает на чувашском.

Почему 27B победила 32B

Это было неожиданно. Мы параллельно обучили две модели:

32B модель показала лучший training loss (ниже = лучше), но на реальных задачах проиграла на 0.52 пункта. Потратили на неё почти в 3 раза больше GPU-времени и получили результат хуже.

Причина: Qwen3.5 — более новая архитектура, чем Qwen3. Даже при меньшем количестве параметров она лучше работает с русским языком и структурированными задачами. Урок: архитектура важнее размера.

Данные: 30 000 рублей за 30 000 пар

Дообучение — это прежде всего данные. Нет хорошего открытого датасета для российского образования. Пришлось создавать с нуля.

Подход: CRAFT (Corpus Retrieval and Augmented Fine-Tuning, ACL 2025). Суть: берём реальные образовательные материалы как затравку → генерируем на их основе пары “запрос-ответ” с помощью сильных моделей.

Затравочные данные (все открытые):

• MMLU-RU — 14K вопросов, 57 предметов

• MERA — 80K+ задач (ruworldtree: 640 экзаменационных вопросов по классам)

• gsm8k-ru — 8.7K математических задач

• Параллельный чувашско-русский корпус — 1.46M пар

• Технологические карты от учителей-пилотов (200+ планов)

• EduBench-RU промпты (50 задач) как шаблоны

Генерация:

Batch API экономит ~50% стоимости. 20 000 образовательных пар сгенерировались за 40 минут при Tier 4 лимитах.

Фильтрация: Минимальная — дедупликация по сходству слов (Jaccard >0.85). Удалили 16 дубликатов из 30 000 (0.05%). Не использовали LLM-фильтр: фильтровать выходы Sonnet 4.6 (#5 в нашем бенчмарке) с помощью модели слабее — бессмысленно. Контроль качества — по итогам обучения, на бенчмарке.

GPU-время: Обучали на арендованном H200 (пример - Vast.ai, ~$3.80/час). QLoRA на 27B модели заняла ~6 часов.

GPU-аренда — это ~7% бюджета. Основные расходы — генерация данных.

Обучение: QLoRA за 17 часов

QLoRA (Quantized Low-Rank Adaptation) — дообучаем не всю модель, а маленькие адаптеры поверх неё. Это позволяет обучить 27B модель на одной GPU.

Конфигурация:

• Метод: QLoRA, rank 64, alpha 128

• GPU: NVIDIA H200 (80GB HBM3e)

• Время: ~6 часов (27B) / ~16 часов (32B)

• Фреймворк: Unsloth (ускоряет обучение LoRA ~2×)

• Формат данных: ShareGPT (conversation format)

• Сплит: 28 484 train / 1 500 val (95/5)

Результат: строчка #9

EduLLM-RU 27B заняла 9 место из 30 моделей с баллом 3.21 из 4.

Для контекста — вот окружение:

Важная оговорка: разница с GPT-5.4 — 0.01 балла. Это на грани статистической погрешности, говорить, что мы “обогнали GPT-5.4” — технически верно, но честнее сказать: мы вышли на один уровень. Разница в том, что подготовка нашей модели стоила 30 000 рублей и работает локально, а GPT-5.4 — нет.

По отдельным модулям:

На образовательных задачах (Модули A-C) мы немного впереди. На чувашском — GPT-5.4 лучше. Дообучение на чувашский — следующий этап.

Что пошло не так

1. 32B провалилась. 45 часов обучения, всё выглядело хорошо по training loss — а на бенчмарке проиграла 27B на полбалла. Потерянные сутки GPU-времени.

2. max_tokens ловушка с Gemini. При оценке моделей через Gemini 3.1 Pro, если поставить max_tokens: 512 — JSON обрезается, потому что reasoning tokens съедают бюджет. Поставили 4096, чтобы получить надёжный вывод.

3. Судьи при оценке не согласны друг с другом. GPT-5.4 стабильно ставит выше за “actionability” (конкретные шаги), Gemini строже к фактической точности. Разброс ±0.3 балла на одной и той же работе — поэтому мы используем консенсус трёх судей, а не одного.

4. Чувашский язык. Нет автоматического gold standard для проверки. Валидация требует носителей языка. Пока проверяем вручную — это не масштабируется.

Как это работает в реальной школе

Модель готовится к развертыванию на csylabs.com — планируется приватный инстанс на серверах Selectel. Данные не уходят за пределы российской инфраструктуры: это принципиальное требование по 152-ФЗ для школ. Сейчас в тесте работают несколько учителей в пилотном режиме.

Что они делают:

• Подготовка заданий для ОГЭ

• Адаптация материалов под разный уровень учеников

• Консультация по формулировкам характеристик

Чего модель не делает (и это нормально):

• Не проверяет тетради (справедливо отметили в комментариях к первой статье — это задача компьютерного зрения, до неё далеко)

• Не заменяет учителя (относится и к первому пункту)

Что дальше

1. Qwen3.5-9b — в комментариях попросили протестировать. Добавим в следующий раунд. Интересно, как маленькая модель нового поколения покажет себя на специализированных задачах, в идеале попробовать и версию 3.6.

2. Чувашский LoRA — отдельный адаптер на ту же базу. Цель: закрыть разрыв в 0.18 балла с GPT-5.4 на Module D.

3. Расширение бенчмарка — задачи ближе к ежедневной рутине учителя: генерация вариантов контрольных работ, адаптация учебника и конкретного урока под стиль преподавателя, составление отчётности.

4. Открытые данные — если получится договориться с институтами (ЧГИГН, ЧГУ), опубликуем обучающий датасет, пока он синтетический. Готовимся разворачивать EduLLM-RU для школ и вузов по открытой методологии — csylabs.com/llm-integrator.

Бенчмарк: github.com/csylabs-org/edubench-ru

Если у вас есть школа, которая хочет попробовать — напишите. Ищем пилотные площадки.

Я — основатель ООО ЛИИ (Лаборатория инновационных инициатив). Пишу в @techaroundsports и на daniel.csylabs.com.