Когда говорят «LLM в продакшене», часто подразумевают одну модель. Большую. Дорогую. Желательно с логотипом, который не стыдно показать инвесторам.
В реальности продакшен — это не одна модель, а пайплайн из десятка шагов, где каждая модель решает свою задачу. И «лучшая модель» в вакууме там просто не выживает.
В Кэмпе мы пришли к этому не из теории, а из эксплуатации: генератором пользуются тысячи студентов, нагрузка реальная, ошибки сразу видны, а стоимость токенов — не абстракция, а жёсткое ограничение экономики продукта.
Опираясь на свой опыт расскажем, как мы подбираем модели, почему популярные LLM не всегда выигрывают и как в продакшене оказалась Minimax M2 для сборки текста.
Текстовый генератор в Кэмпе — это не чат, а пайплайн из моделей
Начнём с контекста. Кэмп — не «чат с нейросетью», а многошаговый генератор текстов.
Для того, чтобы написать объёмный академический текст мы используем до 10 разных моделей. Они работают по очереди и параллельно:
одна формирует цели, задачи и актуальность;
другая — структуру;
третья — описание глав;
четвёртая — нарративы;
пятая — подводки между разделами;
отдельные модели пишут введение и заключение;
финальная — собирает всё в связный текст.
Каждый шаг — отдельная когнитивная задача. И модель, которая качественно пишет абзац текста, может провалиться на структуре или начать лить воду там, где нужна жёсткая логика.
Поэтому вопрос «какую модель выбрать?» у нас всегда звучит иначе: какую модель поставить на конкретный шаг пайплайна.
Как мы оцениваем модели под конкретные шаги пайплайна
На практике критерий «нравится или не нравится текст» не работает. Мы смотрим на более приземлённые вещи.
Количество воды в тексте
Первое, на что мы смотрим, — насколько текст перегружен общими словами.
Некоторые модели пишут гладко и аккуратно, но при этом почти не двигают мысль. Для академического текста это критично: объём есть, содержания — нет.
Логика и связность рассуждений
Важно, чтобы аргументы выстраивались последовательно и не противоречили друг другу. Хороший текст — это когда понятно, почему здесь появляется именно этот тезис и как из него следует следующий. Если логика «сыпется», модель не подходит, даже если стиль выглядит прилично.
Глубина и осмысленность текста
Поверхностный пересказ темы заметен сразу. Мы смотрим, насколько текст удерживает мысль, раскрывает тему и не ограничивается набором общих формулировок. В идеале аргументация должна выглядеть достаточно убедительной и осмысленной, чтобы её хотелось принять, а не переписать целиком.
Отсутствие машинных артефактов
Речь про отсутствие машинных артефактов: повторов, шаблонных связок, одинаковых конструкций от абзаца к абзацу. Текст должен читаться так, будто его писал живой человек, а не аккуратный, но бездушный генератор.
Предсказуемость результата
В продакшене модель должна вести себя стабильно. Даже если она иногда способна выдать отличный текст, но часто уходит в воду, повторы или ломает логику, с ней невозможно работать на потоке. Нам важно, чтобы качество было воспроизводимым, а не случайным.
Почему самая мощная модель — не лучший выбор для нас
Большие модели почти всегда выигрывают по «красоте» текста. Но в продакшене всплывают другие параметры:
Стоимость токенов
Некоторые шаги — например, работа с источниками — требуют обработки огромного объёма текста. Там физически нельзя поставить дорогую модель: экономика не сойдётся.
Скорость
Параллельная генерация — ключевая часть пайплайна. Медленная модель ломает весь сценарий и увеличивает время ожидания для пользователя.
Нагрузка и стабильность под трафиком
Популярная модель может просто не выдержать трафик. Мы не раз сталкивались с ситуацией, когда отличная модель начинала падать под реальной нагрузкой.
В итоге самая мощная модель часто оказывается избыточной. Она хороша для ассессмента, экспериментов и оценки, но не для постоянной работы на каждом шаге.
Как мы ищем альтернативы через OpenRouter
Когда модель перестаёт проходить детект, не выдерживает нагрузку или просто становится слишком дорогой для конкретного шага, начинается ресёрч.
Мы используем OpenRouter не как витрину моделей, а как рабочий инструмент отбора. В первую очередь — по экономике. Есть ценовой диапазон, в котором продукт вообще может существовать, и за его пределы мы не выходим.
Дальше всё просто: смотрим, какие модели вообще существуют в этом диапазоне, и начинаем тестировать их одну за другой. Не только популярные, но и те, которые обычно даже не рассматривают для текстовой генерации.
К этому моменту «очевидные» варианты, как правило, уже исчерпаны. GPT, Gemini, DeepSeek, Qwen либо не проходят детект, либо не укладываются в стоимость, либо ведут себя нестабильно под реальной нагрузкой. Поэтому поиск довольно быстро превращается в перебор нетривиальных решений — без ожиданий, что следующая модель даст качественный скачок.
Именно в таком режиме и находятся рабочие кандидаты.
Кейс Minimax M2: почему в продакшене побеждают нетривиальные модели
Minimax M2 — не та модель, которую обычно рассматривают для генерации академических текстов. Она известнее в других сценариях и редко попадает в «первый круг» при выборе LLM.
Мы тестировали её без особых надежд — ровно так же, как и остальные альтернативы. На практике она показала себя лучше конкурентов в тех условиях, которые для нас были критичны:
текст выглядел более «человечным», без явных машинных повторов;
модель на тот момент стабильнее проходила AI-детект;
стоимость позволяла использовать её в продакшене без перекоса экономики.
Важно, что речь не шла о поиске идеальной модели. Нам нужна была модель, которая лучше остальных решает конкретную задачу здесь и сейчас. Minimax M2 с этим справилась — и этого оказалось достаточно, чтобы поставить её в пайплайн.
Итог: продакшен убивает миф о «лучшей модели»
За время эксплуатации генератора мы пришли к довольно приземлённому выводу:
искать «лучшую модель» — бесполезно.
В реальном продукте модель всегда существует в системе ограничений:
у неё есть конкретная задача в пайплайне;
есть предел по стоимости токенов;
есть требования к скорости и стабильности под нагрузкой;
есть внешние факторы вроде AI-детекта, которые меняются со временем.
Модель, которая выглядит «лучшей» в вакууме, часто оказывается неподходящей уже на следующем шаге — из-за цены, латентности или нестабильного результата. Поэтому выбор модели в продакшене — это не соревнование бенчмарков, а постоянная калибровка под текущие условия.
Практически это выглядит так: мы подбираем модель не в систему, а под конкретный шаг, понимая, какие компромиссы допустимы именно здесь. Если условия меняются — модель тоже меняется. Иногда на менее известную, иногда на более простую, но более предсказуемую.
Классно же, когда всё стабильно работает сегодня и не ломает продукт завтра.