Главный секрет эффективности Mixture of Experts (MoE) по сравнению с Dense-моделями кроется в их разреженности: экспертов в пуле гигантское количество, но на генерацию каждого конкретного токена активируется лишь крошечная их часть.

Например, Qwen3.8-Flash-Next насчитывает 125 миллиардов параметров и 24 576 экспертов, но на один токен задействуется всего около десятка. Обычная же Dense-модель аналогичного размера обязана вычитывать из памяти абсолютно все веса на каждом шаге. Именно эта архитектурная особенность MoE моделей и позволила в конечном счете запускать большие модели на потребительском железе.

Не смотря на то что MoE использует небольшую часть своих экспертов хранить нужно все веса, ведь разреженность сокращает вычисления на токен, но не байты, которые нужно держать для работы модели. Но что, если сделать для модели иерархию памяти, как у процессора с кэшами?

Именно это и сделал проект Strata:

• L1 кеш: в видеопамяти лежат слои внимания, DeltaNet, роутеры, наиболее востребованные эксперты, MTP-слой, KV-кэш и кэш самых используемых экспертов.

• L2 кеш: в оперативной памяти лежат все 24 576 экспертов, с которыми процессор работает параллельно GPU.

• L3 кеш: на диске лежит таблица n-gram размером несколько десятков гигабайт. Поскольку на один токен оттуда запрашиваются буквально считанные строки, скоростей SSD хватает с головой.

Подобные гибридные схемы пытались внедрять и раньше, но они традиционно утыкались в пропускную способность PCIe-шины. Strata решила эту проблему: если нужного эксперта не оказалось в VRAM, его не гоняют по медленной PCIe-шине, а задействуют прямо в оперативной памяти с помощью CPU.

При таком подходе объем видеопамяти по-прежнему критически важнее чистой вычислительной мощности GPU: каждый дополнительный гигабайт VRAM позволяет разместить в быстром кэше примерно 700 дополнительных экспертов. При этом остальное железо (проц, память, диск) начинает активно участвовать в вычислениях.

Прелесть этого подхода еще и в том, что ставшие уже стандартными оптимизации вроде MTP (Multi-Token Prediction) и предсказания/подгрузки экспертов следующего слоя параллельно с обсчетом внимания текущего здесь тоже вовсю работают.

Я не буду подробно останавливаться на установке (в одну команду) и настройке (пошаговым мастером настройки стрелками и кнопкой ввода). Лучше разберу, что конкретно предлагается, а также насколько быстро и качественно оно работает.

На текущий момент проект поддерживает запуск трех моделей: Qwen3.8-Flash-Next, Qwen3.6-35B-A3B и DeepSeekV4.1-Flash-1017. Среднюю модель мы опустим как наименее интересную, а на двух флагманах остановимся подробнее.

Наиболее качественные кванты этих моделей на текущий момент предлагает лаборатория распределенных алгоритмов и систем при Австрийском институте науки и технологий.

Лаборатория специализируется на усовершенствовании GSQ/RCO методов квантования и выкладывает результаты исследований на HuggingFace. Предложенные ими методы квантования позволяют существенно сжать модели с минимальными потерями качества.

При этом выбор оптимального кванта теперь привязан не столько к чистой VRAM, сколько к суммарному объему видео- и системной памяти. Минимальные пороги входа для использования их квантов выглядят следующим образом.

Для Qwen3.8-Flash-Next (180B):

Для DeepSeekV4.1-Flash-1017 (763B):

Более детально о выборе квантов под ваше железо можно почитать здесь. Если суммарного объема памяти меньше, то это не значит что ничего не запустится. Запустится, но работать будет медленнее. Ориентиры (из интернета) по скорости следующие.

Qwen3.8-Flash-Next (180B):

Мой замер: IQ3_S квант на RTX A6000 48GB + 128GB RAM и Threadripper 3970X с 256К контекстом выдает 150 токенов в секунду.

DeepSeekV4.1-Flash-1017 (763B):

Мой замер: IQ2_XS (2.25 bpw) квант на RTX A6000 48GB + 128GB RAM и Threadripper 3970X с 256К контекстом выдает 30 токенов в секунду.

Такая скорость получается за счет агрессивного квантования, но т.к. кванты имеют разную точность по разным слоям стало возможно добиться следующего уровня качества: IQ3_S сохраняет 90,0%, IQ3_XXS 87,3%, IQ2_XS 85,0%, Q2_0 84,1%, а UD-Q4_K_XL 94,1% от базовой BF16 модели.

К сожалению, подобная агрессивная оптимизация движка под кванты сделала невозможным запуск моделей других архитектур и семейств, поэтому появился форк Strata под названием Project Maya.

Он позволяет запускать GLM-5.3-Flash (321 B), DeepSeek-V4.1-Flash-1017 (748 B) и MiniMax-M3.1-Flash (428 B). Мы рассмотрим GLM-5.3-Flash (321 B) т.к. она поставлется в аблитерированном (uncensored) варианте и является хорошим вариантом для реверс инжиниринга, а контекст до 1M делать действительно долгие сессии без сжатия контекста.

Авторы выпустили собственные кванты:

Минимум для запуска: 32GB RAM

Скорость (из интернета):

Мой замер: Maya-M квант на RTX A6000 48GB + 128GB RAM и Threadripper 3970X на 1M контексте выдает 28 токенов в секунду.

Итог

Концепция иерархичной памяти в сочетании с узкоспециализированными движками и MTP ускорением доказала свою состоятельность. Qwen-125B на RTX 5070 с 12 ГБ VRAM выдает десятки токенов в секунду, а GLM-321B уверенно запускается на одной RTX 3090, обеспечивая 20–35 ток/с. Подход отлично масштабируется: даже DeepSeek-748B физически помещается на потребительском железе, пусть и выдавая скромные (пока что) 4–6 ток/с.

Однако за этот прорыв приходится платить: в ход идут агрессивные квантования до 2–3 бит, 64–128 ГБ быстрой оперативной памяти и быстрые NVMe-накопители.

Вопрос “Влезет ли модель?” уходит в прошлое. Теперь задается другой вопрос: “Сколько битов квантования вы готовы сбросить ради скорости?”, и у каждого пользователя здесь будет свой ответ.

Мы вступаем в эру ИИ-специализации: рынок постепенно отходит от универсальных облачных гигантов в сторону узкоспециализированных решений.

Не смотря на это модели общего назначения удерживают свою актуальность за счет точечной оптимизации квантования и продвинутых движков инференса, проходя путь от облачных решений до локальных вариантов на потребительских ПК. И эта тенденция не может не радовать.