На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду.
Эксперимент проводили на Kubernetes-кластере с четырьмя NVIDIA A100 по 80 ГБ. У каждого участника был собственный кластер, на котором можно было разворачивать модели, менять конфигурацию и измерять производительность. Помимо квантизации, на занятии разбирали NVIDIA Dynamo, маршрутизацию запросов с учётом KV-кеша, автоматическое масштабирование и разделение prefill/decode между GPU.
Материал основан на статье инженера Siim Tolk, опубликованной 4 ноября 2026 года.
Как проходил воркшоп
Занятие состоялось 20 октября, за день до основного выступления NVIDIA на GTC Berlin. Его проводили архитекторы NVIDIA Amit Kushwaha и Yesika Ramirez Cardenas. С 9:00 до 16:00 участники прошли три практических блока, каждый из которых начинался с короткой лекции и продолжался работой с кластером.
Каждому предоставили GPU-сервер с четырьмя A100 80 GB и готовым окружением Kubernetes. В нём уже были установлены NIM и Dynamo Operators, Envoy Gateway, Prometheus, Grafana и DCGM Exporter. Практическая часть включала 14 Jupyter-ноутбуков, суммарно около 270 ячеек кода. Участники запускали настоящие модели, создавали нагрузку и анализировали метрики инференса.
Первый эксперимент: BF16 против FP8
Начали с gpt-oss-20b, модели с архитектурой Mixture of Experts. Её развернули через NVIDIA NIM, измерили время холодного старта, а затем проверили параметры API, влияющие на генерацию: reasoning effort, streaming, температуру, максимальное количество токенов и JSON mode. Отдельно измеряли время до первого токена.
Следующий эксперимент проводили на Qwen3-32B. Модель запустили в двух вариантах, BF16 и FP8, после чего сравнили их производительность через NVIDIA AIPerf. В тесте Siim Tolk на каждый вариант пришлось по 240 запросов.
Результаты получились следующими:
Метрика |
BF16 |
FP8 |
|---|---|---|
Среднее время между токенами |
61 мс |
42 мс |
Скорость генерации для пользователя |
16,4 токена/с |
24,5 токена/с |
Общая пропускная способность |
639 токенов/с |
719 токенов/с |
Скорость генерации для одного пользователя выросла на 49,4%, общая пропускная способность на 12,5%. Разница между показателями связана с тем, что скорость отдельного потока и суммарная производительность при конкурентных запросах зависят от разных факторов, включая батчинг, использование памяти и характер нагрузки.
В BF16 для представления веса используется 16 бит, в FP8 только 8. Это позволяет уменьшить объём данных, которые нужно хранить и передавать. В зависимости от реализации квантизация может снизить требования к видеопамяти и ускорить инференс.
Есть нюанс с оборудованием. A100 не поддерживает нативные FP8 Tensor Cores, появившиеся в более новых архитектурах NVIDIA. Поэтому само обозначение FP8 ещё не говорит о том, какие именно вычисления выполнялись в восьмибитном формате. Подробности реализации в исходной статье не приведены, как и результаты проверки качества ответов после квантизации.
Полученные 49,4% относятся к конкретной конфигурации Qwen3-32B и нагрузочному тесту. Для другой модели или GPU результат может существенно отличаться. После этих экспериментов участники перешли к метрикам vLLM в Prometheus и Grafana.
Один API для нескольких моделей
Во втором блоке участники настроили Envoy AI Gateway перед тремя моделями. Вместо отдельных API-адресов для каждой модели получился один endpoint с маршрутизацией по имени модели.
Похожую идею можно увидеть в мультимодельных чатах вроде AnyLLM: пользователь выбирает нейросеть в одном интерфейсе, а запрос направляется нужной модели. На воркшопе разбирали серверную сторону такого подхода, включая маршрутизацию, управление доступом и учёт токенов.
К шлюзу добавили API-ключи, ограничение расхода токенов, учёт использования, повторные попытки при ошибках, circuit breakers и постепенное обновление моделей. Всё это настраивалось через Kubernetes и Envoy.
Почему Gateway API вместо Ingress
Kubernetes больше не развивает Ingress API и рекомендует для новых сценариев Gateway API. Существующий Ingress продолжает поддерживаться, но новые возможности в его спецификацию уже не добавляют.
Ingress позволяет маршрутизировать HTTP-трафик по доменам и путям. Более сложные сценарии часто требуют специальных аннотаций, зависящих от конкретного контроллера. В Gateway API такие возможности предусмотрены непосредственно в спецификации. Например, можно отправить 5% запросов на новую версию модели или настроить маршрутизацию по HTTP-заголовкам и параметрам запроса.
Конфигурация разделена между несколькими ресурсами. GatewayClass определяет реализацию, Gateway описывает точку входа, а HTTPRoute задаёт правила маршрутизации. Envoy Gateway реализует эту спецификацию на базе Envoy Proxy, а Envoy AI Gateway добавляет функции для обслуживания LLM, включая маршрутизацию по моделям и ограничения токенов.
Почему лучше ограничивать токены, а не запросы
В обычном REST API часто ограничивают количество запросов в минуту. С LLM такой подход не всегда удобен, поскольку запрос с контекстом на 10 тысяч токенов может потреблять намного больше ресурсов, чем десять коротких запросов.
Envoy AI Gateway умеет учитывать токены, а Envoy Gateway применяет лимиты через механизм global rate limiting. В конфигурации воркшопа для этого использовали Redis.
Отдельно разбирали повторные запросы при ошибках. Если сервер вернул 5xx или соединение оборвалось, повторная попытка иногда помогает. Но если десятки клиентов одновременно начинают повторять запросы к перегруженному серверу, ситуация может стать хуже. Поэтому используют exponential backoff, то есть увеличивают задержку между попытками. Circuit breaker позволяет временно прекратить отправку запросов на проблемный экземпляр.
Ошибки авторизации и некорректные параметры запроса повторять без исправления бессмысленно. Для LLM есть и дополнительная проблема: после разрыва соединения генерация может продолжаться на сервере. Повторный запрос способен запустить вторую генерацию и повторно потратить ресурсы.
При обновлении моделей рассматривали два способа проверки новой версии. Canary rollout отправляет небольшую долю пользовательских запросов на новую модель. Request mirroring копирует запросы на тестируемую версию, но пользователю возвращается только ответ основной. Так можно проверить поведение новой модели на реальном трафике до полного переключения.
Автоматическое масштабирование через KEDA
После настройки шлюза участники освободили GPU и попробовали масштабировать NVIDIA NIM через KEDA. Стандартный Kubernetes HPA может использовать загрузку CPU и памяти, но для LLM эти показатели не всегда хорошо отражают количество запросов, которое способен обработать сервер.
В эксперименте использовали метрики vLLM. Показатель vllm:num_requests_running отражает количество выполняющихся запросов, а vllm:num_requests_waiting показывает длину очереди. KEDA получает значения из Prometheus и на их основе увеличивает или уменьшает число реплик.
Отдельно разбирали проблему GPU utilization в DCGM. На узлах с несколькими GPU показатели иногда неправильно сопоставляются с pod. В результате мониторинг может показывать 0% загрузки даже при наличии запросов.
Ещё одна особенность связана с масштабированием вниз. Контейнеру NIM может потребоваться несколько минут, чтобы загрузить модель. Если слишком часто удалять и создавать реплики, время запуска начнёт мешать обработке запросов. Поэтому в примере рекомендовалось уменьшать количество реплик постепенно, с интервалом около десяти минут.
NVIDIA Dynamo: разделяем prefill и decode
Третий блок посвятили NVIDIA Dynamo. Для экспериментов использовали Qwen2.5-32B-Instruct в формате GPTQ Int4, запущенную через vLLM.
Обработка запроса LLM состоит из двух основных этапов. Prefill обрабатывает входной промпт и формирует KV-кеш. На этом этапе модель выполняет много вычислений, особенно если контекст длинный. Decode генерирует ответ последовательно, по одному токену. Здесь производительность часто ограничивает пропускная способность памяти.
В обычной конфигурации обе стадии выполняются на одних GPU. Такой режим называется aggregated serving. Dynamo позволяет разделить обработку промпта и генерацию ответа между разными группами GPU, передавая KV-кеш от prefill-workers к decode-workers.
На воркшопе использовали две пары A100, соединённые через NVLink. Участники последовательно проверили aggregated serving, маршрутизацию с учётом KV-кеша и disaggregated serving. Каждую конфигурацию тестировали отдельно.
Разделение prefill и decode позволяет масштабировать их независимо. Например, при большом количестве длинных входных документов может потребоваться больше ресурсов на prefill. Если пользователи одновременно генерируют длинные ответы, возрастает нагрузка на decode.
Однако разделение полезно не всегда. Передача KV-кеша между GPU тоже требует ресурсов, поэтому при небольшом количестве запросов обычный aggregated serving может работать эффективнее.
Маршрутизация с учётом KV-кеша
У Dynamo есть KV-cache-aware router. Его задача заключается в повторном использовании уже обработанных фрагментов контекста.
Представим чат, в котором пользователь отправляет несколько сообщений подряд. При каждом новом запросе сервер может получать всю предыдущую переписку. Если начало промпта уже обрабатывалось и его KV-кеш сохранился на одном из workers, часть вычислений можно пропустить.
Роутер старается отправить запрос на тот worker, где уже есть подходящий кеш. При этом учитывается текущая загрузка. Такой подход особенно полезен для длинных диалогов и RAG-систем, в которых разные запросы повторно используют общие части промпта.
Dynamo также включает Planner, который следит за нагрузкой и регулирует количество prefill- и decode-workers. Ещё один механизм, ModelExpress, ускоряет запуск новых workers. Вместо повторной загрузки весов из хранилища новый экземпляр может скопировать их с уже работающего.
Дополнительный ноутбук был посвящён Grove, инструменту для согласованного планирования связанных pod. Он помогает размещать группы prefill- и decode-workers с учётом их совместной работы.
Другие инструменты
Во время занятия рассмотрели несколько возможностей, которые могут пригодиться и без Dynamo.
Logprobs позволяют получить логарифмы вероятностей сгенерированных токенов. По ним можно анализировать поведение модели и выделять ответы для дополнительной проверки. При этом вероятность токена не стоит напрямую приравнивать к достоверности ответа.
Фиксированный seed помогает получать более воспроизводимые результаты при тестировании. Полностью идентичный вывод во всех конфигурациях он не гарантирует. FlashAttention, в свою очередь, вычисляет attention блоками и уменьшает количество обращений к памяти GPU. Это позволяет ускорить вычисления и сократить потребление памяти, сохранив точный результат attention.
Отдельно упоминались инструменты NVIDIA для оценки производительности. AIPerf измеряет время до первого токена, задержки между токенами и пропускную способность. Его использовали непосредственно на воркшопе.
AIConfigurator помогает сравнивать конфигурации aggregated и disaggregated serving, а также оценивать необходимое число workers. AISimulate моделирует работу инференса и конфигураций Dynamo без реального развёртывания. Инструмент пока экспериментальный и предназначен для оценки вариантов, а не для точного планирования мощностей.
Финальное задание
В конце воркшопа участникам выдали модель Qwen3-1.7B, с которой они ещё не работали. Нужно было самостоятельно подготовить конфигурацию Dynamo, развернуть модель в aggregated и disaggregated режимах, провести тестирование через AIPerf и сравнить два варианта соотношения prefill/decode replicas.
После замеров требовалось выбрать подходящую конфигурацию и обосновать решение. Всего было семь заданий на десять баллов. Для получения сертификата нужно было выполнить их все.
Что можно применить на практике
Для домашнего компьютера с одной видеокартой большая часть инструментов из воркшопа избыточна. KEDA и разделение prefill/decode рассчитаны на инфраструктуру, где можно распределять нагрузку между несколькими GPU и экземплярами моделей. А вот эксперименты с квантизацией, FlashAttention и настройками движка инференса вполне применимы к локальным LLM.
При сравнении конфигураций полезно измерять не только токены в секунду, но и время до первого токена, потребление видеопамяти и качество ответов. Если модель обслуживает много пользователей, становятся актуальны маршрутизация, метрики очереди, повторное использование KV-кеша и автоматическое масштабирование.
В исходном эксперименте FP8 ускорил генерацию Qwen3-32B почти на 50% для одного пользователя. Но без проверки на конкретной модели и оборудовании рассчитывать на такой же прирост не стоит.
Источники
Комментарии (27)

Zickam
14.11.2026 13:00Меня больше смутило FP8 на A100. У неё же нет нативной поддержки FP8 в Tensor Cores, так за счёт чего получился прирост почти 50%? Хотелось бы увидеть подробности реализации, иначе такой результат довольно сложно воспроизвести

Zerik
14.11.2026 13:00За счёт скорости чтения из памяти. Нативная поддержка, конечно, хорошо но главный ограничитель всё таки именно bandwidth в большинстве случаев.)

ki7onse Автор
14.11.2026 13:00Да, вполне возможно, что основной выигрыш именно за счёт уменьшения трафика памяти. Но тут есть нюанс: в исходном материале не раскрыто, как именно реализовали FP8 на A100. Поэтому я и уточнил в статье, что 49.4% - результат именно конкретного теста, а не гарантированный прирост от перехода на FP8.

infeneon
14.11.2026 13:00Тюнинг вещь хорошая, я тоже посидел два вечера и с 15 токенов до 40 разогнал. Хочу ещё докер образ свой собрать, но это ещё дольше тестировать и не факт, что какой то эффект будет.

BelerafonL
14.11.2026 13:00А я сказал своей гопоте - /goal максимально ускорить на этом железе инференс такой-то модели, сиди читай интернет, скачавай что хочешь, меняй параметры, тюнингуй, замеряй скорость и качество, ищи оптимум. Разогнала квен 3.8 флеш некст до 200 т/с, инференс быстрее облачных провайдеров.
Зачем вы это делаете руками?

asdadn
14.11.2026 13:00И какое у вас железо?

BelerafonL
14.11.2026 13:00есть машина на 3090, там эта модель 70тс даёт, и есть 5090, там 200 тс. Там и там страта движок гопота принесла

asdadn
14.11.2026 13:00Это с IQ3 квантом?
Оперативной памяти 64гб, я так понимаю?

MountainGoat
14.11.2026 13:00У меня с Iq3 квантом на 4090 выходит 50т/с. 200 – это видимо с iq_1

BelerafonL
14.11.2026 13:00Я ниже конфиг написал для 5090, но на 3090 схожий. На самом деле у меня даже не 3090 а 3080 перепай на 20гб, на авито за 70т.р. продают. Вот отчёт агента:
Как я запускаю Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS на одной 20 ГБ карте (Windows)
Железо: RTX 3080 20 ГБ (модифицированная, все 20480 MiB видны и стабильны под CUDA) + i9-10900X, 176 ГБ RAM, модель 76 ГБ лежит на HDD. Дисплей на второй карте (Quadro), инференс строго на 3080.
Софт: Strata 0.2.10 (движок 0.1.56, windows-x86_64-cuda-cuda13), драйвер NVIDIA 621.01, Windows 11. До этого гонял официальным llama.cpp b11960 (CUDA 12.4), но сильно медленнее на этой задаче.
Запуск: модель целиком в VRAM не влезает (76 ГБ), поэтому схема гибридная:
strata launch --family qwen --model iq3_xxs --context 1m --vision cpu --drafting dflash2 --model-path <существующий GGUF>те же GGUF-файлы, что были для llama.cpp — ничего не перекачивается;
эксперты (512×10, MoE) живут в RAM, горячие держатся в GPU-кэше (~8 ГБ, auto);
KV int8: в VRAM только окно 32K, остальной 1М-контекст — в pinned RAM;
1М контекста — это YaRN ×4 поверх trained 256K (экстраполяция);
спекулятивный драфтинг DFlash2 (–spec 6) — даёт +70% к decode;
для стабильности добавлен
--vram-reserve-mib 1152(иначе свободно <1 ГБ и WDDM начинает пейджить — скорость падает в разы).
Скорость (реальная, не синтетика):
генерация: 80–100 ток/с (в агентных сессиях стабильно ~78–95, thinking+tool calls);
prefill: ~2000 ток/с на 16–32K промпта (32K за ~15 с);
hit-rate экспертного кэша 80–92%.
Итого: 125B-класс MoE с 1М контекстом на одной 20 ГБ карте — ~90 ток/с генерации, Waiting-фри агентные сессии. Для сравнения: тот же GGUF на чистом llama.cpp CUDA с экспертами на CPU даёт 8–16 ток/с.

BoldDwarf
14.11.2026 13:00У меня на схожем конфиге, 5090 + 48 gb ram получается около 90 токенов в секунду при использовании iq3_s, в реальном агентном кодинге, контекст 500к.
Это предел для моего хардвера, квант 4 опускает генерацию до 20 токенов в сек.
Оптимизация была выполнена самой Strata, тоже Windows.
Как итог - удалил остальные модели и ollama по причине бессмысленности иж использования.

Syzd
14.11.2026 13:00Так напишите пожалуйста модель и конфиг?

BelerafonL
14.11.2026 13:00Минутка нейрослопа, сам я не разбирался как оно работает. От меня: модель мне нравится, квант хороший, зацикливания и явных галлюцинаций нет. Напоминает что-то типа GPT 4.1 прошлогоднюю или лучше.
Qwen3.8-Flash-Next IQ3_S на Strata — рабочий конфиг для RTX 5090 + 256 ГБ RAM
Железо: Threadripper 7960X (24C, AVX-512), 256 ГБ DDR5-5200 (4 канала), RTX 5090 32 ГБ (драйвер 581.29, CUDA 13). Модель лежит даже на SATA HDD — работает, т.к. эксперты грузятся в RAM.
Софт: Strata Terminal 0.2.7 (build 0.1.53), движок 0.1.52 (windows-x86_64-cuda-cuda13), модель ISTA-DASLab GSQ-RCO IQ3_S + MTP-слой (ставится штатно).
Конфиг запуска (мой рабочий, 1M): strata launch --family qwen --model iq3_s --context 1m --vision gpu --data-dir <диск> --set prefill=auto:32768
Контекст 1M — это yarn x4 сверх нативных 256K (Strata честно предупреждает: experimental, ответы могут деградировать); KV-окно ~28 ГБ в RAM, tg 137–155 t/s. Контекст 64K даёт tg 172–199 t/s (+~20%) без потери качества — если мегаконтекст не нужен, берите его: strata launch --family qwen --model iq3_s --context 64k --vision gpu --data-dir <диск> --set prefill=auto:32768
prefill=auto:32768 — +10% к холодному чтению промпта (7506 против 6794 t/s на 44K)
MTP включён по умолчанию, acceptance 0.67–0.81
–vision gpu: picture reader на карте, mmproj докачивается сам (~1 ГБ); занимает ~1–1.4 ГБ VRAM у экспертного кэша. Нужно выжать максимум tg — запускайте с --vision off
Замеры (64K): tg 172–199 t/s; холодный префилл 44K токенов — 7462–7506 t/s (~5.9 с); повтор того же промпта — 0.4 с (кэш); tool-call 1.2–1.7 с; VRAM 31.5/32 (экспертный кэш ~22 GiB); занято ~100 ГБ RAM; чтение с диска при генерации ~0 МБ/с после прогрева — HDD не bottleneck. На 1M: tg 137–155 t/s, префилл тот же (~7400 t/s). для сравнения DSv4-Flash IQ4_NL в llama.cpp на той же машине — 22.2 с.
–tune quick не понадобился: единственная ручная настройка конфига — prefill=auto:32768, остальное дефолт (MTP уже включён).

RTFM13
14.11.2026 13:00Читалкой картинок забивать GPU нет ни малейшего смысла. Это крохи в общей нагрузке. Особенно если памяти ограничено. (ограничено это от 32GB и меньше).

Garantia_Tsverga
14.11.2026 13:00Помню, под свой Quad Q8400 редактировал файл quants.c — вышла двойная скорость процессинга промпта и +30% к генерации токенов (возможно, было бы больше, но тут уже вступила моя медленная DDR3)

qxovxp
14.11.2026 13:00То ли я не понял, о чем статья, то ли это какой-то прикол. Но 1 апреля ещё не скоро... Наверное, не понял.

Lexus7900
14.11.2026 13:00Статью не читал, но ответ знаю!
Надо украсть одну такую же видеокарту и добавить в сборку.

Sdima1357
14.11.2026 13:00Напомнило анекдот
Приезжает корреспондент на ферму брать интервью у передовой доярки.— Скажите, а правда, что вы от одной коровы можете надоить сто литров молока в день?— Правда, сынок, могу!— А двести можете?— И двести могу. Только тогда, сынок, совсем уж одна вода получается...
Квант 8 неплохой на самом деле и даже 4 иногда неплохой , но есть нюанс...

akirsanov
14.11.2026 13:00ниже q4 это уже похоже на нейродегенеративные последствия перенесенного тяжелого заболевания.

BelerafonL
14.11.2026 13:00Для больших моделей норм и ниже q4, особенно если это не тупая конвертация, а всякие там GSQ-RCO или Unsloth Dynamic (UD)

BoldDwarf
14.11.2026 13:00Не сказал бы, не всегда.
На реальных сложных задачах iq_3s для Qwen3.8-Flash-Next показывает себя очень хорошо в сравнении с моделями 27b того же qwen.
Иногда кругозор модели может иметь большее значение чем квант.

bazuchan
14.11.2026 13:00Я тоже так думал пока 27b использовал, но с flash next w4a16 очень неплохо себя ведет
Dreams_and_magic
Так можно и FP4 квант использовать, ещё в два раза быстрее будет:) Но есть нюанс:)
ponikrf
Это для следующей статьи. А потом еще и про размер модели можно еще написать. Поле не паханное.