Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки +10
- Компьютерное железо
- Машинное обучение
- Искусственный интеллект
- Natural Language Processing
- Open source
Публикации с тегом спекулятивный декодинг
DSpark на двух DGX Spark: порт, баг на одну строку и бенчмарки, которые пришлось мерить заново +4
Как оптимизировать LLM-инференс в 2026 году +18
- GPGPU
- Блог компании Cloud.ru
- Машинное обучение
- Параллельное программирование
- DevOps
- Искусственный интеллект
DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user +10
Алгоритмы спекулятивного инференса LLM +3
