Как на берегу жемчужной реки построили и разрушили Memory Wall +5
Публикации с тегом KV cache
Qwen3.8–27B на двух RTX 3060 12ГБ: как я разогнал OpenCode с ~9 до ~40 токенов/с при 128K контекста +27
Давай по новой, Миша: speculative decoding от черновика до проверки +5
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
Как и зачем ускоряют LLM +16
- Блог компании BotHub
- Искусственный интеллект
- Машинное обучение
- Серверная оптимизация
- Программирование
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Как оптимизировать LLM-инференс в 2026 году +18
- GPGPU
- Блог компании Cloud.ru
- Машинное обучение
- Параллельное программирование
- DevOps
- Искусственный интеллект
Сломанный кэш выглядит как рабочий: prompt caching для тех, кто строит LLM-агентов +1
