3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
Публикации с тегом KV cache
Как и зачем ускоряют LLM +16
- Блог компании BotHub
- Искусственный интеллект
- Машинное обучение
- Серверная оптимизация
- Программирование
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Как оптимизировать LLM-инференс в 2026 году +18
- GPGPU
- Блог компании Cloud.ru
- Машинное обучение
- Параллельное программирование
- DevOps
- Искусственный интеллект
Сломанный кэш выглядит как рабочий: prompt caching для тех, кто строит LLM-агентов +1
