Как оптимизировать LLM-инференс в 2026 году +18
- GPGPU
- Блог компании Cloud.ru
- Машинное обучение
- Параллельное программирование
- DevOps
- Искусственный интеллект
Публикации с тегом prefix caching
Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах +11
KV-Cache в LLM: разбираем инференс через 9 ключевых вопросов +4
Погоди переезжать на дешёвую модель: считаем effective cost с учётом кэша +20
