Инференс LLM: от KV-кэша до продакшен-деплоя +10
- Блог компании hh.ru
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Высоконагруженные системы
- Искусственный интеллект
Публикации с тегом inference
Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы +29
- Блог компании Яндекс
- Блог компании Yandex Cloud & Yandex Infrastructure
- Машинное обучение
- Искусственный интеллект
- DevOps
Как работает адаптивный RAG, которому вообще не нужна LLM +22
Как работает адаптивный RAG, которому вообще не нужна LLM +22
Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов
MELT-1: трансформер 7B сдыхает за 11 часов, а наш агент живёт 95
Гайды по nxs-universal-chart v3.0: AI Inference контур на основе KServe
Практическое руководство по Qwen: установка, настройка vLLM и работа через API +48
От майнинга на попутном газе к AI-фабрикам: история Crusoe +13
Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine +36
First Principles расчёт realtime видеогенерации
Когда вычисления станут бесконечными: разбор интервью Илона Маска от 5.02.26 +8
Новый метод поиска от Sakana: расширение inference-time scaling и коллективный разум +5
Эффективный инференс множества LoRA адаптеров +3
Поднимаем DeepSeek llm локально -2
