Cached input растёт квадратично +6
Публикации с тегом inference
Зачем Авито нужна своя Inference-платформа для ML/LLM-сервисов: PaaS vs отдельное решение +5
Сколько стоит суверенитет -2
Как сделать интерактивного агента с помощью KV‑кеш‑манипуляций +34
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями +7
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же +5
OpenAI Jalapeño: Персональный чип OpenAI, который обогнал NVIDIA Blackwell +5
Больше памяти — не значит быстрее: prefill, decode и релиз Apple M5 Ultra +8
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60% +9
Инференс LLM: от KV-кэша до продакшен-деплоя +10
- Блог компании hh.ru
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Высоконагруженные системы
- Искусственный интеллект
Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы +29
- Блог компании Яндекс
- Блог компании Yandex Cloud & Yandex Infrastructure
- Машинное обучение
- Искусственный интеллект
- DevOps
Как работает адаптивный RAG, которому вообще не нужна LLM +22
Как работает адаптивный RAG, которому вообще не нужна LLM +22
Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов
