RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache +8
Публикации с тегом vllm
RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache +8
Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM +4
Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше +11
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт +10
Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026) +4
Давай по новой, Миша: speculative decoding от черновика до проверки +5
Запустить LLM локально: что считать до покупки видеокарты? +4
- Блог компании OTUS
- Машинное обучение
- Искусственный интеллект
- Компьютерное железо
- Natural Language Processing
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями +7
Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же +5
LLM зацикливается: как найти причину, не трогая параметры? +7
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег +3
Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes +34
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи +13
