Хватит сливать данные в Claude и GPT: как поднять свой on‑prem LLM +18
- Блог компании RUVDS.com
- Информационная безопасность
- Искусственный интеллект
- Системное администрирование
- Облачные сервисы
Публикации с тегом vllm
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле +8
DeepSeek 0731 на DGX Spark: разгоняю до 68 tok/s и разбираюсь, почему у автора карточки 57 +7
Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention +3
350+ моделей без смены SDK: зачем разработчику слой абстракции над LLM‑провайдерами +9
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2 +4
Инференс LLM: от KV-кэша до продакшен-деплоя +10
- Блог компании hh.ru
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Высоконагруженные системы
- Искусственный интеллект
vLLM vs LMDeploy vs Triton: обзор бэкендов для инференса LLM +35
Локальный запуск LLM для SOC: сколько GPU действительно нужно? +4
DSpark на двух DGX Spark: порт, баг на одну строку и бенчмарки, которые пришлось мерить заново +4
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching -1
Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front +8
Облачная LLM на 16 ГБ VRAM — часть 3: ChatGPT-интерфейс для ваших LangGraph-агентов +23
