Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента +15
Публикации с тегом vllm
Почему self-hosted LLM падает в проде +16
Как я собрал на DGX Spark приватный AI-сервер, и теперь рассказываю, что туда вошло +17
Как в СНГ выбирают людей для AI-внедрения — и почему это страшно. Кейс из жизни +6
vLLM, LoRA и GPU-кластеры: техническая анатомия обогащения поисковой выдачи Авито мультимодальными моделями +4
Практическое руководство по Qwen: установка, настройка vLLM и работа через API +48
Как мы научили ИИ подбирать мебель по архитектурным чертежам +4
ИИ Анализ новостного сентимента как торговый сигнал +6
KV-Cache в LLM: разбираем инференс через 9 ключевых вопросов +4
Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM +17
Как я приручил 30-миллиардник на RTX 3090: Тестируем Nemotron-Cascade-2 в домашнем сетапе +13
vLLM Production Stack. Часть 1: Базовые возможности vLLM +2
Собственная облачная LLM на 16 ГБ VRAM — часть 1: базовая сборка, tools и MCP +50
Снижаем стоимость инференса. Часть 1. Популярные подходы и что помогло нам повысить утилизацию GPU на 70% +8
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang +24
