Публикации с тегом vllm
vLLM, LoRA и GPU-кластеры: техническая анатомия обогащения поисковой выдачи Авито мультимодальными моделями +4
Практическое руководство по Qwen: установка, настройка vLLM и работа через API +47
Как мы научили ИИ подбирать мебель по архитектурным чертежам +4
ИИ Анализ новостного сентимента как торговый сигнал +6
KV-Cache в LLM: разбираем инференс через 9 ключевых вопросов +4
Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM +17
Как я приручил 30-миллиардник на RTX 3090: Тестируем Nemotron-Cascade-2 в домашнем сетапе +13
vLLM Production Stack. Часть 1: Базовые возможности vLLM +2
Собственная облачная LLM на 16 ГБ VRAM — часть 1: базовая сборка, tools и MCP +50
Снижаем стоимость инференса. Часть 1. Популярные подходы и что помогло нам повысить утилизацию GPU на 70% +8
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang +24
Как мы научили LLM отвечать на вопросы абитуриентов в крупнейшем вузе страны +12
GPT-OSS-20B / 120B: Сухие цифры после реальных тестов +4
Где живут LLM: разбираем инференс-кластер YADRO и гоняем в нем модели +21
- Блог компании YADRO
- Искусственный интеллект
- Высоконагруженные системы
- Машинное обучение
- Natural Language Processing
