Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше +11
Публикации с тегом vllm
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт +10
Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026) +4
Давай по новой, Миша: speculative decoding от черновика до проверки +5
Запустить LLM локально: что считать до покупки видеокарты? +4
- Блог компании OTUS
- Машинное обучение
- Искусственный интеллект
- Компьютерное железо
- Natural Language Processing
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями +7
Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же +5
LLM зацикливается: как найти причину, не трогая параметры? +7
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег +3
Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes +34
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи +13
Hermes c локальными LLM vs GigaCode: сравниваем агентов на реальных PHP/Symfony-задачах +5
Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve +9
Хватит сливать данные в Claude и GPT: как поднять свой on‑prem LLM +18
- Блог компании RUVDS.com
- Информационная безопасность
- Искусственный интеллект
- Системное администрирование
- Облачные сервисы
