Qwen3.6 27B MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s без потерь. Что такое MTP
Публикации с тегом llama.cpp
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder +66
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код +6
Open WebUI (с веб-поиском) + llama.cpp +11
Как в СНГ выбирают людей для AI-внедрения — и почему это страшно. Кейс из жизни +6
Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д +162
Запускаем Qwen3.6 35B-A3B + opencode локально на RTX 4070 12GB — AI-ассистент для разработки без облака +18
llama.cpp теперь умеет работать с речью +17
Локальный запуск GLM-5.1 +5
- Машинное обучение
- Искусственный интеллект
- Open source
- Natural Language Processing
- Системное администрирование
Свой ИИ без облаков: практический гайд по llama.cpp + Qwen +19
Квантизация с нуля: как запустить 160ГБ LLM на ноутбуке и не потерять в качестве +23
Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference +23
GGUF: квантизация с калибровкой (imatrix) +9
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang +24
