Публикации с тегом llama.cpp
Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д +67
Запускаем Qwen3.6 35B-A3B + opencode локально на RTX 4070 12GB — AI-ассистент для разработки без облака +18
llama.cpp теперь умеет работать с речью +17
Локальный запуск GLM-5.1 +5
- Машинное обучение
- Искусственный интеллект
- Open source
- Natural Language Processing
- Системное администрирование
Свой ИИ без облаков: практический гайд по llama.cpp + Qwen +19
Квантизация с нуля: как запустить 160ГБ LLM на ноутбуке и не потерять в качестве +23
Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference +23
GGUF: квантизация с калибровкой (imatrix) +9
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang +24
Вайб-кодинг с доставкой на дом +6
Нейросети простым языком +6
Георгий Герганов, автор llama.cpp и звукового кейлогера +103
Запускаем настоящую DeepSeek R1 671B на игровом ПК и смотрим вменяемая ли она на огромном контексте (160к) +128
Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса +25
