Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp +52
Публикации с тегом llama.cpp
35B-модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4
Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само +19
GTX 1080 Ti не сдаётся: выбираем лучшую MoE-модель для llama-server среди 35B, 120B и 176B +7
Qwen3.8–27B на двух RTX 3060 12ГБ: как я разогнал OpenCode с ~9 до ~40 токенов/с при 128K контекста +27
Я захотел, чтобы Obsidian заполнялся сам +9
Как запустить 176B‑класс Qwen3.8-Flash‑Next в DeepSeek Harness на GTX 1080 Ti +18
«Друзья не дают друзьям пользоваться Ollama» +48
Запустить LLM локально: что считать до покупки видеокарты? +4
- Блог компании OTUS
- Машинное обучение
- Искусственный интеллект
- Компьютерное железо
- Natural Language Processing
Как я выбирал локальную модель для кодинга на 16 ГБ VRAM — и трижды менял победителя +7
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf +6
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090 +16
753B на одной видеокарте: разбор FreeToken +9
Чем Go полезен при разработке AI‑агентов +26
