Публикации с тегом GGUF
35B-модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4
Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само +19
Qwen3.8–27B на двух RTX 3060 12ГБ: как я разогнал OpenCode с ~9 до ~40 токенов/с при 128K контекста +27
«Друзья не дают друзьям пользоваться Ollama» +48
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf +6
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090 +16
Возвращение короля: разбираемся, что такое Qwen3.8 27B +17
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить +68
Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой +7
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo +4
Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM +7
