Публикации с тегом llama.cpp
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
MoE на 5090 недобирает полтора раза, и дело не в маршрутизации +4
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить +68
Тест локальных MOE моделей +22
Как я смог запустить 32b модель и сделать ее умнее в два раза на 3050 +6
Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой +7
Дообучил pretrain ruGPT3 XL 1.3B до уровня LLM (~2020 год, ChatGPT выйдет через 2 года). Сравнение с Gemma3 1B 2025 года +21
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo +4
Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки +10
- Компьютерное железо
- Машинное обучение
- Искусственный интеллект
- Natural Language Processing
- Open source
Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекста +20
Запуск и оптимизация локальной LLM с llama.cpp +9
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту +14
Тесты бюджетных сборок для ИИ до 100к рублей +4
Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front +8
