Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса +25
Публикации с тегом llama.cpp
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости +3
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта +70
Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp -3
Как мы прикрутили RAG для интент-классификации, или Трудности перевода на LLM-ский +15
Квантовать или не квантовать LLM? +16
Распределённый инференс llama.cpp через RPC +24
Установка LLM на скромном VPS
