Публикации с тегом квантизация
Селф-хост Ornith-1.5 и Qwen3.8: тестирую 18 квантов на одной карте и похоже не покупаю RTX5090 +8
Квантизация LLM: как запихнуть 70B модель в свою видюху +6
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить +68
Нейронные сети нетрадиционного квантования +26
А мы и не заметили, или о том, какие ИИ живут в вашем кармане +44
Как я писал in-memory векторный движок на Go — и в каком месте он обогнал hnswilb +7
Сжатие декодерных эмбеддеров: как ужать 8B до продакшена без потери recall +9
Каталог из 83 форматов с плавающей точкой, который сам себя проверяет +5
Линейка для чисел: как я собрал каталог из 83 форматов с плавающей точкой — и почему у каждого есть честная статус-метка +5
Нейросеть за 50 центов (~36 ₽): TernML, тернарный ИИ без FPU +1
LongConspectWriter: автоматическая генерация структурированных конспектов лекций на потребительском GPU +7
Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Квантизация с нуля: как запустить 160ГБ LLM на ноутбуке и не потерять в качестве +23
GGUF: квантизация с калибровкой (imatrix) +9
