12 ГБ VRAM и WAN 2.2 I2V‑A14B: как заставить RX6700XT генерировать видео неограниченной длины +8
Публикации с тегом квантование
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090 +16
Селф-хост на RTX PRO 6000, продолжение: 2-битный DeepSeek V4 Flash x Ornith1.5-35B, как оно? +3
RGB‑значения нужно нормализовать делением на 255 или на 256? +27
Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах +5
Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM +7
Всё, что вы хотели знать про локальные LLM, но боялись заинференсить +11
4.6-битные сети: от теории к практике. Причём здесь HardTanh? +5
Как оптимизировать LLM-инференс в 2026 году +18
- GPGPU
- Блог компании Cloud.ru
- Машинное обучение
- Параллельное программирование
- DevOps
- Искусственный интеллект
Четыре грабли, один вихрь и 60% на CIFAR-10 с M0+ +2
Тернарный KAN: не баг, а фича — почему дискретные веса работают лучше +16
Культ квантования: почему 3 битные LLM это диагноз, а не оптимизация
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Как возникает реальность? Новая математическая модель. Сравнение с другими теориями -5
