Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Публикации с тегом оптимизация моделей
ASR на CPU. Как выбрать бэкенд, настроить Triton и не потерять в точности +11
- Блог компании MWS AI
- Блог компании МТС
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Natural Language Processing
ASR на CPU. Как выбрать бэкенд, настроить Triton и не потерять в точности +14
- Блог компании MWS AI
- Блог компании МТС
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Natural Language Processing
Triton FP8: реализация и автотюнинг GEMM/Attention под RTX 40xx/Blackwell +14
Когда YOLO не спасает: как один параметр может испортить всё +7
Как сделать билд минимального размера в Unity? +18
