Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0 +72
Публикации с тегом квантование
Квантовать или не квантовать LLM? +16
Краткий гайд по квантованию нейросетей +7
Как настроить LLM на локальном сервере? Краткое руководство для ML-специалистов +19
- Блог компании Selectel
- IT-компании
- Natural Language Processing
- Искусственный интеллект
- Машинное обучение
Как устроены 4.6-битные сети: обучение
Как устроены 4.6-битные сети: идея и имплементация
Neural Network Optimization: океан в капле +27
- Блог компании Doubletapp
- Серверная оптимизация
- Обработка изображений
- Машинное обучение
- Искусственный интеллект
Земля круглая, вода мокрая, JPEG шакалит, небо голубое… Или нет? +130
Квантование эмбеддингов: что это, зачем оно нужно и как его правильно готовить +33
Сжатие фотографий без видимой потери качества: опыт Yelp +28
