Ускорение LLM: универсальные методы для популярных архитектур +42
Публикации с тегом инференс
Анализ DeepSeek R1-Zero и R1 +12
Алгоритмы спекулятивного инференса LLM +3
Пять элементов Inference-платформы Selectel. Как мы сделали своего Аватара +28
- Блог компании Selectel
- Kubernetes
- Высокая производительность
- Машинное обучение
- Серверное администрирование
Тензорные компиляторы: что это за «звери» и где они «обитают» +16
Влияние программного обеспечения и архитектуры ускорителя на производительность -1
Как мы исследовали энергоэффективность инференса нейросетей на планшете +21
Теоретическая и реальная производительность Intel AMX
Разворачиваем ML модель с использованием ONNX на Android в километре над землей
Ускорение инференса LLM +52
Реализация нейронной сети для соревнования Digit Recognizer на Kaggle и её прикладное использование. Часть №2 +1
Реализация нейронной сети для соревнования Digit Recognizer на Kaggle и её прикладное использование. Часть №1 +3
Почему ONNX так популярен в ML: конвертации, утилиты и инференс +9
Распознаем автомобильные номера на TorchServe +3
Атака на Nvidia DeepStream с помощью некорректного фрейма видео в формате H264 +6
- Высокая производительность
- Информационная безопасность
- GPGPU
- Машинное обучение
- Искусственный интеллект
