Архитектура LPU и будущее AI без задержек +2
Публикации с тегом инференс
Как приручить LLM: подбор инфраструктуры для инференса. Часть 1 +43
LLM-инференс в 20 раз быстрее, чем на GPU! Как подключить агента-кодера с CLINE и Cerebras -2
Оптимизация инференса больших языковых моделей: комплексный анализ современных подходов и практических реализаций +3
Сравнение двух СнК одного тех. процесса с точки зрения инференса нейронных сетей +2
Что же такое TPU +83
Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса +25
Edge AI: локальный инференс — новый драйвер эффективности бизнеса +35
- Блог компании Selectel
- IT-инфраструктура
- Интернет вещей
- Исследования и прогнозы в IT
- Машинное обучение
Ускорение LLM: универсальные методы для популярных архитектур +42
Анализ DeepSeek R1-Zero и R1 +12
Алгоритмы спекулятивного инференса LLM +3
Пять элементов Inference-платформы Selectel. Как мы сделали своего Аватара +28
- Блог компании Selectel
- Kubernetes
- Высокая производительность
- Машинное обучение
- Серверное администрирование
Тензорные компиляторы: что это за «звери» и где они «обитают» +16
Влияние программного обеспечения и архитектуры ускорителя на производительность -1
Как мы исследовали энергоэффективность инференса нейросетей на планшете +21
