Публикации с тегом инференс LLM
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2 +4
Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите +5
- Искусственный интеллект
- Natural Language Processing
- Машинное обучение
- Программирование
- Исследования и прогнозы в IT
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching -1
Как я установил в свой игровой ПК серверный GPU за £200 +62
Как развернуть Mistral 7B на GPU-сервере через vLLM
Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant +21
- Блог компании МТС
- Искусственный интеллект
- Машинное обучение
- Natural Language Processing
- Сжатие данных
