Публикации с тегом инференс LLM
Дело о лишних размышлениях: почему вредно много думать +5
Дело о 38 токенах в секунду: почему M3 Ultra начинал с двенадцати +5
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег +3
Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация -1
Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention +3
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2 +4
Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите +5
- Искусственный интеллект
- Natural Language Processing
- Машинное обучение
- Программирование
- Исследования и прогнозы в IT
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching -1
Как я установил в свой игровой ПК серверный GPU за £200 +62
Как развернуть Mistral 7B на GPU-сервере через vLLM
Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant +21
- Блог компании МТС
- Искусственный интеллект
- Машинное обучение
- Natural Language Processing
- Сжатие данных
