Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster +23
- Блог компании Флант
- Блог компании Московский кредитный банк
- Искусственный интеллект
- DevOps
- IT-инфраструктура
Публикации с тегом vllm
Построение инфраструктуры для работы с языковыми моделями: опыт X5 Tech +9
