Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster +18
- Блог компании Флант
- Блог компании Московский кредитный банк
- Искусственный интеллект
- DevOps
- IT-инфраструктура
Публикации автора Myskat_90
Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes +53
- Видеокарты
- Блог компании Флант
- Блог компании Московский кредитный банк
- Искусственный интеллект
- Kubernetes
- DevOps
Облачная инфраструктура в помощь продуктовым командам — как мы это делаем в МКБ
