Для профессиональной работы с ИИ нужны специализированные решения. Например, для глубокого обучения современных моделей требуется конфигурация с видеопамятью от 500 ГБ, и возможно установить больше GPU в серверную платформу. В этой статье расскажем, какими характеристиками должен обладать AI-сервер, и покажем конкретные решения от Dell и российского бренда Yadro.

Ускорители для AI: на чём работают современные нейросети

При выборе GPU для AI-сервера важно обращать внимание на несколько ключевых показателей:

• Объем видеопамяти (VRAM) — определяет размер моделей, которые можно загрузить в GPU. Современные большие языковые модели (LLM) требуют десятки гигабайт памяти.

• Количество и производительность тензорных ядер — специализированных блоков для ускорения матричных операций.

• Поддержка форматов смешанной точности (FP16/BF16/FP8) — позволяют снизить требования к памяти и ускорить вычисления за счет использования чисел с меньшей точностью.

• Пропускная способность межсоединений — обеспечивает быструю передачу данных между несколькими GPU.

Стандартные серверы общего назначения рассчитаны максимум на 1–2 видеокарты типа NVIDIA L40S или H100 в слотах PCI-E. Такие конфигурации позволяют решать задачи инференса и обучения ИИ с не высокими требованиями к видеопамяти, от 48Gb.

Мы как раз используем карты L40S внутри серверов Dell PowerEdge R7625. Система подходит для инференса, обучения, работы с LLM средних размеров, где 48Gb будет достаточно, либо использовать несколько таких карт, но объединение видеопамяти программными средствами.

Однако для профессиональной работы с ИИ, включая обучение крупных языковых моделей и работу с мультимодальными нейросетями, необходимы более мощные решения, поддерживающие до 8 GPU NVIDIA H100 и объединение по NVlink.

Объединение 8 GPU H100 через NVLink позволяет получить до 640 ГБ суммарной видеопамяти, что критически важно для обучения современных крупных языковых моделей.

NVIDIA H200 предлагает еще более высокую производительность. Он оснащен 141 ГБ памяти HBM3e с пропускной способностью 4,8 ТБ/с. В тестах MLPerf с использованием модели Llama 2 70B H200 достигает более 31 000 токенов в секунду, что примерно на 45% быстрее, чем H100.

В AI-серверах используют ряд технологий, которые хотя и встречаются в некоторых традиционных высокопроизводительных системах, но в AI-инфраструктуре применяются более широко и оптимизированы специально для нейросетевых вычислений:

Современные серверные решения для AI: Dell PowerEdge и Yadro

Выбор правильной серверной платформы определяет успех AI-проекта не меньше, чем алгоритмы и данные. Давайте посмотрим на флагманские решения от Dell Technologies и для сравнения - российского производителя Yadro.

Серверы Dell PowerEdge для AI-задач. Dell Technologies предлагает широкую линейку серверов PowerEdge, оптимизированных для различных AI-нагрузок — от обучения моделей до инференса. Среди них есть мощный интересный сервер для AI-задач — Dell PowerEdge XE9680.

PowerEdge XE9680 специально разработан для задач искусственного интеллекта и высокопроизводительных вычислений (HPC). Он обладает следующими характеристиками:

• Поддержка до 8 ускорителей NVIDIA H100/H200 или AMD Instinct MI300X в полной конфигурации.

• Два процессора Intel Xeon Scalable 5-го поколения.

• До 8 ТБ оперативной памяти DDR5 RDIMM.

• Высокоскоростная фабрика NVLink для соединения GPU.

• Возможность установки до 24 накопителей NVMe SSD

Полностью нагруженный сервер XE9680 с восемью NVIDIA H100 может потреблять до 8 кВт электроэнергии.

Российские решения: Yadro для AI-задач. Yadro недавно представило GPU-сервер, оптимизированный для задач искусственного интеллекта, — YADRO G4208P G3. Это высокопроизводительный сервер для интенсивных вычислений в задачах искусственного интеллекта и машинного обучения.

Его ключевые характеристики:

• Два процессора Intel Xeon Scalable 4-го/5-го поколения с TDP до 350 Вт.

• Поддержка до 8 GPU двойной ширины с технологией NVLink Bridge.

• До 8 ТБ оперативной памяти DDR5-5600 ECC RDIMM/LRDIMM.

• 12 отсеков для накопителей SAS/SATA/NVMe.

• 4 интерфейса PCIe 5.0 x8 для NVMe и карт расширений.

• OCP 3.0 (PCIe 5.0 x8) для сетевых адаптеров.

Сервер G4208P G3 можно использовать как базовый элемент для построения масштабируемых кластеров и интегрировать его в единую инфраструктуру с централизованным управлением. Цена, конечно, при этом базовой не будет.

Российское происхождение серверов Yadro обеспечивает их локальную техническую поддержку и сервисное обслуживание.

Хотя в текущих условиях доступ к новейшим GPU-ускорителям ограничен, серверы Yadro сохраняют совместимость с доступными на российском рынке ускорителями NVIDIA.

Резюмируем

Dell PowerEdge XE9680 и YADRO G4208P G3 наглядно демонстрируют ключевые особенности современных платформ для искусственного интеллекта. В отличие от стандартных серверов, они обладают важным ключевым отличием:

• Поддержкой до 8 GPU-ускорителей с высокоскоростными межсоединениями (NVLink до 900 ГБ/с против стандартных PCIe).

Как вам? Используете в продуктиве серверы с несколькими GPU одновременно и более 500GB видеопамяти?