Привет, Хабр! Мы облачный провайдер mClouds, и у нас работает GPU-платформа с видеокартами NVIDIA L40S , A16 и другими. Задействуется для задач AI-разработки, CAD-проектирования, VDI и часто - 1С. Решили показать, как это устроено изнутри: какое железо используем, как устроены внутри конфигурации этих серверов и какие задачи они закрывают.

Прямо из ЦОДа — фотографии серверов с L40S и A16, спецификации, данные по энергопотреблению. Покажем что "под капотом" облачной платформы.

Dell R7625 в деле: 2 карты под разные задачи

Все наши серверы в облачной платформе - это решения Dell. Покажем на примере двух типовых конфигураций, оснащенных GPU. Используем серверы Dell PowerEdge R7625 — 2U-системы с процессорами AMD EPYC 9374F. На каждый сервер установлено по две GPU — либо L40S, либо A16. Есть еще и конфигурации с NVIDIA L4, но их покажем в следующих обзорах, уже на хостах Dell R7725, которые мы добавили в 2026 году.

NVIDIA L40S. Универсальная карта на архитектуре Ada Lovelace с 48 ГБ GDDR6 и 18 176 ядрами CUDA. Часто используется для инференса небольших и средних языковых моделей, дообучения нейросетей, обработки видео и 3D-рендеринга. Еще полезное свойство - поддерживает vGPU профили и иногда используется для работы с VDI, когда видеокарту надо шустрее и пошарить на нескольких пользователей.

Двойной ширины и с энергопотреблением до 350 Вт по даташиту, но в реальной работе часто меньше.

NVIDIA A16. Эта карта заточена под VDI-сценарии, часто востребована для работы с CAD и BIM, но для типовых рабочих мест тоже востребована, особенно если хочется проводить ВКС часто.

На одной плате размещены четыре независимых GPU, каждый с 16 ГБ GDDR6. Суммарно это 64 ГБ видеопамяти и 5120 CUDA-ядер на карту. Ключевое преимущество — vGPU профили: ресурсы A16 можно делить на профили от 1 до 16 ГБ и подбирать конфигурацию под конкретную задачу. Но 1GB уже редко используется, типовые сегодня от 2 до 4 GB. Потребляет до 250 Ватт на карту.

Основные профили A16 для VDI:

От 600 до 1340 Вт: сколько потребляет GPU-сервер

Сервер Dell R7625 с двумя L40S в реальных условиях эксплуатации потребляет в среднем около 730 Вт. Пиковое потребление достигает 1340 Вт, минимальное — около 600 Вт. Эти данные получены с работающего кластера при средней загрузке CPU менее 10%. Каждая L40S заявлена с TDP до 350 Вт, но в типичных AI- и VDI-сценариях серверы не нагружаются двумя GPU на полную. Есть хосты и постоянно нагруженными двумя L40S - там энергопотребление выше, но не в два раза, так как процессоры при этом не нагружены даже и на 20%. Блоки питания в этих конфигурациях установлены в 2,4 КВт. А вот на платформах R7725 мы уже перешли на 3,2 КВт.

Конфигурация с A16 выглядит аналогично: те же серверы Dell R7625, те же райзеры PCIe, те же два слота на карту.

Физически L40S и A16 — это двухслотовые карты, работают с PCIe Gen4. В сервер устанавливаем по две карты — это максимум для R7625 в нашей конфигурации с двумя процессорами и полным набором памяти.

Кроме L40S и A16, на платформе работают серверы с NVIDIA L4 24GB. Это однослотовая карта до 72 Вт, которая решает задачи, часто похожие на сценарии A16, в том числе VDI. Когда нужно больше производительности на одну сессию, L4 быстрее, чем отдельный GPU из A16. Кроме того, L4 активно используется для задач ИИ. Но NVIDIA L4 и дороже в расчете на 1GB памяти, чем A16.

Что внутри: AMD EPYC, много памяти, локальные NVMe

В серверах с L40S и A16 установлены по два процессора AMD EPYC 9374F — 32 ядра на архитектуре Zen 4 в каждом, базовая частота — 3,85 ГГц, фактическая —  4,1 в режиме полной производительности на все ядра. Оперативная память — 1,5 ТБ DDR5 4800. Устанавливаем планки во все слоты сервера, задействуя полностью 12 каналов на каждый, для максимальной производительности.

Платформа гибридная — на ней не только выполняются GPU-задачи, но и работают, например, 1С:Предприятие, ERP-системы, базы данных. Высокая частота критична и для GPU-сценариев, и для систем вроде 1С, которые отлично работают именно на 4 ГГц.

Каждый сервер оснащен локальными NVMe-дисками. Они обеспечивают максимальные IOPS при задержках менее 1 мс — это критично для любых нагрузок, где важна скорость работы с данными, так что без быстрых NVMe не обойтись. Хосты подключены и к СХД кластера, но GPU с ними работают реже. Для этой цели хосты оснащены сетевыми адаптерами Mellanox с портами 25 Гбит/с.

Кому подходит этот кластер: примеры задач и как арендовать

Платформа закрывает три ключевых направления: AI-разработку, проектирование в CAD/BIM и 1С:Предприятие — наиболее востребованную бизнес-систему в России, которая требует высокочастотных процессоров.

AI-разработка. Тут с задачами справляется NVIDIA L40S с 48GB памяти. Если хватает до 24GB - то L4 показывает хорошую экономику в работе.

Проектирование и архитектура. A16 обеспечивает плавную картинку при работа в Revit и прочих CAD и BIM системах. Если больших требований к видеонагрузке, но нужно чтоб не тормозило, то хороший выбор. Значительно выигрывает по экономике у A40 для схожих целей.

1С. Мы еще будем возвращаться в следующих обзорах к тестам с 1С. Но забегая вперед, и тест Гилева и Фрагстер, как и реальные задачи - чувствуют себя отлично. 4 ГГЦ на все ядра с DDR5, да еще и 64 ядра на хост - отлично решают задачи средних и крупных 1С проектов.

Задавайте вопросы по железкам, с радостью ответим )

Скоро выпустим обзор обновления этой платформы: новые серверы Dell R7725 на базе процессоров AMD EPYC 9555 4,2 ГГц с видеокартами L4 24 ГБ, NVIDIA A16 64 ГБ и NVIDIA RTX 6000 PRO 96 ГБ уже заехали в ЦОД и работают. Анонс опубликован в нашем блоге!