Всем привет! Мы — команда облачного провайдера mClouds. Наша облачная инфраструктура включает процессоры Intel Xeon Scalable, которые наиболее распространены в отрасли. Однако в последнее время мы стали задумываться о добавлении кластера на базе процессоров AMD EPYC, которые предлагают уже больше ядер на сокет, чем даже недавно анонсированные Intel Xeon 6, притом с высокой тактовой частотой — выше 3 ГГц.

С приходом в нашу жизнь нейросетей многие центры обработки данных уже работают на пределе или почти на пределе возможностей с точки зрения доступного пространства или мощности, или того и другого. На недавно прошедшей Tech Day 2024 компания AMD представила новую архитектуру своих серверных процессоров EPYC. Производитель заявляет, что новое поколение процессоров на архитектуре Zen 5 готово к растущим нагрузкам.

Давайте вместе разбираться, почему работа с нейросетями и большими данными требует новых серверных мощностей, какие возможности обещают AMD Zen 5 и что это означает на практике.

ИИ-оптимизированные процессоры: зачем они нужны

Нейросети сейчас используют даже в малом бизнесе. Каждая третья компания в МСП, по данным НАФИ, применяет ИИ для генерации картинок и текстов, для создания саммари встреч и созвонов, для работы с внутренней базой документов.

Работа с нейросетями увеличивает нагрузку на железо и требует больших мощностей по сравнению с выполнением рядовых задач. Насколько — сложно сказать точно. Это зависит от многих факторов.

• Тип нейросети: разные ИИ, например сверхточные и рекуррентные нейронные сети, требуют разной вычислительной мощности.

• Размер нейросети и объем данных: чем больше нейросеть и чем больше данных она использует для обучения, тем больше вычислений требуется.

• Тип задачи: обучение нейросети требует больше вычислительной мощности, чем ее использование для прогнозирования.

К примеру, для обучения большой языковой модели GPT-3 от OpenAI потребовалось создать кластер из более чем 285 000 CPU, 10 000 GPU и со скоростью сетевого подключения для каждого GPU в 400 ГБ/с. В то же время для рядового веб-сервера, обслуживающего сайт с небольшим количеством посетителей, достаточно процессора на 4–8 ядер и 16–32 ГБ оперативной памяти.

Обучение и работа нейросетей требуют гораздо больше вычислительных мощностей, чем большинство других задач. В основном для ИИ используют многоядерные графические процессоры (GPU), которые специализируются на обработке графики и могут выполнять операции с плавающей запятой гораздо быстрее, чем CPU. Лидером в сегменте работы с нейросетями является компания NVIDIA со своими передовыми H100, которые используются для работы с ИИ.

Вот основные характеристики серверных процессоров, которые важны для работы с нейросетями:

1. Количество ядер. Чем больше ядер у процессора, тем больше операций он может выполнять одновременно. Это важно для нейросетей, поскольку они часто требуют обработки больших объемов данных, особенно в процессе обучения. В облаках мы всё больше движемся к тому, что стандартом будет 32 ядра на сокет. А с точки зрения стандартных серверов для применения в IaaS-платформах нам предстоит переход к 64 ядрам на сокет. Но пока рост количества ядер не планирует останавливаться.

2. Частота ядер. Этот параметр определяет скорость выполнения каждой операции. Чем выше частота, тем быстрее работает процессор. Нейросети часто требуют выполнения сложных вычислений, а высокая частота ядер позволяет выполнять операции быстрее, что ускоряет обучение нейросетей. Также низкая частота ядер может снизить и производительность конкретного GPU. Мы не рекомендуем использовать для работы с нейросетями процессоры с базовой частотой ниже 2,5 ГГц.

3. Объем кеша. Чем больше объем кеша, тем меньше времени процессор тратит на доступ к данным. Для нейросетей это важно, поскольку часто они работают с большими объемами данных. Тут AMD уверенно лидирует даже на поколении EPYC Zen 4.

4. Система охлаждения. Обучение нейросетей — очень энергоемкий процесс, который генерирует много тепла. Перегрев процессора может привести к снижению производительности, нестабильной работе и даже повреждению оборудования. Эффективная система охлаждения гарантирует стабильную работу процессора при высокой нагрузке, что важно для длительных процессов обучения нейросетей. И это большой вызов, поскольку процессоры AMD EPYC серии 9004 с числом ядер 64 на сокет уже потребляют 360 ватт и больше.

5. Хранение данных. ИИ-сервер должен быть оснащен достаточным количеством оперативной памяти, высокоскоростной шиной PCI-E 5.0 и NVMe-дисками, подключенными также по PCI-E 5.0.

6. Поддержка векторных технологий ускорения. Современные технологии ускорения, такие как AVX-512, позволяют процессорам быстрее выполнять операции с плавающей запятой, ускоряя работу и обучение нейросетей.

7. Энергоэффективность. Обучение нейросетей может быть очень энергоемким процессом. Согласно отчету Международного энергетического агентства, к 2026 году центры обработки данных будут потреблять в два раза больше электроэнергии по сравнению с 2022 годом, во многом благодаря криптовалютам и искусственному интеллекту. Поэтому для работы с нейросетями важно, чтобы процессор был энергоэффективным. Это позволит снизить затраты на электроэнергию и обеспечить устойчивую работу системы.

Серверные процессоры — это вычислительные комбайны, которые работают в круглосуточном режиме и обрабатывают огромные массивы данных. Работа с нейросетями, анализ БД, машинное обучение требуют от них максимальной производительности и масштабируемости в широких пределах. Многоядерные процессоры — с числом ядер 64 и больше на сокет — помогают увеличить пропускную способность каждого сервера, одновременно снижая затраты на инвестиции в оборудование. На практике это означает: меньше серверов, меньше стоек, меньше потребление энергии.

Архитектура AMD Zen 5: что мы про нее знаем

AMD анонсировала пятое поколение серверных процессоров EPYC, которые должны выйти на рынок до конца 2024 года. Благодаря усовершенствованному прогнозированию ветвлений, двойным каналам декодирования и новому модулю математического ускорения AMD обещает рост производительности и ускорение задач машинного обучения.

Посмотрим, какие технические характеристики архитектуры Zen 5 заявляет производитель:

Чтобы снизить задержки и повысить точность вычислений, в Zen 5 оптимизировали этапы выборки и декодирования инструкций, усовершенствовав модуль прогнозирования ветвлений и добавив двойные каналы декодирования.

Самым большим новшеством в части выполнения математических операций можно считать блок операций с плавающей точкой — FPU. В Zen 5 он имеет физический 512-битный конвейер FP для AVX-512 с полным 512-битным путем данных. Если вы помните, в Zen 4 использовался 256-битный FPU, что в то время считалось энергоэффективным способом. Новый FPU должен дать Zen 5 значительное улучшение производительности AVX-512 по сравнению с предыдущей версией.

AVX-512 с полным 512-битным путем данных и шестью конвейерами, которые обеспечивают двухтактную задержку для операций сложения с плавающей точкой, значительно расширяет возможности управления параллельными инструкциями. Такая комбинация способна обеспечить заметный рост производительности: около 32% для рабочих нагрузок машинного обучения и 35% — для шифрования AES-XTS.

Блок загрузки/хранения тоже прокачали. AMD увеличила размер кеша L1 до 12 каналов — по 48 КБ каждый. Для сравнения: в Zen 4 было 8 каналов по 32 КБ. Пропускная способность от FPU до кеша L1 была удвоена по сравнению с Zen 4, хотя выделенный кеш L2 по-прежнему 16-канальный с размером 1 МБ. Всё это имеет решающее значение для операций с большими объемами данных.

По данным замеров самой AMD, Zen 5 обеспечивает средний прирост IPC на 16% по сравнению со своим предшественником. Такой показатель, по словам производителей, достигается за счет архитектурных усовершенствований, включая более широкие блоки диспетчеризации и исполнения, увеличенную пропускную способность данных и улучшенные алгоритмы предварительной выборки. Прирост IPC приводит к реальному повышению производительности в различных приложениях — от игр до создания контента и машинного обучения.

AMD проделала впечатляющую работу:

+ количество ядер

+ число потоков

+ энергоэффективность

+ ускорение ИИ и операций с плавающей точкой

Уверены, с новым поколением процессоров EPYC с архитектурой Zen стандарты производительности на рынке серверов и центров обработки данных станут выше.

Ждать ли в России

Процессоры AMD EPYC хоть и появляются в российских облаках, но темп их проникновения в ЦОДы не очень быстрый. В основном провайдеры добавляют кластеры на процессорах Intel. Хотя во многих популярных приложениях для бизнеса, например 1С, AMD EPYC показывают отличные результаты.

Каждое поколение серверных процессоров Intel Xeon сразу появляется и у нас в облаке. Но компания AMD уже обогнала своего главного конкурента по ряду параметров, таких как количество ядер на сокет, их частота, энергопотребление на одно ядро и объем кеш-памяти L2 на сокет. Поэтому мы планируем кластер на базе процессоров AMD EPYC (как Zen 4, так и Zen 5) внедрить и в свое облако, когда они будут доступны к заказу в России.