Целое десятилетие Лиза Су стоит у руля AMD, и за это время она не просто вывела компанию из кризиса, а превратила её в настоящего лидера рынка. Под её руководством AMD из аутсайдера превратилась в серьезного игрока на рынке серверных процессоров, где Intel в итоге приходится играть роль догоняющих за AMD, а с учётом их текущего состояния – бороться за выживание изо всех сил.

И вот, наконец-то случилось долгожданное всеми кто следит за рынком серверного железа – 10 октября AMD представила свои новые серверные процессоры серии EPYC 9005 Turin. Хотите 384 потока на процессор? Пожалуйста, вот вам Epyc на 192 ядра, разве что с нюансом, унаследованным с линейки EPYC 9004 "Bergamo" – энергоэффективные ядра Zen5C с меньшим числом кэша, всё во славу многопотока и запихивания как можно большего числа ядер на один кристалл. Также были представлены и 128-ядерные варианты с полноценными Zen5 ядрами и аж полугигабайтом L3 кэша.

Впрочем, есть о чём поговорить за пределами одних только ядер с кэшем и подробнее о всех нововведениях поговорим ниже в посте.

Будет жарко

Новые процессоры показывают впечатляющий рывок в производительности в сравнение с предшественниками – +17% в облачных задачах и +37% в работе с нейронками, при этом за достаточно скромную цену. От 527$ долларов за модель на 8 ядер и 14800$ за 192 ядерного монстра, пусть и с маленькими ядрами. 

Однако, увеличение числа ядер и плотности транзисторов неизбежно ведет к росту TDP. Несмотря на уменьшение техпроцесса до 3 и 4 нанометров, площадь процессора осталась прежней. В результате выходит нетривиальная задача – как эффективно отвести 0.5kW тепла при относительно небольшой площади контакта?

Такой уровень тепловыделения может ознаменовать переход серверного сегмента в эпоху водяного охлаждения. Возможно, скоро мы увидим топовые модели EPYC, поставляемые с интегрированными системами жидкостного охлаждения. А что касается классических воздушных систем охлаждения в серверах формата 1U - кажется, инженерам придется изрядно поломать голову, чтобы вместить туда достаточно мощный радиатор.

Но давайте посмотрим на это с другой стороны. Серия EPYC 9005 предлагает серверные решения с исключительной производительностью. Например, двухсокетные серверы с процессорами AMD EPYC 9965 обеспечивают в 1.7 раза большую производительность на ватт системы, чем процессоры Intel Xeon 8592+ при запуске теста SPECpower.

Более того, замена 100 старых серверов на базе двухсокетных Intel Xeon 8280 всего 14 новыми серверами с AMD EPYC 9655 может обеспечить сравнимую производительность, используя при этом до 86% меньше серверов и потребляя на 69% меньше энергии. Для достижения того же уровня производительности потребовалось бы 35 серверов на базе Intel Xeon 8592+. А вот на счёт 6 поколения Intel Xeon, данных AMD в своих брошюрах не привели, что странно.

Так что да, процессоры горячие, но они позволяют значительно сократить количество серверов и общее энергопотребление дата-центра при той же или даже большей вычислительной мощности. А как конкретно OEM-производители серверов будут решать вопрос охлаждения всей этой мощи, мы узнаем уже скоро.

Zen5 - мощь в чистом виде

Новая архитектура Zen5 – это не просто очередной шаг, а настоящий прыжок вперёд. AMD умудрились не только запихнуть больше транзисторов на кристалл, но и серьезно оптимизировать их работу. Результат? Частоты до 5 ГГц, что для серверного процессора звучит скорее сомнительно, так как производимые этими 5ГГц тепло нужно будет куда-то рассеять и все ядра вряд ли смогут одновременно работать на такой частоте. А одноядерная производительность, не столь важна в серверном сегменте, как многопоточность, хотя, для тех же баз данных это пожалуй имеет смысл.

Zen5C - плотность и эффективность

Но AMD решили, что этого мало. Поэтому появилась Zen5C – младший брат большого Zen5, но с серьезными амбициями. Меньше кэша, зато влезает больше ядер. И вот уже у нас 192 ядра в одном процессоре. Конечно, они не такие мощные как полноценные Zen5, но когда дело доходит до многопоточных задач – тут уже не до жиру, быть бы живу, и количество берёт верх над качеством.

Zen5C CPU кристалл содержит 16 ядер, каждое с 1МБ L2 кэша и общим 32МБ L3 кэшем. Для создания процессоров с более чем 128 ядрами, до 12 таких кристаллов могут быть подключены к I/O кристаллу, что в итоге дает до 192 ядер на процессор для сверхплотных высокопроизводительных систем.

Память и шины – всего побольше

А что на счёт оперативной памяти? Здесь у новых Epyc всё тоже хорошо, но без фантастики. Поддерживается DDR5 с частотами 6400 МГц с 12 каналами. Так к примеру конкретно EPYC 9005 поддерживает до 6 ТБ DDR5-6000 памяти, что обеспечивает максимальную теоретическую пропускную способность 576 ГБ/с на сокет. Что наиболее заметно скажется на приложениях чувствительных к пропускной способности оперативной памяти, к примеру in-memory базы данных.
И раз уж заговорили про пропускную способность, отметим ещё 160 линий PCI-E 5.0, чтобы шина обмена данными точно не была бутылочным горлышком при подключение новых серверных GPU.

EPYC vs Xeon

Прямыми конкурентами новых EPYC выступают вышедшие чуть раньше процессоры от Intel – Xeon 6700E и 6900P. Но AMD в который раз не даёт синему коллеге и шансов на победе. Больше ядер, выше частоты, современнее память – EPYC 9005 превосходят Xeon 6 поколения во всём. Особенно это заметно в задачах, связанных с AI, где EPYC показывает себя настоящим монстром производительности.

По оценкам AMD, двухсокетные серверы с 192-ядерными EPYC 9965 демонстрируют на 2.68x более высокую пропускную способность по сравнению с 64-ядерными Intel Xeon 8592+ при запуске SPECrate2017_int_base.

Превосходство в бизнес-нагрузках

Когда дело доходит до реальных бизнес-приложений, EPYC 9005 также демонстрирует впечатляющие результаты. При использовании двухсокетных серверов на базе 192-ядерных AMD EPYC 9965 достигается в 2.2 раза больше критических jOPs в Multi-JVM по сравнению с 64-ядерными Intel Xeon 8592+ при запуске бенчмарка SPECjbb2015-MultiJVM.

Для MySQL нагрузок, основанных на бенчмарке TPC-C, двухсокетные серверы на базе 192-ядерных AMD EPYC 9965 обеспечивают до 2.9 раз больше транзакций в секунду по сравнению с 64-ядерными Intel Xeon 8592+.

AI – попытка запрыгнуть в уходящий поезд?

Отдельно стоит отметить, как AMD позиционирует свои новые процессоры для задач искусственного интеллекта. EPYC 9005 не просто поддерживает AI-вычисления, он становится настоящим фундаментом для создания мощных AI-систем. Возможность подключить кучу специализированных ускорителей через PCI-E 5.0, combined с огромным количеством ядер и быстрой памятью, делает эти процессоры идеальным выбором для создания инфраструктуры под самые требовательные AI-приложения.

EPYC 9005 обеспечивает до ~2.7x более высокую пропускную способность при выполнении задач ИИ-инференса, таких как XGBoost на наборе данных бозона Хиггса, по сравнению с Intel Xeon 8592+. Это делает их отличным выбором для широкого спектра ИИ-задач, от классификации изображений до обработки естественного языка.

Зачем и кому это нужно, когда возможности инференса на GPU, либо NPU/TPU на порядки превосходят таковые даже у самых многоядерных процессоров – традиционно оставили загадкой.

Оптимизация для GPU-систем

Впрочем, новые процессоры по настоящему хороши как дополнения для мощных видеокарт в задачах связанных с AI. AMD оптимизировала некоторые модели EPYC 9005 для использования в качестве хост-процессоров в системах с GPU. Например, при использовании двух высокочастотных AMD EPYC 9575F в качестве хоста для 8 GPU-ускорителей достигается на ~15% более быстрое время обучения по сравнению с двумя Intel Xeon 8592+ при запуске Llama 3.1-8B.

Красный путь к инновациям

Процессоры AMD EPYC разделили блоки с ядрами CPU и функций ввода-вывода на разные кристаллы, которые могут разрабатываться по своим собственным графикам и производиться с использованием технологических процессов, соответствующих задачам, которые они должны выполнять. От поколения к поколению размер кристаллов CPU уменьшался по мере развития технологии фотолитографии. Сегодня ядра 'Zen 5' производятся по 4-нм технологии, ядро 'Zen 5c' производится по 3-нм технологии, а кристалл ввода-вывода остается на 6-нм технологии с предыдущего поколения.

Этот подход более гибкий и динамичный, чем попытка построить все функции процессора с использованием одной технологии изготовления. При модульном подходе мы можем смешивать и сочетать кристаллы CPU и ввода-вывода для создания специализированных процессоров, которые точно соответствуют требованиям рабочей нагрузки. Они варьируются от высокопроизводительных процессоров с 192 ядрами до процессоров для масштабируемых систем, требующих всего восемь ядер.

Итого, что имеем в сухом остатке?

AMD в очередной раз доказала, что может не просто конкурировать с Intel, а задавать тон на рынке серверных процессоров. Тенденция осталось прежней как и в прошлые поколения, но масштабы стали больше – больше транзисторов, больше ядер, больше кэша, но и больше тепловыделения.

Что ж, ждём теперь, когда новые EPYC начнут появляться в дата-центрах по всему миру. А там, глядишь, и до наших серверов в ServerFlow доберутся. Главное – не забыть обновить систему кондиционирования в серверной комнате. А то как бы с 0.5 киловатта на процессор не получить сауну вместо серверной.

Загадкой разве что остаётся то, чем на это ответят Intel? И как скоро, опять прямо перед выходом новых, превосходящих их Xeon по всем фронтам EPYC? Да и доживёт ли Intel вообще к моменту выхода новых EPYC? Приглашаем всех в комментарии, чтобы обсудить это!