В конце 2024 года компания Micron представила новые модули оперативной памяти DDR5 MRDIMM для серверных систем на базе процессоров Intel Xeon 6-го поколения. Новинки обеспечат скорость передачи данных до 8800 МТ/с.

В этой статье разберем принцип работы MRDIMM, сравним их производительность со стандартными модулями DDR5 и проанализируем, сможет ли новая технология вытеснить их и стать новым стандартом для высокопроизводительных серверов.
Проблема пропускной способности: почему серверам нужна новая память
В современных ЦОД есть фундаментальная проблема — memory wall — разрыв между скоростью работы вычислительных блоков процессора и ограниченной пропускной способностью памяти. Если производительность процессоров пытается расти в соответствии с законом Мура, удваиваясь примерно каждые 18 месяцев, в основном за счет увеличения количества ядер, то пропускная способность памяти увеличивается всего на 7–10% в год. В результате современные процессоры работают на частотах 4–5 ГГц, а память DDR5 отстает по скорости доступа. Задержка достигает 70–100 наносекунд, что создает узкое место в производительности системы.
Например, процессоры Intel Xeon 6-го поколения серии 6900P имеют до 128 ядер и 256 потоков, а модели серии 6-E достигают 144 ядер. Вся эта вычислительная мощность требует соответствующей скорости доступа к данным. Однако ее не могут обеспечить даже последние поколения стандартных модулей DDR5 RDIMM со скоростью 6400 MT/с. Исследования Micron показывают, что высокопроизводительные ЦП в дата-центрах могут простаивать до 95% времени в ожидании данных из памяти. Это делает дорогостоящие вычислительные ресурсы неэффективными.
Для решения этой проблемы компания Micron и разработала технологию MRDIMM (Multiplexed Rank DIMM). Теоретически она может вдвое увеличить эффективную пропускную способность памяти без радикальных изменений в архитектуре серверов.
Что такое MRDIMM: архитектура и принцип работы
Основное отличие MRDIMM от стандартных модулей памяти DDR5 RDIMM — в способе доступа к данным. В то время как обычные модули DDR5 RDIMM обращаются к одному рангу памяти за раз, MRDIMM может активировать и получать доступ к парам рангов DRAM одновременно, что удваивает количество данных, доступных за один такт.
Для реализации этой архитектуры MRDIMM использует два ключевых компонента:
MRCD (Multiplexing Registering Clock Driver). Принимает чередующийся поток команд DRAM на удвоенной скорости, демультиплексирует его и направляет на выходы для конкретных рангов памяти.
MDB (Multiplexing Data Buffer). Преобразует 16-битный интерфейс DRAM, работающий на стандартной скорости, в 8-битный хост-интерфейс, функционирующий на удвоенной скорости.
Важный плюс MRDIMM — сохранение совместимости с существующими слотами DDR5. Для использования MRDIMM не требуется вносить изменения в материнские платы и серверную инфраструктуру. Разъем DIMM и топология маршрутизации от процессора к модулю памяти остаются прежними.
Конструкция MRDIMM также позволяет увеличить емкость памяти. Стандартные модули MRDIMM поддерживают емкость до 256 ГБ, что вдвое больше типовых RDIMM. Существуют также варианты с увеличенной высотой (TFF MRDIMM — Tall Form Factor), которые поддерживают до 4 рангов памяти вместо стандартных 2.

Xeon 6 и MRDIMM: идеальный тандем для увеличения производительности
Процессоры Intel Xeon 6 (Granite Rapids) стали первыми, специально оптимизированными для работы с MRDIMM. Они оснащены 12 каналами памяти и контроллером, который позволяет максимально эффективно использовать преимущества MRDIMM.

Связка Intel Xeon 6 и MRDIMM демонстрирует несколько ключевых преимуществ:
Повышенная пропускная способность. Тесты Phoronix показывают, что модули MRDIMM обеспечивают увеличение пропускной способности памяти на 39% по сравнению со стандартными модулями DDR5 RDIMM: 8800 МТ/с против 6400 МТ/с в реальных приложениях.
Сниженная латентность. Согласно данным Micron, 128-гигабайтный модуль DDR5-8800 MRDIMM обеспечивает до 40% более низкую латентность под нагрузкой относительно 128-гигабайтного DDR5-6400 RDIMM.
Увеличенная емкость памяти. Процессоры Intel Xeon 6 способны работать с памятью общим объемом до 3 ТБ при использовании MRDIMM, что критически важно для приложений искусственного интеллекта и обработки больших данных.
Как результат системы с MRDIMM демонстрируют до 2,5 раза более высокую производительность по сравнению с процессорами предыдущего поколения. Это подтверждает тест HPCG (High Performance Conjugate Gradients), который активно задействует память.

Аналогичная ситуация складывается и в рабочих нагрузках, требовательных к памяти. Например, в тестах OpenFOAM производительность увеличивается на 140%. В задачах искусственного интеллекта, особенно при работе с большими языковыми моделями, производительность увеличивается до двух раз.
Будущее MRDIMM: направления развития, ограничения и перспективы
Технология MRDIMM только начала развиваться, и хотя официальной дорожной карты пока нет, в индустрии есть общее представление о том, как она будет эволюционировать. Международная отраслевая группа по стандартизации полупроводниковых технологий JEDEC (Joint Electron Device Engineering Council) активно работает над стандартизацией DDR5 MRDIMM для серверных систем.
Несмотря на перспективность технологии, внедрение MRDIMM пока ограничено. Главная причина — более высокая стоимость модулей по сравнению со стандартными DDR5 RDIMM. Сложность и стоимость производства увеличивают дополнительные компоненты MRCD и MDB.
Еще одна проблема — более высокое энергопотребление и тепловыделение. Хотя MRDIMM обеспечивает лучшую энергоэффективность в пересчете на передаваемый байт данных, абсолютное энергопотребление и тепловыделение модуля выше. С этим как раз и должны помочь модули TFF — с увеличенной площади поверхности тепло отводится лучше.
Кроме того, остаются вопросы совместимости с существующими системами. Хотя MRDIMM использует тот же формфактор и разъемы, что и стандартные модули DDR5 RDIMM, для полноценной работы требуется поддержка со стороны процессора. Сегодня только процессоры Intel Xeon 6 с P-ядрами официально поддерживают MRDIMM, однако ожидается, что будущие процессоры AMD EPYC также получат такую поддержку.
Мы считаем, что MRDIMM не заменит DDR5 полностью. Скорее всего, мы увидим сосуществование стандартных модулей DDR5 RDIMM и MRDIMM, причем доля последних в высокопроизводительных серверных системах, особенно в сегментах искусственного интеллекта и высокопроизводительных вычислений, будет постепенно увеличиваться. А стандартные модули DDR5 RDIMM, вероятно, сохранят свои позиции в системах среднего класса и в приложениях, которые менее чувствительны к пропускной способности памяти.
kenomimi
Процы и так с тарелку размером уже :) так что имхо, но следующей итерацией будет установка на них HBMx памяти - например, 128/256 гигов быстрой оперативки распаяно, остальное набирай медленными планками. Не думаю, что будет сложным патч на ядро, собирающий "горячие" данные в быструю память и вытесняющий неиспользуемое в простую.
С видеокартами серверными вполне себе прокатило, и никого не парит здоровенный по площади чиплет.
mClouds_editor Автор
С видеокартами, кстати, тяжело из-за их прожорливости и тепловыделения соотвественно, в серверы их еще и не по одной ставим. С процессорами тоже не все гладко, 500 ватт на CPU уже реальность )
kenomimi
Так для ДЦ давным давно пора водянку ставить, только на хладагенте, чтобы при утечках не портить железо. Да, первичный инсталл в разы дороже, но потом выходит профит, так как воздушные кондицинеры - штука не очень эффективная. Почему не делают массово - большой вопрос...
melodictsk
Есть такие процессоры давно.