Форм-фактор 2,5 дюйма (U.2), изначально созданный для жестких дисков, не справляется с растущими требованиями к скорости, плотности и тепловым характеристикам современных флеш-накопителей.

На смену U.2 приходит EDSFF E3 — новый стандарт, разработанный специально для серверных SSD. В этой статье подробно разберем его технические возможности, влияние на серверные платформы и доступные на рынке решения. А еще расскажем, как он изменит подходы к проектированию серверных систем.

Что такое EDSFF E3 и почему он приходит на смену U.2

EDSFF E3 (Enterprise and Data Center Standard Form Factor E3) — это новый стандарт форм-фактора для серверных SSD-накопителей, разработанный специально для современных и будущих дата-центров. Он призван заменить устаревающий форм-фактор U.2, ранее известный как SFF-8639. U.2 стандартизировали в декабре 2011 года, но массово применять в серверах начали в 2015–2016 годах. Однако с появлением PCIe 5.0 в 2022 году и ростом требований к производительности накопителей U.2 достиг своих технологических пределов.

Основная проблема U.2 в том, что этот форм-фактор изначально проектировался для жестких дисков, а не для SSD на основе флеш-памяти. В дата-центрах востребованы накопители с высокой производительностью, а стандарт PCIe 5.0 позволяет достигать пропускной способности до 14 ГБ/с при последовательном чтении. 

Кроме того, современные вычислительные системы могут использовать до 16 линий PCIe и потреблять до 70 Вт мощности для специализированных ускорителей — технические параметры, с которыми форм-фактор U.2 не может справиться.

Среди ключевых ограничений U.2:

• Мощность. U.2 ограничен 25 Вт, тогда как современные накопители на базе PCIe 5.0 для достижения максимальной пропускной способности потребляют около 30–40 Вт.

• Охлаждение. Вертикальное расположение накопителей U.2 в сервере создает препятствия для воздушного потока, поскольку охлаждение может быть затруднено бэкплейном. Это может приводить к перегреву как самих SSD, так и других компонентов.

• Сигнальная целостность. Разъем SFF-8639, используемый в U.2, не был спроектирован для работы на высоких частотах PCIe 5.0 (32 Гбит/с) и PCIe 6.0 (64 Гбит/с), что приводит к искажениям сигнала и потенциальным проблемам с надежностью.

• Плотность размещения. В типичном сервере 1U можно разместить только 10–12 накопителей U.2, что ограничивает максимальную емкость хранения и общую производительность системы.

Что нового в EDSFF E3 и как он меняет архитектуру современных серверов

EDSFF E3 разрабатывался с учетом перспективных технологий, среди которых:

• Полная поддержка PCIe Gen5 (32 ГТ/с) с готовностью к PCIe Gen6 (64 ГТ/с).

• Совместимость с CXL (Compute Express Link) — новым открытым стандартом для высокоскоростного соединения процессоров, ускорителей и памяти.

Помимо этого, у EDSFF E3 есть еще несколько явных достоинств:

Масштабируемые профили мощности для разных задач. Семейство EDSFF E3 предлагает широкий диапазон профилей мощности, адаптированных под различные сценарии использования:

• E3.S (Short) — базовый вариант размером 76 × 112,75 × 7,5 мм. Сам форм-фактор предназначен для стандартных NVMe SSD и поддерживает мощность до 25 Вт. Именно E3.S стал наиболее распространенным вариантом в типовых серверных конфигурациях и выступает прямой заменой для большинства накопителей U.2.

• E3.S 2T (Short Thick) — утолщенная версия (16,8 мм). Этот форм-фактор рассчитан на высокопроизводительные устройства и поддерживает мощность до 40 Вт, а также различные конфигурации линий PCIe (x4, x8 или x16).

• E3.L (Long) — удлиненный вариант (142,2 мм). Сам форм-фактор предназначен для накопителей максимальной емкости и поддерживает мощность до 40 Вт.

• E3.L 2T (Long Thick) — самый крупный формат в семействе. Этот форм-фактор предназначен для FPGA или ускорителей, поддерживает мощность до 70 Вт и различные конфигурации линий PCIe (x4, x8 или x16).

Разнообразие форматов позволяет создавать устройства с разными характеристиками производительности: от стандартных накопителей до высокопроизводительных ускорителей.

Увеличение плотности хранения. Вместо 10–12 дисков в традиционной архитектуре с U.2, EDSFF E3 позволяет разместить до 32 накопителей E3.S (7,5 мм) в том же сервере 1U. Однако на практике чаще встречаются конфигурации с 24–28 слотами из-за необходимости размещения дополнительных компонентов.

Высокая плотность достигается благодаря более эффективной компоновке чипов NAND на печатной плате. E3.S 2T вмещает на 25–50% больше флеш-памяти по сравнению с U.2 (высотой 15 мм), что дает больше емкости в том же форм-факторе.

Улучшенное охлаждение. Вместо вертикальной объединительной платы используется плоская средняя плата (midplane) с вертикальными разъемами. Такая конструкция не создает барьера для воздушного потока, позволяя ему свободно проходить через весь сервер. 

Согласно данным NVMe Express Organization, EDSFF SSD требуют до 55% меньше охлаждения по сравнению с U.2 SSD при различных значениях воздушного потока.

Универсальный разъем и поддержка устройств. Разъем EDSFF, определенный спецификацией SFF-TA-1002, — это универсальное решение для всех форм-факторов E3. В отличие от разъема SFF-8639, используемого в U.2, он специально разработан для высокоскоростных интерфейсов и поддерживает PCIe Gen5.

Этот разъем поддерживает различные конфигурации линий PCIe (x4, x8, x16), что делает его подходящим не только для SSD, но и для других типов устройств:

• NVMe SSD с различными требованиями к пропускной способности.

• Модулей памяти класса хранения SCM и CXL.

• Вычислительных хранилищ и устройств с искусственным интеллектом.

• FPGA и других ускорителей.

• Сетевых карт и других устройств ввода-вывода.

Благодаря такой универсальности можно создавать гибкие серверные системы, где в одних и тех же слотах используются различные типы устройств в зависимости от задач. Например, в сервере 1U получится разместить комбинацию из высокопроизводительных SSD E3.S 2T для быстрого доступа к данным и специализированных ускорителей E3.L 2T для обработки этих данных.

Какие решения с EDSFF E3 уже доступны на рынке и чего ожидать в ближайшем будущем

Рынок решений на базе EDSFF E3 активно развивается, и ведущие производители уже предлагают как накопители, так и серверные платформы с поддержкой этого стандарта.

KIOXIA одной из первых представила линейку CD7 Series E3.S SSD с поддержкой PCIe 5.0, которые появились в серверах HPE. Эти накопители емкостью до 7,68 ТБ, обеспечивают скорость чтения до 6450 МБ/с и до 1050K IOPS случайного чтения. Задержка при чтении составляет всего 75 мкс, а при записи — 14 мкс, что на 17 и 60% меньше по сравнению с SSD предыдущего поколения на PCIe 4.0. Но и эти накопители уже заменяются на следующую линейку.

Актуальная линейка серии CD8P для ЦОД в форм-факторе E3.S с поддержкой PCIe 5.0. Эти накопители обеспечивают скорость чтения до 12 000 МБ/с. Они доступны в двух версиях: для интенсивного чтения (Read Intensive, 1 DWPD на 5 лет) с емкостью от 1,92 до 15,36 ТБ и для смешанного использования (Mixed Use, 3 DWPD на 5 лет) с емкостью от 1,6 до 12,8 ТБ. Но и этой линейке уже анонсирована замена на CD9P, с емкостью до 61,44 ТБ.

А что уже есть в серверых платформах?

На рынке серверных платформ Dell Technologies предлагает несколько моделей с поддержкой EDSFF E3: 

• PowerEdge R770 — это 2U-сервер, который поддерживает до 40 накопителей EDSFF E3.S Gen5 NVMe SSD с общей емкостью до 614,4 ТБ.

• PowerEdge R660 — 1U-сервер с двумя сокетами, поддерживающий до 16 накопителей EDSFF E3.S Gen5 NVMe SSD в передних отсеках с максимальной емкостью 204,8 ТБ, а также дополнительно до двух накопителей E3.S Gen5 NVMe SSD на задней панели с емкостью до 25,6 ТБ.

Эти серверы работают на различных поколениях процессоров Intel: PowerEdge R770 поддерживает процессоры Intel Xeon 6-го поколения, а PowerEdge R660 — процессоры Intel Xeon Scalable 4-го и 5-го поколения.

Lenovo предлагает ThinkSystem SR650 V4 — универсальный 2U-сервер, поддерживающий до 32 накопителей E3.S NVMe на передней панели. Этот сервер на базе процессоров Intel Xeon 6 оптимизирован для широкого спектра рабочих нагрузок, включая виртуализацию, базы данных и аналитические приложения.

В будущем ожидается расширение экосистемы EDSFF E3 за счет новых серверных платформ и накопителей с поддержкой PCIe 6.0. Основным драйвером роста будет развитие рабочих нагрузок искусственного интеллекта и машинного обучения, которые требуют высокой производительности хранения данных.

Кроме того, EDSFF E3 адаптируют не только для SSD, но и для других типов устройств. Например, форм-фактор E3 станет стандартом для модулей памяти CXL. А форм-фактор E3.L 2T с поддержкой мощности до 70 Вт идеально подходит для специализированных ускорителей, FPGA и AI-ускорителей.

Как думаете, когда ждать EDSFF E3 в российских серверах, например Aquarius или YADRO, и ждать ли вообще? Мы пока не видели новый стандарт даже в анонсах)