Для нас давно стала привычной быстрая смена «потребительских» технологий — появляются новые, более совершенные устройства, и предыдущее поколение, которое могло появиться всего полгода назад, уже выглядит устаревшим. В мире серверов это тоже есть, пусть и не столь явно, да и не с такой частотой. Тем интереснее выглядит маленькое открытие Кевина Хьюстона из BladesMadeSimple.com на рынке блейд-серверов.

Недавно меня спросили, не вижу ли я признаков ухода вендоров с рынка блейд-серверов? И если вижу, то что тогда они предлагают вместо блейдов? Если честно, вопрос меня удивил. Единственным намёком на какой-либо уход с этого рынка были гуляющие в последний год слухи о планах Cisco. Я уже писал об этом здесь, но захотел проверить, есть ли какие-то факты, подкрепляющие заданный мне вопрос. И меня удивило то, что я обнаружил. 

Хотя я обычно пишу только о вендорах категории “Tier 1”, мне удалось получить информацию об отгрузках блейд-серверов всех вендоров за последние десять лет. В приведённой ниже таблице я решил проанализировать средний объём отгрузок за каждый год.

Я ожидал, что данные покажут снижение объёмов, но не предполагал увидеть начало этой тенденции ещё в 2015-м. Посмотрите внимательнее на эти числа. У каждого вендора квартальные продажи в 2015-м достигали пика либо были близки к пиковым. А в последующие годы среднемесячные продажи падали.

А вот выборка только по вендорам категории “Tier 1”: Cisco, Dell, HPE и Lenovo.

Если вам удобнее смотреть на графики:

В чём причина снижения количества проданных серверов? Если вкратце, то на мой взгляд причина проста: по мере развития технологий увеличивается рассеиваемая мощность, и в результате создание плотной инфраструктуры из блейд-серверов теряет свою привлекательность. А вот полная версия моей теории.

Рассеиваемая мощность процессоров

Сначала важно определиться с тем, в каком направлении движется развитие экосистемы блейд-серверов. Я зашёл на сервис HPE Power Advisor и изучил базовую архитектуру HPE Synergy. Прежде всего обратил внимание на ProLiant Synergy 480 Gen 10. Я решил выбрать такую машину, которая олицетворяет облик будущего блейд-сервера: компактная, с двумя процессорами и возможностью установки большого объёма памяти. В качестве процессоров выбрал Intel Xeon 8280L. Калькулятор не показывает количество рассеиваемой мощности (TDP) для отдельных процессоров, поэтому я просто выбрал 28-ядерные устройства, поддерживающие много памяти. Суммарная теплоотдача двух процессоров оказалась равной 421 Вт.

Память и другие компоненты сервера

Затем я выбрал в калькулятор 24 планки по 128 Гб LRDIMM. Это добавило ещё 256,8 Вт (по 10,7 Вт на планку памяти). Для «загрузки» я выбрал два М.2-накопителя по 128 Гб — ещё 18 Вт (по 9 Вт на устройство). Наконец, в качестве сетевой карты выбрал 25/50 ГБ Mezzanine, которая рассеивает 22,2 Вт. В результате общая теплоотдача блейд-сервера достигла 708 Вт — не так уж плохо, но это ещё не всё.

Энергопотребление блейд-серверной инфраструктуры

В калькуляторе мощности я вернулся к выбору шасси для упомянутого блейд-сервера. Общая теплоотдача подскочила до 1367,16 Вт, а ведь я даже не добавил необходимые сетевые межблочные соединения. Выбрал два соединения по 20 ГБ, и требования по минимальному отводимому теплу возросли до 1402,95 Вт.

Давайте разберёмся. Если убрать расчёт мощности блейд-сервера, то получится, что инфраструктура шасси рассеивает 694,95 Вт. «Рама» (шасси) HPE Synergy поддерживает шесть блоков питания, мне пришлось использовать устройство на 2650 Вт. В спецификации QuickSpecs HPE указана поддержка блоков питания мощностью до 2950 Вт. Допустим, у нас схема 3+3, когда трёх блоков достаточно для питания всего шасси, что даёт нам 8850 Вт доступной энергии. Если вычесть минимальные 694,95 Вт инфраструктуры, то для блейд-серверов останется 8155,05 Вт.

Подсчитаем общую мощность

При доступных 8155 Вт и 12 слотах для серверов мы получаем среднее ограничение в 679 Вт на сервер. Этого достаточно для выбранной мной конфигураци. Но при добавлении серверов выбор компонентов становится всё меньше, поскольку уменьшается объём доступной энергии.

Я взял для этого примера процессоры Intel Xeon SP (Cascade Lake) с TDP в 205 Вт на процессор. А что будет, когда в 2022 выйдет архитектура Sapphire Rapids, а ещё через несколько лет — Granite Rapids? Рассеиваемая мощность окажется выше 205 Вт. Это заставит вендоров предлагать более мощные блоки питания, или даже ограничить разнообразие процессоров в портфеле продуктов. Кроме того, мы перейдём на оперативную память архитектуры DDR5, которая потребляет больше энергии, так что наверняка доступный объём памяти будет снижен, чтобы уложиться энерголимит. Возможно, расширить его позволят технологии наподобие CXL или  Gen-Z. Но если этого не случится, то, вероятно, мы наблюдаем начало конца блейд-серверов.

Мнение нашего эксперта

Константин Рябкин

Руководитель группы технического сопровождения продаж «Инфосистемы Джет»

Чтобы понять, уходят ли блейд-системы с рынка, вначале нужно разобраться: для чего они вообще нужны и где используются? Для ответа на эти вопросы нужно рассказать, из чего состоит блейд-система.

Классический набор компонентов:

  1. Шасси.    

  2. Вычислительный узел (ВУ).    

  3. Коммутатор LAN.    

  4. Коммутатор SAN.    

  5. Система питания.    

  6. Система охлаждения.    

  7. Модуль управления.    

  8. Модуль взаимодействия ВУ между собой.    

  9. Дисковые полки внутри шасси (редкая опция).

Состав современных блейд-систем:

  1. Шасси.    

  2. Вычислительный узел (ВУ).    

  3. Коммутатор LAN.    

  4. Коммутатор SAN.    

  5. Система питания. 

  6. Система охлаждения.    

  7. Модуль управления.    

  8. Модуль взаимодействия ВУ между собой.    

  9. Дисковые полки внутри шасси.    

  10. Модуль взаимодействия между шасси.    

  11. ПО управления.

Из списка компонентов видно, что сегодня блейд-системы представляют собой миниверсии ЦОД. В них есть всё необходимое для минимальной работоспособности систем. Это очень удобно для офисов, в которых мало места для размещения всех вычислительных мощностей. Если сравнивать блейды с обычным rack-оборудованием по занимаемым в стойках местам, то блейды экономят кучу пространства.

Например, HPE Synergy 12000 с 12 серверами займёт в стойке 10U, а такое же решение на rack-серверах — минимум 14-16U (12 серверов по 1U и минимум два коммутатора по 1U. Хотя коммутаторы в rack-системах могут быть гораздо функциональнее, чем в blade). И для маленьких офисов это прямо огонь и бомба!

Но сегодня мы сталкиваемся с более серьёзной проблемой — электропитанием. В современных ЦОДах питание на стойки подаётся в ограниченном объёме — 10 кВт на стойку в 42U. А в такую стойку поместится только одно блейдовое шасси.

И получается, что проблем с местом в стойках нет. Многие скажут: «Ну и что? Будет у нас серверная на 32 шкафа, и там 32 блейд-шасси, вот тебе и радость. В чём же подвох?» А подвох в стоимости этого железа! Функциональность у серверов rack и blade одинаковая, как и компоненты — процессоры, память, диски и адаптеры. При этом стоимость rack-сервера в основном складывается из стоимости процессоров и памяти, это самые дорогостоящие компоненты. А стоимость блейда будет складываться ещё и из стоимости шасси и коммутаторов, и в некоторых случаях понадобиться отдельная СХД.

И для БОЛЬШИХ ЦОДов на много серверов блейд-системы становятся просто не выгодны.

Мое мнение: блейды как отдельный класс останутся ещё на какое-то время, но как нишевое решение для офисов, которым нужно экономить место. Количество таких систем будет постепенно падать. Для примера, Huawei и Fujitsu прекратили производить блейды в 2019 году, а Oracle — вообще в 2012-м. Подозреваю, что и Lenovo в ближайшее время перейдёт на серверы высокой плотности вместо наследства от IBM FlexSystem (я не отношу серверы высокой плотности к блейд-системам, по моему мнению это разные классы устройств).

Комментарии (6)


  1. spqr_voldi
    17.02.2022 09:54
    +1

    Ну то есть вместо хайповой темы блейды наконец-то занимают положенную им нишу.


  1. quartz64
    17.02.2022 11:40

    Всё так. Это неизбежно, ведь до бесконечности увеличивать плотность нельзя. Проблема не только в охлаждении, но и в габаритах.

    Количество ядер в процессорах растёт, поэтому нужно наращивать количество линий PCIe и каналов доступа к DRAM. Взгляните на AMD EPYC и Intel (Ice Lake-SP) — это ж здоровенные кирпичи, им нужно в 4 раза больше площади, например, чем старым Westmere-EP. При этом нужно ещё и память разместить, а у нас теперь 8 каналов.

    Да, TDP и габариты за 10 выросли в 3-4 раза, но производительность выросла больше. Даже если просто считать по количеству ядер, то получаем 10-кратный прирост.


  1. ivoronin
    17.02.2022 14:56

    Да и общая коммодитизация серверного железа сказывается: многие фишки-плюшки блейдов вроде миграции аппаратных профилей серверов (sn, mac, wwn итп) потеряли свою актуальность и их функции уехали на значительно более высокие уровни технологического стека. Хотя лет 10 назад помню реально делали HA через IBM Fabric Manager, который умел детектить отказавшие лезвия и напяливать их адреса на запасные из резервного пула и включать их. Вместе с boot from SAN выглядело как чистая магия!


  1. little-brother
    17.02.2022 15:14

    >>Для примера, Huawei и Fujitsu прекратили производить блейды ...

    Хуавей прекратила и нормальные серверы производить, остались только любители ARM :)


  1. vagon333
    17.02.2022 17:04

    Для меня важно - кол-во ядер и возможность изоляции виртуального железа.
    Раньше только через дублирование в blade.
    Сейчас современный проц может вместить 64+ шустрых ядра и сумманый ресурс я могу порезать на изолированные виртуальные среды.
    При одинаковой вычислительной мощности, в местой дорогой blade проще 2U на 4 CPU + Big-ass-RAM + шустрое дисковое хранилище.


  1. inkvizitor68sl
    19.02.2022 01:14

    Вот, кстати, да.

    Какие блейды, если в Москве уже по 9-10 1U в стойку ставить приходится, дальше питание всё?

    (и, кстати, раз уж мы тут собрались - где вообще бывают стойки в РФ на 20-30 кВт хотя бы) ?