Давайте начистоту, мировой рынок серверов устоялся. На нём закрепились мастодонты, вроде Dell, HPE, Lenovo, IBM, Cisco, Huawei и другие. Все производят плюс-минус схожие линейки серверов: башенные, стоечные, блейд-системы.
Принципиально новых решений почти не появляется. Вышли на плато и скучную эволюционную модель развития. Но есть кое-что интересное, выбивающееся из серого однообразия — Dell PowerEdge VRTX. Модель не новая, но если стряхнуть пыль, то она сможет вас удивить.
Зови меня вэртекс, Dell вэртекс
Как уверяют ребята из Dell в своём блоге на Хабре, “VRTX” переводится с латыни как “высшая ступень”. Сильное заявление, спросить с ним я конечно не буду.
Из этой же статьи видим, что “VRTX” правильно читается как “вэр-текс”. Так и запишем. Но уберегу вас от недопониманий: сисадмины, которых я знаю, называют эту шайтан-коробку “вэр-тэ-икс”. Вне контекста другие варианты не считываются на слух.
С чудо неймингом от маркетологов разобрались, идём дальше.
Где деньги, Вэртовски?
Dell VRTX — это блейд-система, поэтому она стоит как перо птицы гуйя. Всем спасибо за прочтение статьи, всем пока.
Ладно, шутка :)
Но доля правды в ней есть. В 2013 году вэртекс (шасси + блейды) стоил прилично. Приведу пример с базовой комплектацией за $11 000 (≈$13 500 с поправкой на инфляцию):
2 лезвия M520
Xeon E5-2403, 4 ядра и 1,8 ГГц; 8 ГБ DDR3; 500 ГБ SATA-диск и контроллер Dell iDRAC7 Express)
Шасси
Один CMC (Chassis Management Controller, расскажу про него ниже), 2 блока питания по 1100 Вт, три SAS Near-Line емкостью 1 ТБ
Стандартная трехлетняя гарантия Dell NBD на шасси и узлы
А сегодня за ≈$16 000 (до недавних событий ≈$11 800) вы получите следующее:
4 лезвия M630
Xeon E5-2687W v3, 10 ядер и 3,1 ГГц; 128 ГБ DDR4; контроллер Dell iDRAC8 Express)
Шасси
Один CMC (Chassis Management Controller), 4 блока питания по 1100 Вт
Пятилетняя выездная гарантия Servermall на шасси и узлы
Да, нужно докупить диски, но вэртекс однозначно стал доступнее. Поэтому обсудим его предназначение.
Не место красит VRTX, а VRTX красит место
Dell позиционирует вэртекс как решение для SMB (small-medium business). Учитывая цену, я бы ориентировался на малый и средний бизнес, но некоторые макропредприятия также могут прикоснуться к прекрасному взять кредит с прекрасной ставкой от ЦБ, если того требует задача.
Критерии SMB | |||
Предприятие |
Сотрудники |
Годовой оборот: Европейский союз |
Годовой оборот: Россия |
Микро |
< 10 |
≤ €2 млн |
≤ ₽120 млн |
Малое |
< 50 |
≤ €10 млн |
≤ ₽800 млн |
Среднее |
< 250 |
≤ €50 млн |
≤ ₽2 млрд |
Но если немного отстраниться от цены, то есть важные преимущества Dell VRTX для небольших организаций: он не ревёт, как двигатель самолёта, он компактный, модульный (Blade-система) и самодостаточный: в одном шасси объединены серверы, СХД, сеть и управление.
И… Барабанная дробь…
ОНО — башенное (с возможностью прикрутить рельсы в стойку или колёсики).
Если классическим рэкам нужна дополнительная инфраструктура, то укомплектованный VRTX неплохо выступает соло. Не обязательны отдельное помещение и сплит-системы, огромные стойки и коммутаторы.
Розетка, эзернет кабель и поехали.
Кручу-верчу — разный форм-фактор хочу
Высота Dell PowerEdge VRTX — 5U. Как и у многих башенных серверов, есть два варианта по установке:
ТёмнаяБашня
Ножки ничего не напоминают? Как по мне — очень похоже на это ↓
RACK & ROLL
Прикручиваем направляющие “ReadyRails II” и размещаем в стандартную 19’ стойку.
Расширяемость: лезвий много не бывает
В Dell VRTX можно установить до четырёх блейд-серверов M-cерии с горячей заменой (данные с сайта производителя).
WARNING! Первые попавшиеся блейды от Dell M1000e не подойдут – есть отдельные лезвия “для PE VRTX”. Вроде бы похожи, а нет – не заведутся. |
Причём можно комбинировать двухсокетные полуформатные блейды с четырёхсокетными полноформатными. Или что-то одно – на ваш выбор.
Чтобы не ошибиться с выбором серверов для вашего шасси, продавец может попросить Service Tag. Посмотреть его можно на лицевой стороне, достав выдвижной лейбл.
Дальше будут технические характеристики последних поколений блейдов Dell PowerEdge: M630, M640 и M830. Старые M620, M520 и даже M610 поддерживаются, но я их обсуждать не буду. Смотрим и читаем ТХ под катом :)
Dell PowerEdge M630 (для PE VRTX) – двухсокетный полуформатный блейд-сервер
↓Технические характеристики↓
Процессор |
Семейство процессоров Intel Xeon E5-2600 v4, до 22 ядер каждый. |
Операционная система |
Microsoft® Windows Server® 2016; Microsoft Windows Server 2012 R2; SUSE® Linux Enterprise Server; Red Hat® Enterprise Linux; VMware® ESXi. |
Память |
До 1,5 Тбайт (24 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с (англ. megatransfers per second, MT/s). Регистровая с поддержкой ECC. |
Накопители |
Жесткие диски с возможностью горячей замены: PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD До 4 x 1.8" SSD. До 2 x 2.5" PCIe SSDs. Максимум 12.8TB |
Контроллеры запоминающих устройств |
Внутренние контроллеры: S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P. |
Dell PowerEdge M640 (для PE VRTX) – двухсокетный полуформатный блейд-сервер
↓Технические характеристики↓
Процессор |
Семейство процессоров Intel® 2nd Generation Xeon® Scalable, до 28 ядер каждый. |
Операционная система |
Microsoft Windows Server® with Hyper-V; Novell® SUSE® Linux Enterprise Server; Red Hat® Enterprise Linux; Canonical® Ubuntu® LTS; SUSE® Linux Enterprise Server Опциональные гипервизоры: Citrix® XenServer®; VMware® ESXi. |
Память |
До 2 Тбайт (16 разъемов для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32, 64 или 128 Гбайт с пропускной способностью до 2 933 МТ/с. Регистровая с поддержкой ECC. |
Накопители |
Жесткие диски с возможностью горячей замены: До 2 x 2.5” SAS/SATA (HDD/SSD), NVMe SSD, максимум 12.8TB. |
Контроллеры запоминающих устройств |
PERC S140 (программный RAID-контроллер), PERC 9 H330, H730P. |
Dell PowerEdge M830 (для PE VRTX) — четырёхсокетный полноформатный блейд-сервер
Технические характеристики↓
Процессор |
Семейство процессоров Intel Xeon семейства E5-4600 v4, до 22 ядер каждый. |
Операционная система |
Microsoft Windows Server® 2008/2012 R2 (with Hyper-V® enabled); Microsoft Windows Server 2012 (with Hyper-V enabled); Microsoft Windows Server 2008/2012 Datacenter (with Hyper-V enabled); Microsoft Windows Server 2008 R2 SP1 (with Hyper-V enabled); Microsoft Windows Server 2008 R2 SP2 x64/x86 (with Hyper-V enabled); Novell® SUSE® Linux Enterprise Server; Red Hat® Enterprise Linux; Опциональные гипервизоры: Citrix® XenServer®; VMware® ESXi. |
Память |
До 3 Тбайт (48 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с. Регистровая с поддержкой ECC. |
Накопители |
Жесткие диски с возможностью горячей замены: PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD 12 x 1.8" SSD; SATA HDD/SSD или SAS HDD/SSD 4 x 2.5"; PCIe SSD 2 x 2.5" и 2 x 2.5" SATA HDD/SSD или SAS HDD SSD. |
Контроллеры запоминающих устройств |
PERC S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P. |
К̶о̶ф̶е̶ Шасси 2 в 1
Самое интересное инженерное решение в вэртексе — это встроенная система хранения данных в двух вариантах: на 25 SFF или на 12 LFF накопителей (SSD и HDD). Учтите это при покупке шасси, так как корзину позже заменить нельзя. По интерфейсам – NLSAS, SAS, или SAS SSD.
Слоты общего хранилища подключаются к одному или двум RAID-контроллерам PERC через коммутируемый 6 Гигабитный SAS. PERC управляется через CMC (Chassis Management Controller) и позволяет настраивать RAID-массивы, а затем разделять их на отдельные виртуальные диски, которые привязываются к одному или нескольким блейдам.
Таблица с характеристиками поддерживаемых RAID.
Модели |
Поддержка интерфейса |
Поддержка PCI |
Разъемы SAS |
Размер кэш-памяти |
Кэш обратной записи |
Уровни RAID |
RAID-контроллер PowerEdge (PERC) серии 10 | ||||||
S140 Программный RAID |
6 Гбит / с SATA |
N / A |
N / A |
Нет кэша |
Нет кэша |
0,1,5,10 |
RAID-контроллер PowerEdge (PERC) серии 9 | ||||||
S130 Программный RAID |
6 Гбит / с SATA |
N / A |
N / A |
Нет кэша |
Нет кэша |
0,1,5,10 |
Адаптер PERC H330 |
12 Гбит / с SAS 6 Гбит / с SATA |
PCI-Экспресс 3.0 |
2x4 Внутренний |
Нет кэша |
Нет кэша |
0,1,5,10,50 |
Адаптер PERC H730 |
12 Гбит / с SAS 6 Гбит / с SATA |
PCI-Экспресс 3.0 |
2x4 Внутренний |
1 ГБ NV |
Кэш с поддержкой Flash |
0,1,5,6,10,50,60 |
Адаптер PERC H730P |
12 Гбит / с SAS 6 Гбит / с SATA |
PCI-Экспресс 3.0 |
2x4 Внутренний |
2 ГБ NV |
Кэш с поддержкой Flash |
0,1,5,6,10,50,60 |
Управление шасси без регистрации, но с CMC
CMС или Chassis Management Controller – это аппаратно-программное решение для управления несколькими blade-серверами через GUI по протоколу IPMI (Integrated Lights-Out). Некий аналог BMC (Baseboard Management Controller), но для всех лезвий и других систем одного VRTX. Подробнее про IPMI и BMC можно почитать в другой моей статье.
С аппаратной точки зрения это контроллер с собственным процессором и Flash-памятью, интерфейсы которого выходят на заднюю часть шасси VRTX (да, у M1000e он тоже есть, но они абсолютно разные и несовместимы).
Индикатор |
Состояние |
Описание |
Индикатор питания |
Горит зелёным |
CMC получает питание |
Выключен |
CMC не получает питание |
|
Индикатор состояния / идентификации |
Синий |
CMC активен и работает нормально |
Желтовато-оранжевый |
CMC находится в неисправном состоянии |
Программно он обеспечивает защищённый доступ через IPMI WEB-интерфейс, чтобы сисадмин мог просматривать консоль инвентаризации и мониторинга в режиме реального времени, менять настройки, удалённо управлять серверными узлами, вентиляторами, питанием, СХД, подсистемами PCIe, а также включать оповещения о событиях на серверах и в компонентах шасси VRTX.
Добавлю, что если вы уже работали с WEB-интерфейсом iDRAC или CMC M1000e, то вы легко справитесь и CMC VRTX. Это как пересесть с обычного велосипеда на горный :)
На Хабре уже есть подробная статья от Dell про начало работы в CMC. Повторяться не буду, но оставлю ссылку.
Питание: кушать подано
Вэртекс — парень прожорливый. Он поддерживает до 4-ёх БП переменного тока с сертификацией Platinum Plus.
Самое классное — это резервирование по схеме 3+1 или 2+2. Но учтите, что в схеме 2+2 два блока питания подключаются к одной сети, а другие два — к другой.
Мощность — 1100 Вт или 1600 Вт, комбинировать нельзя, нужны одинаковые.
Интересный факт. VRTX можно перевести в ждущий режим. Почти все комплектующие перестанут получать питание, кроме дежурного для CMC-контроллера, ЖК-дисплея и двух вентиляторов для охлаждения. |
Сеть, мастер на все шины
Dell VRTX поддерживает до 8 портов Ethernet. На выбор есть или коммутационная плата (для установки внутрь на холодную) или технология pass-through.
В современные шасси Dell VRTX на выбор устанавливается следующее:
Внутренний 24-портовый коммутатор 1GbE;
Внутренний 8-портовый сквозной модуль 1GbE;
Внутренний свитч на 10GbE.
В блейд серверах картина такая:
В M520 используется четырехпортовый LOM 1 GbE;
M620 имеет 10 GbE NDC (network daughter card), включая карты Broadcom и Intel, совместимые с 1 GbE;
Лезвия M630 и M640 имеют как 1 GbE, так и 10 GbE NDC.
Мэппинг портов на блейдах половинной высоты.
Список поддерживаемых карт под катом:
6 Gb/s SAS HBA (low-profile и full-height) – только для M520, M620 и M820
Broadcom dual-port 1 Gb Base-T (low-profile и full-height)
Broadcom quad-port 1 Gb Base-T (low-profile и full-height)
Intel dual-port 1 Gb Base-T (low-profile и full-height)
Intel dual-port 10 Gb Base-T (low-profile и full-height)
Intel dual-port 10 Gb Base-SFP+ (low-profile и full-height)
Intel quad-port 1 Gb Base-T (low-profile и full-height)
Intel quad-port 10 Gb Base-SFP+ (low-profile и full-height)
Broadcom dual-port 10 Gb Base-SFP+ (low-profile и full-height)
Broadcom dual-port 10 Gb Base-T (low-profile и full-height)
Emulex FC8: LPe12002 8 Gb/s Dual Port (low profile и full height)
Qlogic FC16 single-port HBA (low profile и full height) – только для M630
Micron P420M MLC PCIe 1.4 TB Solid-State Storage Card (full height) – только для M630
Micron P420M MLC PCIe 700 GB Solid-State Storage Card (full height) – только для M630
Немного о корпусе и архитектуре
Корпус изготовлен преимущественно из металла, покрытого приятной на ощупь краской. Местами есть пластмассовые элементы. Вентилятор и блоки питания очень просто достаются на горячую и заменяются. На передней части корпуса есть миниатюрный ЖК-дисплей с кнопками управления. Штука полезная, с него, например, можно провести первичную настройку CMC, проверить состояние вентиляторов.
Встроенный KVM на месте. С его помощью по интерфейсам можно подключиться к отдельному северному узлу в шасси. При этом можно обойтись без подключения клавиатуры, мыши и монитора. Спасибо CMC-контроллеру.
Передняя и боковая крышки закрываются на ключ. Вы ведь помните позиционирование VRTX? Офисы, где полно любопытных сотрудников. А вэртекс привлекает внимание — не сомневайтесь.
Заглянув под крышку Dell PE VRTX, понимаешь, что инженеры очень постарались, чтобы уместить 4 сервера, коммутатор и СХД в компактный корпус 5U.
Из интересного.
Для Fabrics B и С вместо привычных модулей ввода и вывода Dell сделала слоты PCIe и два внутренних свитча (Fab B Switch, Fab C Switch).
Fab B свитч обеспечивает подключение к следующим слотам:
PCIe 3;
PCIe 6;
PCIe 7;
PCIe 8;
SPERC (Shared PowerEdge RAID Controller)
Fab C свитчу отдали другие:
PCIe 1;
PCIe 2;
PCIe 4;
PCIe 5;
Всего на борту 3 полновысотных и 5 низкопрофильных PCIe. Подробнее в таблице.
Слот |
Fabric |
Ширина |
Поддерживаемый размер карты |
Максимальная выделенная мощность |
1 |
C |
x8 |
(FH) Full-Height |
150W |
2 |
C |
x8 |
(FH) Full-Height |
150W |
3 |
B |
x8 |
(FH) Full-Height |
150W |
4 |
C |
x8 |
(LP) Low-Profile |
25W |
5 |
C |
x8 |
(LP) Low-Profile |
25W |
6 |
B |
x8 |
(LP) Low-Profile |
25W |
7 |
B |
x8 |
(LP) Low-Profile |
25W |
8 |
B |
x8 |
(LP) Low-Profile |
25W |
PERC |
B |
x8 |
PERC-mini |
25W |
Как раз за этой наклейкой находится Riser Card с тремя PCIe слотами. Выглядит она следующим образом.
Опционально туда можно установить полноразмерную GPGPU (General-purpose computing on graphics processing units). Совместимость лучше уточняйте у производителя карты или у продавца перед покупкой. Но официальный список поддерживаемых карт от Dell не обновлялся с 2020:
AMD FirePro W7000;
NVIDIA K2 active GPGPU (full height).
Цены: VRTX vs TOWER. FIGHT!
Пришло время смертельных приемов! В небольшие офисы обычно берут башенные серверы. Вот и посмотрим, что выгоднее взять: 4 штуки Dell T630 или один Dell PE VRTX с 4 лезвиями M630 одинаковой конфигурации. Для удобства буду округлять до тысяч, а также рассчитаю стоимость без учёта софта и дисков.
Цены на 29.04.2022, актуальные можно посмотреть на нашем сайте servermall.ru
Шасси Dell VRTX + 4 х БП по 1100W; 4 штуки Dell M630: 2 x Xeon E5-2687w v3; ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом. Итого: 1 273 050 руб. |
4 штуки Dell R630: 2 x Xeon E5-2667 v3 в каждом; ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом; 2 х БП Dell 750w Hot Plug в каждом. Итого: 4 x 264 000 = 1 056 000 руб. |
СХД на 25 SFF дисков встроено в шасси. |
СХД СХД Dell JBOD ME424HD SAS 24 SFF – 392 000 руб. |
Коммутатор встроен в шасси. |
Коммутатор Dell N2024 – 42 000 руб. |
Итого: 1 273 000 руб. |
Итого: 1 490 000 руб. + понадобятся патч-корды для коммутации между всеми устройствами. И учитывайте, что 4 сервера, СХД и коммутатор потреблют больше электроэенергии. |
Резюмируем
Плюсы:
Универсальный комбайн, объединяющий в себе серверы, СХД (до 48 ТБ), сети, системы мониторинга и управления;
Компактное башенное решение формата 5U для малого и среднего бизнеса, удобно размещать в маленьких и домашних офисах, где нет серверной;
Портативность и быстрое развёртывание (обработка чего-либо сразу на объекте). Да, 4 сервера Dell T630 можно поставить под столы сотрудникам в офисе, но загрузить их в багажник и поехать на объект — уже проблема.
Относительно низкий уровень шума – 35-37 дБА, тогда как один стоечный Dell R630 выдаёт 29-43 дБА, в зависимости от конфигурации.
Для сравнения напольный вентилятор Zanussi ZFF-910, который находится у нас в офисе, выдаёт 37 дБ на расстоянии 1м. Слышно, но работать не мешает;
Два варианта установки: tower и rack;
Масштабируемость и вариативность: до 4-х двухпроцессорных или до 2-х четырёхпроцессорных блейдов;
Меньше патч-кордов и проще коммутация, так как не нужно отдельно подключаться к каждому серверу;
Удобное управление сетевыми подключениями;
Возможность удобного управления из одной консоли без установки дополнительного софта;
Высокая надёжность, почти все элементы можно зарезервировать;
Можно установить огромное количество памяти, например, для виртуализации. До 2 Тб в M640, а всего 8 Тб.
Минусы:
Есть слабые места. Например, одна коммутационная плата Backplane у шасси. Если выйдет из строя, то упадут все серверы VRTX;
Масштабируемость ограничена пределами шасси;
Невозможность разделения. Чтобы перенести половину серверов в другой кластер, нужно ещё одно шасси;
Отставание от классических серверов. У Dell в прошлом году вышло 15-ое поколение, а модули для VRTX максимум 14-ого.
Я бы сказал, что Dell VRTX — это не отдельное устройство, а самодостаточная серверная с питанием от розетки 220 В. И если в 2013 цена кусалась, то в 2022 вэртекс можно приобрести за адекватные деньги.
Комментарии (14)
Viacheslav01
03.05.2022 13:08"но некоторые макропредприятия" - задаюсь вопросом, что это за макропредприятия такие )
vagon333
03.05.2022 14:34Действительно, для мелкой компании хорошее решение.
По ценам: если взять слегка скромнее процы (2650), то можно срезать цену в половину.
https://www.ebay.com/itm/275156483751
Вобщем - вполне кандидат в чуланчик, на многолетний труд.
juffinhalli
03.05.2022 14:38+2Вендор-лок на дефицитные диски по конским ценам для СХД прилагается бесплатно?
Loxmatiymamont
03.05.2022 14:48+2И зачем это всё, если делл прекратил поставки (но это ещё ладно) и не осуществляет гарантийное обслуживание(это уже критично)?
vikarti
03.05.2022 15:40Видимо из-за
Пятилетняя выездная гарантия Servermall на шасси и узлы
Вопрос правда что в нее входит.
Loxmatiymamont
03.05.2022 15:44+1Шасси и узлы они из воздуха явно не возьмут. А если это серый импорт, то сроки поставки будут крайне удручающими.
Decoupler
03.05.2022 23:21+1Еще учтите, что все запчасти будет оттертое тряпочками от пыли и грязи б/у вторсырье :)
redneko
03.05.2022 21:18+2Выезд специалиста с пакетом запчастей и передача их на пограничном пункте через забор?
Decoupler
03.05.2022 23:20Вопрос правда что в нее входит.
Да как обычно - "Мы вам обещаем привезти запчасть".
Естественно, если для восстановления работоспособности помимо замены запчасти нужно немножечко что-нибудь сделать на уровне внутрисистемного ПО, вот тут "гаражные гарантийщики" с грохотом сливаются в унитаз.
amarao
04.05.2022 12:07Выездная гарантия предоставляется выездным гражданам за пределами страны.
/Ваш капитан Очевидность.
amarao
https://www.wsj.com/livecoverage/russia-ukraine-latest-news-2022-03-01/card/dell-halts-sales-in-russia-fvpuoKHYCV3WKSKjOGLy
AngelNet
На самом деле все гораздо запущенней чем написано тут. По факту я недавно переустанавливал накопители *(на ссд) на двух ноутбуках DELL у друга, зашел на оффсайт за драйверами, а мне средний палец показали вместо драйверов.
В итоге удалось скачать необходимый софт и обновления для БИОС только через туннель в швеции. С айпи ростелеком демонстрировало ругательную плашку и ничего не отдавало.
Российский IP: https://klikr.org/5de3c7fda51574940f54f15c8615.png
Шведский IP https://klikr.org/f15ead5cebffa34e64134491d062.png
Вот такие "пирожки с котятами".
amarao
Ну да. Тяжело, когда весь мир от страны отворачивается.