Привет Хабр! За бортом 2017 год и на рынке доступны новые сервера поколения HP G9, а скоро думаю появятся и HP G10.
Но «денег нет», и вы приняли решение купить БУ сервер или провести оптимизацию существующего парка серверов. И в этом случае я хочу обратить ваше внимание на пару моментов связанных с дисковой подсистемой сервера HP DL120 G7.
Сервер уже пару месяцев лежал на складе после закрытия филиала, и я решил сделать из него что-то полезное в виде файлового хранилища.
Мне достался сервер 628692-421 c хот плаг дисками 3,5(4 шт), процессором Xeon E3-1240, 16гб рам и контроллер Smart Array P212/256MB c дисками SAS 10k 400GB.
HP Smart Array P212
Этот контроллер можно встретить почти во всех серверах HP поколения G5/G6/G7. Список серверов можно найти на сайте HPE QuickSpecs.
Если в сервере установлен опциональный контроллер Smart Array, вы сможете мониторить состояние дисков через ILO3.
На скриншоте вы можете наблюдать состояние диска HGST HTS721010A, устанавливая не оригинальные диски в сервера HP вы рискуете получать не достоверную информацию про диски. В данном случаи не правильно определяется температура диска, в результате сервер выводит обороты вентиляторов на 100% скорости и серверная превращается в пилораму.
Вывод № 1 – не все диски одинаково полезны, «выбирайте оригинальные диски HP».
По умолчанию контроллер HP Smart Array P212 кэширует только операции чтения, а для включения кэширования операций записи рекомендуется установка Battery Kit.
При отсутствии Battery Kit есть вероятность потерять данные при отключении электричества. Если вы включили кэширование операций записи без батарейки — делаете это вы на свой страх и риск.
Если вы не включите кэш на запись — HDD будут показывать результаты по скорости заметно ниже. Большой кэш на чтения ощутимого влияния на результат не даст.
Давайте посмотрим на то как настройки кэширования влияют на скорость.
В качестве попугаев я выбрал скорость клонирования VM размером 38 ГБ.
1 — Копирование с диска SAS 10k на диск SATA 7k
2 — Копирование с диска SAS 10k на диск SAS 10k(2,5inch)
3 — Копирование с диска SATA 7k на диск SAS 10k
4 — Копирование с диска SATA 7k на диск SAS 10k(2,5inch)
5 — Копирование с диска SAS 10k(2,5inch) на диск SATA 7k
Вывод № 2 – отдавайте на запись не менее 50% от размера кеш памяти.
Про SAS диски
Обратите внимание на копирование между SAS 10к дисками, в некоторых случаях 10к проигрывает 7к SATA дискам.
Стоит признать что локальные диски SAS 10k в серверах все менее актуальны, эти диски не могут конкурировать по количеству операций с SSD.
HP Smart Array P212 + SSD
В серверах у меня все еще нету SSD и я решил посмотреть как не самый новый Smart Array контроллер переживет подключение SSD.
У меня был один единственный SSD Kingston SHFS37 на 120 ГБ который я вынул из ноутбука. Хочу сразу отметить что для серверов необходимо выбирать SSD с защитой от пропадания питания, такая защита заявлена производителями в дисках Intel DC и Kingston KC400.
SSD определился и его состояние можно наблюдать через ILO3.
Тестирование SSD
1,2 — Копирование с диска SATA на диск SSD
3,4 — Копирование с диска SSD на диск SATA
5,6 — Копирование с диска SATA на диск SATA
7,8,9 — Копирование с диска SSD на диск SSD
Если отключить кэширование записи, потеря скорости SSD не заметна, в то время как SATA HDD заметно проседает.
Вывод № 3 – SSD показывает отличную скорость и его можно использовать без кэширования операций записи.
HP Smart Array B110i
Если опциональный HP Smart Array контролер отсутствует в сервере, диски будут работать с контроллером на материнской плате HP Smart Array B110i. К B110i можно подключить только SATA диски.
HP Smart Array B110i Можно встретить в серверах HP ML110, ML150, ML330, DL120, DL160, DL180, DL320 поколения G6, и в серверах ML110, DL120, DL165 поколения G7. Также этот контроллер встречается в некоторых серверах серии SL.
Контроллер по умолчанию работает в режиме SATA Legacy, сразу отмечу что это не самый удачный режим, с такими настройками диски будут работать очень медленно.
По умолчанию кеш дисков отключен, если вы его включите есть вероятность потерять данные при отключении электричества.
Доступны три режима работы контроллера:
1 — SATA RAID
2 — SATA AHCI
3 — SATA Legacy
VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру, и по этому дальше я буду тестировать сервер установив на него WS2012R2.
1 — SATA Legacy
В режиме SATA Legacy Windows по умолчанию включает программный кеш на запись, и это означает что есть вероятность потерять данные при отключении электричества.
После отключения кэширования падение скорости для обычных дисков ужасна, 20 MB/s это очень удачный скриншот — и результаты могут быть гораздо хуже.
2 — SATA AHCI
Программное кэширование операций записи также включено по умолчанию.
После отключения кэширования HDD просели не так сильно как в случаи SATA Legacy.
Вывод номер 4 – В случаи если вам не нужен аппаратный RAID, HDD должны работать в режиме AHCI, а программное кэширование операций записи следует отключить чтобы гарантировать сохранность данных.
3 — SATA RAID
HP Smart Array B110i поддерживает только «программный рейд» R10 и R1. Хочется написать про него что-то плохое — но не думаю что у вас могут быть с ним проблемы, но все же при любой возможности делайте апдейт до полноценного HP HP Smart Array, с кэш памятью и батарейками.
Включить кэширование записи в Windows не получится, данная ф-ция не поддерживается драйверами контроллера. Для HP Smart Array P212 программное кэширование включить также не получится.
В этот раз я объединил два сата диска в R1, и по этому средняя скорость получилась больше.
Про надежность и сохранность данных
В процессе того как я переключал диски между контроллерами и менял диски, несколько раз была потеряна конфигурация контроллеров и все массивы развалились. Будьте осторожны при подобных рокировках.
Обращаю внимание на это по тому что HP ранее заявляли совместимость конфигурация рейд массивов при перестановки дисков между контроллерами или между серверами.
Вывод номер 5 – храните резервные копии на отдельном устройстве.
ИТОГО
1 – Не все диски одинаково полезны, «выбирайте оригинальные диски HP».
2 – Отдавайте на запись не менее 50% от размера кеш памяти.
3 – SSD показывает отличную скорость и его можно использовать без кэширования операций записи.
4 – В случаи если вам не нужен аппаратный RAID, HDD должны работать в режиме AHCI, а программное кэширование операций записи следует отключить чтобы гарантировать сохранность данных.
5 – храните резервные копии на отдельном устройстве.
П.С.
Для настройки дисковой подсистемы из графической консоли нужно скачать образ загрузочного диска HP Smart Start CD 8.70(B).
Для большего удобства при работе с сервером не помешает лицензия на HP ILO Advanced, демо лицензию можно получить тут.
Комментарии (43)
Taciturn
07.06.2017 09:29Тестирование копированием файлов это конечно замечательно, но нельзя ли хотя бы CrystalMark запустить?
dklm
07.06.2017 09:36а зачем CrystalMark? первое что я делаю после подготовки сервера заливаю на него ВМ, а это почти банальное копирование.
у меня есть скрины с iometer, но количество случайных иопсов никак не поможет оценить влияние настроек кеш памяти.
Tomas_Torquemada
07.06.2017 10:19SSD показывает отличную скорость и его можно использовать без кэширования операций записи.
Скандалы, интриги, расследования :)
https://www.hpe.com/h20195/v2/GetPDF.aspx/4AA4-8144ENW.pdf
VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру
Умеет в версиях 5.5, 6.0, 6.5
http://h20564.www2.hpe.com/hpsc/swd/public/readIndex?sp4ts.oid=3958194
Для серверов HPE вообще рекомендуется использовать HP Custom Image for ESXi, чтобы таких заключений не возникало.
http://h20564.www2.hpe.com/hpsc/swd/public/detail?swItemId=MTX_92f4a00ff5384796a7a883c497
Для большего удобства при работе с сервером не помешает лицензия на HP ILO Advanced
Она для rack'ового сервера необходима, если нужно в консоли что-то дальше post'а видеть.
Обращаю внимание на это по тому что HP ранее заявляли совместимость конфигурация рейд массивов при перестановки дисков между контроллерами или между серверами.
Можно увидеть документ от HPE, в котром заявлена совместимость массивов между P и B-контроллерами?
Для настройки дисковой подсистемы из графической консоли нужно скачать образ загрузочного диска HP Smart Start CD 8.70(B).
SmartStart — это для поколений серверов пенсионного возраста.
Для G7 можно и нужно использовать Service Pack for ProLiant, конкретно для этого сервера — можно и последнюю его версию, 2017.04.0.
Для конфигурирования и обновления firmware&drivers.
http://h20564.www2.hpe.com/hpsc/swd/public/readIndex?sp4ts.oid=5075937&swLangOid=8&swEnvOid=4168dklm
07.06.2017 10:33Сервер HP DL120 G7 отсутствует в списках VMware Compatibility Guide ;-)
И без бубна HP Custom Image for ESXi не поможет вам с работать с рейд массивом на B110i.
Tomas_Torquemada
07.06.2017 11:09О кастомном образе я в целом для серверов HPE, а не о DL120 G7.
А то устанавливая чистый образ от VMware можно не только с raid-контроллерами натанцеваться.
Например, нет в образе драйверов для сетевого адаптера — установка просто не пройдёт. Ну и так далее.
Установку же гипервизора на non-HCL сервер я просто не стал комментировать, это личный выбор вида боли сзади ;-)dklm
07.06.2017 11:22+1VMware-ESXi-5.5.0-Update1-1746018-HP-5.75.4-Dec2014 не видит собранный массив из 2х дисков на B110i.
П.С.
http://saddastus.blogspot.com/2012/09/vmware-vsphere-client-50-hp-proliant.html
https://community.spiceworks.com/topic/214698-new-hp-server-with-vm-ware-raid-question
Tomas_Torquemada
07.06.2017 11:35-1не видит собранный массив из 2х дисков на B110i.
Диски HPE использовались?
Tomas_Torquemada
07.06.2017 12:47VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру
Умеет в версиях 5.5, 6.0, 6.5
Это я наврал всё-таки.
Нашёл чёртову железяку, на складе уже — но там всё же B120 стоит, а не B110, ProLiant ML10.
Виноват, каюсь.
Tomas_Torquemada
07.06.2017 10:28а скоро думаю появятся и HP G10.
Уже.
https://news.hpe.com/discover-las-vegas-2017/
On June 5, 2017, Hewlett Packard Enterprise revealed the world’s most secure industry standard servers with the introduction of its next-generation ProLiant portfolio.
barkalov
07.06.2017 11:21Оффтопик: А вот эти салазки для hdd, что на фото — они стандартизированные? У меня в корпусе подобные и всегда было интересно это стандарт такой или у каждого свои?
Tomas_Torquemada
07.06.2017 11:32+1У всех свои.
О других вендорах не скажу, а у HPE даже между поколениями серверов могут быть несовместимы.gaidukav
12.06.2017 14:53+1Не все так страшно у HPE.
Салазки для HP/HPE серверов есть «до G7 включительно» и «от G8».
то есть всего ДВА вида (естественно, каждого типа есть для 2.5" и 3.5").
Салазки «до G7» — это вообще тупые метало-пластиковые конструкции,
«от G8» — имеют на борту малюсенький контроллер, который красиво моргает светодиодами и умеет подавать на backplane сигнал об отключении диска при нажатии кнопки.
При установке в сервера дисков Enterprise-класса от разных производителей никаких проблем не возникает, достаточно пройтись по серверу свежим PSP, который найдет все «не по ХеПе-шному» прошитые диски и перепрошьёт их как надо.
--в хозяйстве несколько десятков серверов (ML/DL/BL) от G5 до G9 с полутора сотней разных дисков…Tomas_Torquemada
12.06.2017 16:08Да я вроде и не говорил, что там что-то страшно — просто не вдавался в подробности.
А размером «хозяйства» впечатлили, да )))gaidukav
14.06.2017 13:21я не о размере хозяйства.
— разнообразие HP-зоопарка в наличии достаточно большое, чтоб знать тонкости.
dklm
07.06.2017 11:33+2Каждый производитель как хочет так и…
В серверах HP поколения G5/G6/G7 салазки для дисков одинаковые и эти диски можно переставить в HP MSA, это очень удобно. Но для серверов G8/G9 сделали новые салазки и переставить в головное устройство HP MSA уже не получится, только в опциональную внешнюю полку.khanid
08.06.2017 19:20Странно. У меня g8 и msa2040 из числа первых. Визуально салазки одинаковые были. Хотя и отличные от тех, что на фото. С красной кнопкой фиксатора.
Unit
07.06.2017 11:35Являюсь счастливым обладателем HPE ProLiant MicroServer Gen8, там стоит тот же RAID-контроллер HP Smart Array B110i.
В режиме AHCI(для меня приоритетный вариант) возможна загрузка только с SD или USB на материнке, потому загрузчик примонтирован на SD, система на SSD в ODD, а корзина под диски. Как понимаю в представленном сервере нет такого ограничения?dklm
07.06.2017 11:38В сервере HPE ProLiant MicroServer Gen8 установлен Smart Array B120i Controller. ESXi я всегда устанавливаю на SD карту… На диски подключенные к b110 я установил все без проблем — драйвер для b110 лежат на сайте HP.
Unit
07.06.2017 11:46в сервере HPE ProLiant MicroServer Gen8 установлен Smart Array B120i Controller
Да, верно, тут я проглядел
ESXi я всегда устанавливаю на SD карту…
Спасибо за ответ!Tomas_Torquemada
07.06.2017 11:54+1ESXi я всегда устанавливаю на SD карту…
Спасибо за ответ!
Добавлю, что если при таком варианте нужно иметь доступ к логам/дампам — то SD лучше брать от 16 ГБ и больше. Либо внешний коллектор использовать.
https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2004784
navion
07.06.2017 15:30то SD лучше брать от 16 ГБ и больше. Либо внешний коллектор использовать
ЕМНИП, на флешку оно всё равно логи/дампы писать не станет и выберет локальный датастор при его появлении.Tomas_Torquemada
07.06.2017 15:38Станет.
Для <16GB носителей можно и принудительно заставить, через правку boot.cfg, но зачем.
HiMem-74
07.06.2017 12:53+1выбирайте оригинальные диски HP
Еще бы «оригинальные» диски не стоили таких совершенно конских денег.
Я бы еще смог внутренне смириться с такими ценами, если бы НР сам производил винты по космическим нанотехнологиям… Например сейчас столкнулись при апгрейде, что SSD на 400 Гб стоит 120 т.р. — это ж за пределами добра и зла…dklm
07.06.2017 12:56Таки да, новый диски от HP стоят минимум два раза дороже.
бу диск HP SFF SAS 600gb 10k (салазки G6/G7) можно купить за 130-150 уе.
Tomas_Torquemada
07.06.2017 12:57Это что ж за диски такие?
Вот как раз кручу 360 Gen9, в котором в том числе 3 шт. SSD 400GB
HPE 400GB 12G SAS MU-3 SFF SC SSD (822555-B21) — в спеке 72188,02 за штуку, с НДС.
Причём это Mixed Use SSD, а не Read или Write-untensive.HiMem-74
07.06.2017 14:43HPE MSA 400GB 12G SAS Mixed Use SFF (2.5in) 3yr Warranty Solid State Drive N9X95A
HP MSA 400GB 12G ME SAS SFF (2.5in) Enterprise Mainstream 3yr Warranty Solid State Drive J9F37A
Для полки MSA2040, регулярная цена 1847 баксов.
navion
07.06.2017 15:42Это вы ещё на 3PAR и прочие мидреньджи цен не видели, но HP всегда были жлобами — иначе не удержать первое место по прибыли с меньшим количеством отгруженных машин.
gaidukav
14.06.2017 13:15Ничто не мешает выбрать диски «enterprise класса» напрямую от «канонических» производителей.
Надежность — будет такой же.
Поддержка — 95% будет сразу же, 5% — прошить свежим HP-шным PSP.
Скорость — выбирайте правильные диски «enterprise класса», у каждого производителя есть выбор.dklm
14.06.2017 13:29Я вижу выбор между оригинал или не оригинал так:
1 — у вас маленький парк серверов и тут нужна гарантия нормальной работы — и в этом случаи нужны оригиналы.
2 — У Вас очень большой парк серверов и тут я бы выбрал оригиналы из за того что на больших объемах не хватало еще вникать «будет работать или нет» — заказал парт номера HP установил и забыл.Tomas_Torquemada
14.06.2017 13:36+1Или не особо большой парк, но зато разбросан географически и не на всех площадках есть свои руки — туда инженера HPE на замену не оригинального диска не отправишь.
gaidukav
15.06.2017 17:17Ну вообще то исходный производитель дисков (и даже продавец) тоже отвечает по гарантии.
В случае выхода из строя — гарантия от HP или гарантия от Segate/WD/HGST — она все таки гарантия.
Заведется или нет — наверное стоит попробовать, купив по паре от разных производителей, особенно если у вас десяток дисковых полок отработали более 10 лет и диски просто начали от старости сыпаться.
Вопрос цены тут выползает на первое место.
— слегка мимо темы:
Диски для СХД NetApp, кторые SATA на 3.5", стоят вообще нечеловечьих денег, там в салазках стоит контроллер для реализации двухпортового интерфейса (как на SAS DP). А под наклейкой NetApp сверкает наклейка WD Black. Заменили на такой же WD Black — 5 лет, полет нормальный После окончания гарантии это, кажется, нормальный подход.
Tomas_Torquemada
07.06.2017 15:07Всё время забываю о полках, не пользуемся )
Там да, тяжело с ценниками, MU SSD — самые «маленькие».
В сервер-то можно read intensive посмотреть, если DWPD <1. А в 2040 таких вариантов даже не предлагают.
Igor_O
А где сейчас можно найти SAS 10K диски?
Еще старые-добрые 512547-B21 SAS SFF диски, которыми я барыжил в 2008 году, были уже 15K оборотов.
А если и есть такие… То тут вопрос не в выборе между SAS и SATA, а в выборе между «эта штука у меня точно заработает» и «эта штука у меня скорее всего не поддерживается»…
Igor_O
Извините, очепятка… Весной 2007-го года я был продакт-менеджером по серверам HP у одного из не очень крупных дистрибьюторов…
dklm
Купить 10к диски не проблема, но если вам нужен объем то это только 7к диски, и в этом случае необходимость SAS интерфейса под вопросом.
15к диски тоже не могут конкурировать с SSD.
navion
Как раз SFF 10k (и LFF 15k) всегда были мейнстримом под SAS, а SFF 15k никогда особой популярностью не пользователись из-за огромной цены.
Igor_O
Ну не знаю… В 2007м году, когда у дистрибьютора работал, так и не удалось положить на склад ни одного SFF 15K диска… Когда поставка очередная приходила, уже была очередь, в тот же час все расходились по заказчикам. Остальные варианты почти всегда на складе были в каких-то количествах. Просто тогда еще SSD не было. И 15K SSF диски по латентности уделывали всех. Т.е. если был нужен быстрый сторадж, то или они, или гигантские объемы кэша, которые еще дороже стоили.