Приветствую тебя, дорогой читатель! Эта статья из разряда а что если и дурная голова рукам покоя не даёт =)
Так вышло что в свободное от работы время я по фану занимаюсь домашним серверо-строением. Попал мне в руки после CHIA майнера китайский сервер Sugon i620-g30. Достался практически бесплатно, особенно в сравнении с теми ценами по которым их пытаются продавать. Или импортозамещать под видом Российского производства переклеив лейбочку, ссылки можете сами найти при большом желании). Так совпало что и 12 SAS Hitachi Ultrastar 15K300 у меня нашлось. В общем сначала решил поискать в интернете какая же получится скорость у RAID0 из 12 SAS HDD на 15k оборотов в сравнении с современными интерфейсами, но по всей видимости адекватные люди таким не заморачиваются =) Не один человек в здравом уме не станет собирать и использовать такой массив, это-же не надёжно... Но просто в развлекательных целях можно)
И так, тестовый стенд:
Серверная платформа Sugon I620-G30 10G, CPU Intel(R) Xeon(R) Gold 6138 CPU @ 2.00GHz * 2, RAM DDR4 ECC 2400 8 GB * 12, HBA LSI SAS 9300-16I 12 Гбит/с, NVME SSD HP SSD FX900 Pro 2TB * 2, SATA SSD Samsung 860 PRO 1TB, HDD SAS Hitachi Ultrastar 15K300 * 12, Mellanox CX4-Lx 25Gb SFP+ 2-Port OCP-CAT1 NIC, Broadcom NetXtreme BCM5719-4P 4x1Gb RJ-45.
На сервер установлен гипервизор ESXi 8.0 Update 3, виртуалки крутятся на 2х NVME в RAID1, SAS диски подключены в RAW режиме напрямую к ОС Windows Server 2022.
Я не запаривался и использовал только софт CrystalDiskMark, цель стоит только сравнить полученную произвольность с SSD и NVME (PCIe 3.0) накопителями и сравнив рыночную стоимость оценить рентабельность. Я конечно собираю это в домашней лаборатории и для домашних нужд такие скорости не к чему, но прогресс не стоит на месте как и желание собрать подешевле используя топы прошлых лет не даёт сидеть спокойно)
Первым делом была проверена скорость 1 HDD SAS Hitachi Ultrastar 15K300. Провожу по 3 прогона и выкладываю средний результат.
Потом собрал средствами Windows Server 2022 программный RAID0, всё-таки у нас простой HBA контроллер, и аппаратный рейд не собрать (понятно что есть другие прошивки и с определёнными костылями можно его в полноценный контроллер переделать, только нафиг он нужен без кэша и АКБ). Отформатировал в NTFS 64k и провёл 3 теста:
Далее провёл тесты на запись файла 28 Гб (8 iso образов в папке) с NVME в массив и обратно получил среднюю скорость 1,31 Гбайт\с
Далее проверил скорость NVME накопителя HP SSD FX900 Pro 2TB подключенного в интерфейс PCIe 3.0. Устройство поддерживает и PCIe 4.0 но мать только 3 версию. За то мы точно не ограниченны производительностью накопителя. На этом NVME крутится ещё 5 виртуалок (XPenology, OpenWRT, Mikrotik CHR, Nginx+MariaDB+PHP+PhpMyAdmin в Ubuntu ну и собственно эта ОС) Поэтому результаты могут быть не точными, но для общего сравнения подойдёт.
Следующий тест SATA SSD Samsung 860 PRO 1TB, диск так-же прокинут в виртуалку в RAW режиме и отформатировал NTFS 64k.
Вывод:
Для подведения итогов я свёл полученные результаты в одну таблицу и добавил современный SAS 12G SSD Samsung PM1643a:
Модель |
SAS 300Gb |
SAS*12 3,3Tb |
SSD 1Tb |
NVME 2Tb |
SAS SSD 3.8Tb |
SEQ1M Q8T1 (R) |
123 |
1460 |
551 |
3470 |
2100 |
SEQ1M Q8T1 (W) |
118 |
1201 |
532 |
3278 |
2000 |
SEQ1M Q1T1 (R) |
123 |
1440 |
483 |
2293 |
- |
SEQ1M Q1T1 (W) |
81 |
194 |
488 |
2290 |
- |
RND4K Q32T1 (R) |
4 |
23 |
334 |
650 |
- |
RND4K Q32T1 (W) |
3 |
20 |
288 |
554 |
- |
RND4K Q1T1 (R) |
1 |
1 |
20 |
26 |
- |
RND4K Q1T1 (W) |
1 |
1 |
35 |
71 |
- |
Ресурс записи |
Не ограничен Наработка на отказ 228 лет |
Не ограничен Наработка на отказ 19 лет |
1200 Tb (Гарантия 5 лет) |
1200 Tb (Гарантия 5 лет) |
7008 ТБ (Гарантия 5 лет) |
Энергопотребление |
|||||
Цена |
21092 р. |
253104 р. |
16000 р. |
15000 р. |
102999 р. |
На SAS HDD в тестах на рандомное чтение в 1 поток с одинарной очередью при увеличении числа дисков скорость не растёт, что вполне логично. Работает 1 диск в одну единицу времени.
Скорость 12 SAS HDD в рандомном чтении и записи в среднем проигрывают в 20 раз SSD и в 40 NVME. В линейном побеждают SSD в 3 раза, но проигрывают NVMe в 2 раза и сопоставима с одним диском SAS SSD. Таким образом их можно использовать для линейной записи больших массивов информации например видеонаблюдения или бекапов, но в силу низкой отказоустойчивости стоимость нужно удвоить и собрать RAID 10, мы-же хотим сохранить полученные скоростные характеристики. Плюс дополнительные диски нужно куда-то запихать например в дисковую полку, что тоже потребует покупки доп. контроллера и легко раздует бюджет до 600 000 рублей!!! Как вам за 3,3 Тб полезного объёма в 2025 году =)
2 современных SAS SSD в RAID1 обойдутся в 206000 р., и превзойдут массив по всем показателям 30% в линейных операциях и в 20 в рандомных. При этом ресурс записи позволит использовать эти диски ближайшие лет 15 без особых проблем. Плюс остаются свободные разъёмы для дальнейшей модернизации.
Если собрать RAID 10 на 8 SATA SSD по 1 Тb мы получим
примерно ту-жевыше производительность линейной записи/чтении на 30% и в 20 раз выше скорость в рандоме потратив всего 128000. Ресурс записи с большой долей вероятности за 15 лет использования заставит васпо очереди заменить все диски в массиве. Главный минус возможность дальнейшего апгрейда будет затруднена. Из расчёта на 15 лет мы потратим 256 000 рублей.-
Если собирать массив RAID 10 из «обычных» пользовательских NVMe накопителей то по всем параметрам мы получим наивысшую производительность и будем ограниченны лишь скоростью системной шины, бюджет будет самым скромным, всего 60 000 тысяч рублей, но самый низкий ресурс записи заставит нас по грубым подсчётам за 15 лет 4 раза заменить весь комплект. Таким образом если сервер планируется использовать в таком виде года 2–4 то скорее всего проблем не будет. С физическим подключением 4х NVMe дисков проблем скорее всего не возникнет, но нужно учитывать тот факт что далеко не все ОС могут нормально собирать массивы из NVMe, а аппаратные контроллеры стоят пока слишком дорого. Диски с интерфейсом U.2 я не рассматриваю ввиду траты места корпусе, контроллеры под 4 NVMe диска продаются на том же Aliexpress. Стоят не дорого и занимают значительно меньше места. Главные минусы это высокая нагрузка на CPU и отсутствие горячей замены.
Конечно же аппаратуру нужно подбирать из стоящих на данный момент задач. Это всё было написано для того чтобы точно определиться нужно ли рассматривать использование SAS HDD 15k в современных реалиях или нет. Как по мне ввиду медленной работы в сравнении с современными интерфейсами, высокого энергопотребления, шумности (это если дома их устанавливать) и высокой цены даже на БУ рынке (дешевле 8000 р. не нашёл дисков с такими характеристиками). Использовать SAS на 15k оборотов бессмысленно. Если система строится из расчёта что сервер должен без проблем отработать 5 лет и отключение на 15 минут один раз для замены диска (мало вероятно что при нормальной организации работы у Вас нет кластера с резервным сервером куда можно перевезти виртуалки), самым рентабельным и производительным решением на мой взгляд является использование NVMe накопителей домашнего сегмента.
Комментарии (27)
atd
05.02.2025 06:26контроллеры под 4 NVMe диска продаются на том же Aliexpress
Только это не контроллер, а простой переходник (для матплат, поддерживающих бифуркацию x16 → x4x4x4x4). Сам уже две такие штуки юзаю, есть более компактные варианты (по 2 диска с каждой стороны), чтобы в HHHL-слоты влезали.
Lordzero
05.02.2025 06:26Да, было больно узнать что для полноценной работы этой железяки требуется поддержка со стороны материнской платы, а это умеют далеко не все материнки, особенно древние
alexkuzko
05.02.2025 06:26К слову, есть и адаптеры со своим контроллером. Они как раз позволяют подключать те же четыре диска даже к старым материнским платам. Только цена выше сотки долларов, и та за границей, поэтому применение ограничено. Может иметь смысл поменять материнскую плату...
Gredko
05.02.2025 06:26А что - нельзя купить SSD с ёмкостью в 4-ре раза больше?
В модуль 3DNAND ведь заложена избыточность.
Это функционально тот же RAID5/6.
Чего Вы хотите добиться 4-мя модулями?
Gredko
05.02.2025 06:26Интересно.
Что на домашнем сервере может создавать такую нагрузку, чтобы потребовался RAID10 c NVMe- интерфейсом?
Не правильней будет кэш на оперативной памяти создать и массив из нескольких M2 NVMe с помощью LVM или утилит производителей модулей?
falcon4fun
05.02.2025 06:26Что на домашнем сервере может создавать такую нагрузку
Избыточное кол-во денег, возможности и "что если и дурная голова рукам покоя не даёт"
Для большинства ворклоада хватит просто SATA/SAS RI или MU в RAID6. Скорость контроллера диска быстрее его интерфейса и контроллера стораджа в большинстве случаев.
Gredko
05.02.2025 06:26А в чем вообще смысл рейдов на домашних серверах?
Тут либо нужна большая ёмкость хранения и небольшое количество потоков чтения/записи.
Тогда ставим бездефектные диски большой ёмкости "for NAS" с любым интерфейсом.
И с помощью LVM2 собираем в нужное нам количество томов.
Либо для скорости ставим M2 SSD в адаптер PCIE. И опять же с помощью LVM2 собираем в тома.
RAID10 - это про количество потоков чтения-записи больше 20.
Если вспомнить про тесты TPC, то там это называлось "профили нагрузки OLTP".
Сейчас, с подешевением оперативной памяти все это OLTP в 99% случаев купируется кэшированием.
Многопоточных данные кэшируются в ОЗУ и записываются на диск блоками в один поток.
Мне не очень понятны ролики и статьи, с собиранием твердотельных накопителей в рейды.
Может в этом и есть какой-то смысл, но я его не вижу.
Технология была придумана для HDD , со "шпинделями".
В чем смысл собирать в рейды SSD - не понимаю.
Чтобы что?
ildarz
05.02.2025 06:26В чем смысл собирать в рейды SSD - не понимаю.
Отказоустойчивость + объем.
И с помощью LVM2 собираем в нужное нам количество томов.
Ну так это и есть софтверный рейд (как и у автора статьи, кстати). Или у вас вопросы к аппаратным рейд-контроллерам, а не рейдам как таковым?
Gredko
05.02.2025 06:26Ну так это и есть софтверный рейд (как и у автора статьи, кстати). Или у вас вопросы к аппаратным рейд-контроллерам, а не рейдам как таковым?
Нет.
LVM - это не рейд.
Рейд для LVM-ов - частный случай.
Когда нужно HDD в тома собрать. Со "шпинделями".
Представлять SSD в виде диска - дурь несусветная....
Видимо нелегко людям с закальцинированными мозгами объяснить, что у SSD нет "шпинделей".
Вот и предоставили возможность гигантам мысли твердотельные контроллеры в рейды собирать.
"У Браундо есть то что нужно растениям - электролиты!" (C) к/ф "Идиократия"
ildarz
05.02.2025 06:26Если вы собираете несколько дисков в единый том - это, по определению, рейд. А какую конкретно технологию вы при этом используете и какими буквами ее называете - дело десятое.
Gredko
05.02.2025 06:26Даже если я называю технологию буквами "Intel VMD" к примеру или "ZFS", то это тоже "рейд по определению"?
И где такое определение дано, кроме Вашего поста?
ildarz
05.02.2025 06:26Где угодно, начиная от википедии и заканчивая документацией на указанные вами решения. Извините, далее терминологический ликбез мне проводить неинтересно.
Gredko
05.02.2025 06:26Википедия - такой себе источник знаний.
Я в свое время слушал лекции на EMC2.
Так там лектор рассказывал, что RAID - комбинация из технологий чередования секторов на дисках и зеркалирования цилиндров.
А LVM - более широкое понятие, включающее создание снапшотов, вытесняющего хранения и ряда других ништяков.
И я склонен опираться на его толкование терминов, а не на Ваше.
Потому что он был разработчиком систем хранения, а кто Вы в этой области - хз.
Было бы интересно посмотреть на сравнительный тест TPC-C накопителей M2 NVMe с профилем нагрузки OLTP в 20+ потоков с отношением операций чтения к записи 60 к 40-ка.
RAID10/RAID60 vs Intel VHD vs одиночный накопитель .
Ваши домыслы конечно тоже представляют какой-то ненулевой интерес, но лучше бы тесты...
Gredko
05.02.2025 06:26И LVM2 умеет кое-что кроме организации томов.
Кэширование там, вытесняющее хранение в некоторых своих реализациях.
И уж точно RAID5/6/10 - это не про M2 NVMe.
Что хорошего в чередовании MLC/TLC/3DNAND- блоков, вместо секторов - хз.
Вы точно уверены, что получится быстрее, чем просто один M2 NVMe контроллер?
falcon4fun
05.02.2025 06:26Тогда проще начинать вопрос: "В чём смысл вообще в домашнем сервере?"
Чтобы что? Для AdGuard и HomeAssistant можно и в контейнере на AX3 или любом NUC-е запустить.
Виртуалки потестит погонять в лабе? 13700K, 128GB рамы, пара 2 ТБ 970 evo plus хватает. Влезет всё основное: 4 ноды эксченджа, полная АД и набор рабочих станций. Или симулятор любого гипервизора.
Технология была придумана для HDD , со "шпинделями". В чем смысл собирать в рейды SSD - не понимаю.
Оооох. Сильное заявление. Расходимся тогда. Тушу весь свой десяток AFA стораджей c парой тысяч виртуалок и идём домой. "Не нужон он ваш этот, инторнэт ваш"
ССД диски хоть и имеют прогнозированное время работы, но отказы и баги фирмвары никто не отменял. 40к часов например. Я например, не готов терять 50 тб клиентских данных просто потому что 1 из дисков решил command таймаутов выдать и вычихнулся из контроллера. Также не готов терять данные, если контроллер (а я сомневаюсь, что кто-то пилит синхронную репликацию LVMов и прочего) чихнулся и выпал, 500-1000 виртуалок. Или просто рядом с сервером кто-то рядом чихнул. Чтобы потом не сидеть судорожно в поисках еще такого кол-ва места, чтобы навалить снапшот всего этого и попытаться собрать воедино с учетом целостности.
Для этого люди и покупают AFA массивы за 20-50-100к. А внутри что там: "олдскульный" рейд на базе DDF (Disk Data Format), который жрёт все диски. Динамический рейд, как у Compellent-а, который сам перекидывает данные даже в пределах одного тира между RAID типами. Или какая-нибудь надстройка, как у Синолоджей. Или ZFS, или <insert your (не)RAID type> на базе хардварного решения. Мне уже не сильно интересно. Суппорт контракт на 5 лет = все проблемы решены.
Все колхозные решения круто и клёво. Пока они не отваливаются. Есть немножко разница между HW решением готовым (Dell, HPE, Pure, Netapp, да просигосподи даже убогий Synology, некрасиво кнчн над больными смеяться), над которым поработало пара сотен людей и продолжают пилить к ним FW. И между тем, что я соберу на коленке.
Gredko
05.02.2025 06:26Оооох. Сильное заявление. Расходимся тогда. Тушу весь свой десяток AFA стораджей c парой тысяч виртуалок и идём домой. "Не нужон он ваш этот, инторнэт ваш"
Дома что ль?
А нет ли, случайно, на плАтке NVMe SSD контроллера 3DNAND/TLC, с функционалом RAID5/6/0?
И потоков у нынешних контроллеров SSD - 8/16.
А ведь в домашний NAS можно вместо 4-х SSD - купить один в четыре раза более ёмкий. Без потери функциональности.
И два HDD в зеркале "для объема".
Будет примерно то же самое по скорости и отказоустойчивости.
А геморроя - в разы меньше.
"инторнэт" Ваш не готов обсуждать.
Что там у Вас за клудж - хз.
Но, наверное, кто-то типовое обкатанное решение смонтировал, где инструкции на каждый чих расписаны?
А Вы похваляетесь как своим достижением...
falcon4fun
05.02.2025 06:26Дома что ль
Нет конечно. Зачем мне оно дома? Бакэпы нужного сделал дома и забыл, положив на диск под бэкапы и какой нибудь S3 ультра холодный
где инструкции на каждый чих расписаны
Пока не видел грамотно собранной инфры при условии "инструкций под каждый чих". Ни одного нормально сконфиганного стораджа, ни одного сконфиганного кластера, про синхронные реплики стораджей между локами вообще промолчу. Зато как ни посмотри, все бегают мамкины MCSA-MCSEшники с горой сертов, да доморощенные стораджисты и вмварщики., все думают сэкономить и собрать из говна и палок имбу. А собрать чо-то с учетом нормальных инструкций не могут ничего. Даже в разные линии БП воткнуть в ДЦ не получается у них. Ладно не в один ПДУ пихнули, и то хорошо.
четыре раза более ёмкий
Можно. Какой DWPD/TBW у такого диска? 1.0? Или меньше? Куда бэкапить все это? Что делать если диск сдохнет внезано? Или ссд не умирают? Ведь есть женеее резеееервные блооооки в нааанде. Это конечно же спасет.
У меня тут с работы лежат веселые PM861 (или похожие): один просто не определяется. Белый дым наверное вышел. Второй перестает работать после 15 минут работы. Также просто дохлые ссд из стораджа есть. Ну сдохли. С кем не бывает. Запас эндуранса был в районе 85% еще за 5 лет работы. Рейд не нужен ж.
Lev3250
Какие-то уж очень скромные цифры для одного диска (и массива соответственно). Сейчас домашние 7.2к показывают до 250мб/с линейной скорости.
ildarz
15K SCSI - не про линейную скорость и объемы, а про случайный доступ. Линейная у 7.2К большого объема уже сто лет как выше.
Собственно, поэтому они и по сути загнулись - SSD их на порядки бьют на случайном доступе, и ниши применения просто нет.
0000168
Сейчас домашний - это уже считается 5400 оборотов, недавно был удивлен из обилию при том, что это 3,5".
falcon4fun
Уже достаточно много лет обороты = сродни классу диска. 5400 диск вполне может быть IRL 7200. Например, те, кто любят shuck-ать диски из всяких WD Elements, знают, что WD "white label" диски маркируются, как 5400. Но в реальности у них 7200:
Пример 10ТБ CMRка с белой наклейкой (WD101EDBZ-11B1DA0) (HGST по факту): https://i.imgur.com/2wuiR8I.png