В IT-области существует множество мифов. «От спама можно отписаться», «Два антивируса лучше, чем один», «Серверные жёсткие диски должны быть только фирменными». При замене и расширении парка ЖД нужно учитывать немало нюансов и тонкостей, и без своих предубеждений здесь тоже не обошлось. Какие бывают ЖД для серверов, чем они отличаются, на что нужно обращать внимание, и должны ли они быть с логотипом производителя сервера — об этом читайте под катом.

Если диск установлен в сервер, то он должен удовлетворять жёстким требованиям по:

  • Надёжности. Невосстановимая потеря данных может обернуться многомиллионными убытками и репутационными потерями.
  • Производительности. Серверы априори предназначены для обработки многочисленных запросов.
  • Времени отклика. Пользователи не должны ждать, пока серверный диск «пробудится» и обработает их запросы.

Иными словами, жёсткий диск в сервере должны быть как пионер — всегда готов обрабатывать многочисленные запросы с минимальным уровнем задержки, обеспечивая высокий уровень сохранности данных. В высоконагруженных серверах жёсткие диски годами работают интенсивно и безостановочно.

Существует четыре основных категории (не берем в расчёт SSD, SAS SSD, PCI-e SSD) жёстких дисков:

  • SATA (обычные, «бытовые» SATA) — частота вращения шпинделя 5400 и 7200 об/мин.
  • SATA RAID Edition (SATA RE) — частота вращения шпинделя 7200 об/мин, поддержка команд RAID-контроллера.
  • SAS Near Line (SAS NL) — частота вращения шпинделя 7200 об/мин.
  • SAS Enterprise — частота вращения шпинделя 10 000 или 15 000 об/мин.

Прежде всего, необходимо определиться с интерфейсом подключения — SATA или SAS.

SATA или SAS?




Интерфейс SATA является развитием IDE, который позднее был переименован в PATA. То есть этот интерфейс изначально ориентирован на использование в бытовых компьютерах, а также в промышленных системах с умеренными требованиями к производительности и надёжности. В то же время SAS — это наследник классического «серверного» интерфейса SCSI.

Изначально интерфейс SAS имел более высокую пропускную способность, чем SATA. Но прогресс не стоит на месте, и третье поколение SATA III имеет максимальную пропускную способность на уровне 6 Гбит/сек, как и второе поколение SAS. Однако на рынке уже доступны серверы с SAS-контроллером третьего поколения, с пропускной способностью до 12 Гбит/сек.

Для подключения SAS-дисков сервер должен быть оснащён соответствующим контроллером. При этом обеспечивается обратная совместимость интерфейсов: к SAS-контроллеру можно подключить SATA-диски, а наоборот — нельзя.

SAS обеспечивает полнодуплексный обмен данными: жёсткий диск единовременно обрабатывает по одной команде на чтение и запись, а SATA-диск — либо на чтение, либо на запись. Но это преимущество будет заметно только при большом количестве дисков, если сравнивать SAS NL и SATA RE.

Если подвести промежуточный итог: SATA-диски хороши для создания объёмных хранилищ, от которых не требуется максимальной производительности. А если вам нужно выжать из дисковой подсистемы всё возможное, то ваш выбор — SAS.

Скажите «нет» обычным жёстким дискам




Сразу внесём ясность — обычные SATA не предназначены для использования в серверах. Тому есть несколько причин:

  • Низкая устойчивость к вибрациям.
  • Высокий уровень невосстанавливаемых ошибок.
  • Отсутствие поддержки команд аппаратных RAID-контроллеров.

Конечно, стоимость обычных десктопных SATA существенно ниже, чем у серверных, и ничто не мешает использовать их под мелкие задачи, не требующие высокой производительности дисковой подсистемы. Если же сохранность и скорость доступа к данным стоит на первом месте, то всё же настоятельно рекомендуем брать серверные ЖД.

Устойчивость к вибрациям


Для решения более-менее требовательных задач нет смысла ставить только один диск. Чтобы обеспечить минимальный уровень надёжности хранения данных, нужно не менее двух накопителей, объединённых в RAID. Но когда в корзине собрано 4 и более устройств, то возникающие от их работы вибрации влияют на стабильность вращения шпинделей и точность позиционирования головок. Поэтому серверные жёсткие диски имеют ряд конструктивных отличий от бытовых:

  • Усиленный вал шпинделя, более устойчивый к внешним воздействиям.
  • Дополнительный контроль вибрации.
  • Технологии, существенно повышающие точность позиционирования и высоту полёта головок над поверхностью «блинов».
  • Богатые возможности самодиагностики, позволяющие вовремя уведомить о скором выходе диска из строя.

Бытовые диски всего этого лишены. При достаточно сильном уровне вибрации вероятность возникновения ошибок чтения/записи у обычных SATA на 50% выше, чем у SATA RE.

Уровень невосстановимых ошибок


Следующее отличие серверных жёстких дисков от бытовых — уровень невосстановимых ошибок. У обычных SATA он составляет примерно 10-14 (1 бит на каждые считанные 1014 бит=12,5 терабайт). То есть при шестикратной перезаписи двухтерабайтного диска вы почти наверняка получите одну невосстановимую ошибку. Для бытовых дисков это не проблема. Но если вы каждый месяц переписываете базу данных, то через полгода она может оказаться битой.

Вероятность возникновения невосстановимой ошибки =
(N * (X / 12500 * 12500) / 12500) * 100%


Где:

  • N — количество дисков в RAID-массиве,
  • X — объём одного диска в гигабайтах,
  • 12500 — количество бит, на которое приходится 1 невосстановимая ошибка, выраженное в гигабайтах.

Допустим, вы создали массив RAID 5 из 1-терабайтных обычных SATA. При ребилде массива вы получите невосстановимую ошибку с вероятностью 40%.

Вероятность возникновения невосстановимой ошибки =
(5 * (1000 / 12500 * 12500) / 12500) * 100% = 40%.


А если вы используете 600-гигабайтные диски, то вероятность epic fail при ребилде составляет 24%:

Вероятность возникновения невосстановимой ошибки =
(5 * (600 / 12500 * 12500) / 12500) * 100% = 24%.


У SATA RE и SAS NL уровень невосстановимых ошибок равен 10-15, то есть на порядок меньше, чем в обычных SATA. Тогда в нашем примере с RAID 5 получаем:

Для 1-терабайтных дисков вероятность ошибки = 4%.
Для 600-гигабайтных дисков вероятность ошибки = 2,4%.

У SAS-дисков уровень невосстанавливаемых ошибок ещё ниже — 10-16:

Для 1-терабайтных дисков вероятность ошибки = 0,4%.
Для 600-гигабайтных дисков вероятность ошибки = 0,24%.

Обратите внимание: вероятность возникновения ошибки пропорциональна количеству дисков в RAID-массиве.



Каким образом в SAS-дисках обеспечивается более низкий уровень ошибок? Magic.

  • Размер сектора в SATA-дисках — 512 байт, в SAS-дисках — 520 байт. Дополнительные 8 байт используются для сквозной проверки чётности.
  • Другие алгоритмы чтения.
  • Дополнительные алгоритмы восстановления данных без участия контроллера.

Работа в RAID-массиве


Ещё один важный недостаток обычных SATA — отсутствие функции устранения ошибок при работе в RAID-массиве. Допустим, вы понадеялись на бэкап, и ради экономии построили RAID из обычных SATA. При возникновении ошибки жёсткий диск многократно пытается считать сбойный блок. И пока он это делает, он не отвечает на сигналы RAID-контроллера. Тот воспринимает это как выход жёсткого диска из строя, исключает его из массива и пытается восстановить. Иными словами, при возникновении ошибки из массива выпадает весь диск.

В случае с SATA RE, SAS NL и SAS ситуация будет развиваться иначе. Обнаружив ошибку, диск сообщает контроллеру о наличии сбойного блока. Контроллер запрашивает этот блок у других дисков в массиве и передаёт на сбойный диск. При этом устройство не выпадает из массива, и падения производительности не происходит.

Миф о брендах


Наконец, самый главный вопрос: нужно ли покупать «родные» диски?

Не секрет, что HP, IBM и DELL жёсткие диски не производят. Они покупают их у сторонних производителей, после чего тестируют, перепрошивают и клеят свои логотипы.



C одной стороны, такие диски имеют ряд преимуществ:

  • прошивка (firmware) учитывает особенности контроллеров тех или иных моделей серверов,
  • дополнительный контроль качества и проведение стресс-тестов уменьшают вероятность приобретения экземпляров со скрытыми дефектами,
  • на «фирменные» диски предоставляется гарантия вендора и полноценная поддержка.

Но за всё хорошее приходится платить — «родные» жёсткие диски продают примерно в два-три раза дороже, чем те же самые модели, но с логотипами производителей — Seagate, Western Digital, Toshiba, HGST.

Как вы понимаете, такая разница в цене далеко не для всех оправдывается обещаниями повышенной надёжности. Поэтому наверняка многие слышали о том, что «неродные» жёсткие диски работают в серверах HP, IBM и DELL нестабильно или слишком медленно. Кто-то даже пугает, что с «левыми» дисками сервер не заведётся.

Откуда растут ноги у этих утверждений?

В подавляющем большинстве серверов применяются технологии повышения производительности дисковой подсистемы. Именно с этой целью вендоры перепрошивают жёсткие диски — чтобы обеспечить поддержку этих технологий. Если же вы поставите «неродные» диски, то просто не сможете воспользоваться фирменными ноу-хау, не более того.

Также раньше вендоры искусственно заставляли использовать «фирменные» накопители, применяя блокировки на уровне контроллеров. В конце концов, гнев народных масс вынудил со временем отказаться от этой порочной практики. Сегодня проблемы чаще всего возникают с относительно старыми моделями серверов. И решается это простой заливкой в контроллер свежей прошивки. Хотя есть и просто капризные модели контроллеров, например, P410 в серверах HP.

Как показывает практика, «неродные» жёсткие диски без затруднений работают:

  • в серверах HP — как минимум с поколения Gen6,
  • в серверах IBM — как минимум с поколения М2,
  • в серверах DELL — как минимум с 10 поколения.

«Неродные» жёсткие диски полностью совместимы как с салазками серверов, так и с внутренними системами мониторинга. А вот салазки нужно ставить только родные, и только для определённого поколения сервера. Вы без труда можете найти в сети настоящие названия моделей дисков, которые вендоры продают под своими брендами. Так, например, большинство SAS-дисков HP делаются из линейки жёстких дисков Seagate Savvio. При этом вовсе не обязательно искать полные аналоги, можно выбрать подходящие модели из популярных линеек:


Что касается надёжности того или вендора, то согласно довольно информативной статистике компании Backblaze, занимающейся предоставлением облачного бэкапа, самыми надёжными являются диски Hitachi. На втором месте Western Digital, на третьем — Seagate.

Проверяйте гарантию


Если вы решили не идти на поводу у вендоров и собираетесь купить «неродные» жёсткие диски, то сначала обязательно уточните у продавца: кто предоставляет гарантию? Дело в том, что многие магазины не предоставляют гарантию на жёсткие диски, ссылаясь на гарантию производителя. Но здесь есть тонкий момент: к примеру, у некоторых моделей Seagate гарантийный период начинается с момента производства. Поэтому не исключена ситуация, что вы купите абсолютно новые диски, на которые уже закончилась гарантия производителя.

Sad, but true.

Чтобы не испытать этот неловкий момент, постарайтесь перед покупкой проверить гарантию конкретных экземпляров на сайтах производителей:

Seagate: http://support.seagate.com/customer/en-US/warranty_validation.jsp

Western Digital: http://support.wdc.com/Warranty/warrantyStatus.aspx?lang=ru

Hitachi: https://www.hgst.com/portal/site/en/support/warranty

Заключение


При выборе жёстких дисков необходимо в первую очередь отталкиваться от задач, которые будет выполнять сервер:

  • Если вам не нужна высокая скорость доступа и надёжность хранения данных, а количество дисков не будет превышать четырёх, то мы рекомендуем ставить диски SATA RAID Edition. Это вариант для недорогих серверов начального уровня, обслуживающих небольшое количество пользователей.
  • Если сервер будет обслуживать базы данных, или количество дисков в массиве будет 5 и более, то лучше выбрать SAS NL. Чаще всего такие диски ставятся в серверы, работающие в компаниях среднего размера: под бухгалтерские системы, CMS, корпоративные репозитории и т.д.
  • А если вам нужна максимальная производительность и/или надёжность хранения данных, например, при обработке финансовых транзакций, то ваш выбор — диски SAS Enterprise. Это носители для высоконагруженных серверов, обслуживающих большое количество пользователей, а также для систем, работающих с наиболее важными данными.

Но главное — не верьте мифам. Вовсе не обязательно покупать диски с таким же логотипом, как на вашем сервере. При грамотном подходе можно существенно сэкономить на апгрейде дисковой подсистемы, ничуть не потеряв в надёжности и скорости работы.
Поделиться с друзьями
-->

Комментарии (17)


  1. impetus
    08.06.2016 12:55
    +4

    А вы не могли бы заменить мусорные картинки «ниочём» на нормальные информативные? (если вы действительно разбираетесь в теме — вам скорее всего есть, что сказать и что вставить для иллюстрации сказанного)


    1. ArthurLeighAllen
      08.06.2016 13:16
      +1

      Спасибо за замечание! Учтем.

      Информатив, конечно же, должен присутствовать. Но картинки делают пост немного живее.


      1. impetus
        08.06.2016 13:41
        -9

        Что значит «учтём»? Заменить картинки — пара минут, несколько кликов, ещё пара — выбрать из давно имеющихся нужные и актуальные (или наделать скриншотов/фоток), если вы действительно специалист в теме, а не девочка-копирайтер на удалёнке.
        Хотя ваш ответ про «живее» (ага, техническая статья на техническом ресурсе) свидетельствует этак на ~95%, что вы именно такая девочка


        1. TimsTims
          08.06.2016 15:29
          +1

          Статья по-любому согласовывалась с руководством, и самому втихомолку удалять из неё согласованный контент будет не правильно для писателя.

          Раз уж вы прочитали картники, то ни вам больше не мешают. Прочитали пост, отписали пожелание — закройте страницу и идите работать :)


  1. FloMko
    08.06.2016 14:27

    Спасибо за пост!
    Приятно было бы увидеть сравнение работы гарантийных отделов. Например, мне, что бы обменять по гарантии wd, нужно доставить его почтовой службой в Москву (в течении 30 дней, после создания тт). А как обстоят дела с samsung и seagate?


    1. ArthurLeighAllen
      08.06.2016 14:49
      +1

      Как такового сравнения нет, но есть пару примеров из практики.
      Обычно ставим либо WD, либо Seagate. По ощущениям у WD как-то все проще в плане замены диска. Оперативно отвечают после подачи заявки, диски отправляют быстро (через 2 дня уже у нас). Убитые диски можно после получения новых отправить. Никто не торопит.
      У сигейтов немного подольше все идет. (мы в Санкт-Петербурге).
      Про самсунг ничего не могу сказать — их редко используем, проблем с ними не было.
      Приятно удивляет компания OSZ — их SSD часто используем. Три раза вылетали и уже на следующий день новые диски у нас были. Саппорт очень быстрый.


      1. VolkZubamiSchelk
        08.06.2016 21:42

        Позвольте спросить, почему ставите WD, либо Seagate, ведь исходя из статьи «самыми надёжными являются диски Hitachi»?


        1. ArthurLeighAllen
          08.06.2016 21:56

          На то есть несколько причин:
          — Доступность и массовость. Мы не держим на складе диски. Заказываем у дистрибьюторов, которые оперативно могут поставлять WD и Seagate (СПб) в любых количествах. С Hitachi как-то проблемнее. С учетом того, что сервер клиентам нужен еще вчера, такой выбор целесообразен
          — Позиция клиентов — поставьте мне самый дешевый sas 10k-диск. Seagate как раз берет относительной дешевизной.
          — WD и Seagate у всех на слуху, в то время как многие вообще первый раз слышат что Hitachi делает диски, поэтому отдают предпочтение первым.


  1. alex_www
    08.06.2016 14:38
    +5

    Статья изобилует мифами в большей степени чем приводит факты
    Что бы не быть голосоловным сразу привожу линки по сути
    https://www.backblaze.com/blog/hard-drive-reliability-stats-q1-2016/
    и конечно классику
    http://static.googleusercontent.com/media/research.google.com/en//archive/disk_failures.pdf


  1. amarao
    08.06.2016 17:17
    +2

    Жёсткие диски — расходный материал. Меняются постоянно, а качество и марка определяют уровень утилизации on-site сотрудников. К сохранности данных надёжность жёстких дисков большей частью никак не относится. От того, что у сигейтов отказов на 20% больше, чем у WD, ничего не меняется.

    Сказочки же про «надёжные SAS» оставьте для лохов — sas такая же уродливая коммутационная шина, как и sata. У FC с коммутацией чуть лучше, но за цену FC можно построить более надёжный и производительный кластер из sata (включая сервера).


  1. rrrav
    08.06.2016 21:54

    Вероятность возникновения невосстановимой ошибки =
    (N * (X / 12500 * 12500) / 12500) * 100%

    Как я понимаю это имеется ввиду RAID 5. А как будет выглядеть формула для RAID 1 или RAID 10? Подозреваю, что в этом случае произойдет умножение маленьких вероятностей ошибки, и фактором (невосстановимой ошибки) можно пренебречь?


    1. ArthurLeighAllen
      09.06.2016 20:37

      Да, для RAID5.

      Вероятность появления ошибки в RAID1 и RAID10 можно считать по формуле ниже. Вероятность появления невосстанавливаемой ошибки чтения здесь тоже учитывается.

      1-(((10^14-1)/10^14)^X, где X полезное пространство в случае Unrecoveble Error, выраженное в битах.

      Например, имеется RAID10 с 4-мя дисками по 2Tb:

      1-(((10^14-1)/10^14)^1.6*10^13=14.7%


      1. rrrav
        09.06.2016 21:07

        Как то невесело даже для зеркала. Стало быть, надо по три диска в зеркало. Или процентов 10 диска использовать для записи избыточного кода для восстановления при появлении невосстанавливаемой ошибки чтения.


      1. storm
        14.06.2016 13:53

        Столкнулся с отказом raid5 при добавлении нового драйва.
        Raid controller adaptec ASR-8405, драйвы 6 штук (Seagate Enterprise Capacity ST6000NM0014.) в raid5 + global hot spare.
        Пришлось везти восстанавливать в спец контору. Восстановили почти все, но были ошибки в некоторых больших бинарных файлах.
        По наблюдениям где-то 1-5% ошибочных файлов.

        Адаптек на самом деле и раньше вел себя ненадежно — были с ним нюансы при эксплуатации.
        Поэтому его выкинули и взяли AVAGO MegaRAID SAS 9361-4i. Сейчас стоит raid6 уже с 9 дисками + global hot spare.
        Хотелось бы увидеть формулу расчета вероятности отказа при ребилде для raid6.


  1. rrrav
    08.06.2016 22:06

    Допустим, вы создали массив RAID 5 из 1-терабайтных обычных SATA. При ребилде массива вы получите невосстановимую ошибку с вероятностью 40%.

    Хорошо бы проверить этот страшный результат на практике.
    Собственно и для «хороших» дисков результат (4%) мягко говоря не очень, получается RAID 5 наоборот — уменьшает надежность?


    1. ArthurLeighAllen
      09.06.2016 13:01

      Вообще по поводу пятого рейда много споров о вопросах его надежности и скорости чтения/записи, если сравнивать с 0+1.
      На geektimes статья по этому вопросу хорошая https://geektimes.ru/post/78348/

      Raid5 вообще не рекомендуется собирать при больших объемах дисков (от 1tb), даже на enterpise и nearline дисках. С другой стороны Raid5 дешевле обходится.
      Как написали выше, ЖД — это и расходники, которые рано или поздно вылетят. Уровень рейда определяется конечными потребностями в скорости чтения/записи. Тут уж каждый выбирает сам.


  1. grumbler66rus
    14.06.2016 11:30

    У вас формулы несколько сложные, одинаковые множители и делители сокращаются, скобки при операциях одного уровня тоже ни к чему.
    $ bc -l
    bc 1.06
    Copyright 1991-1994, 1997, 1998, 2000 Free Software Foundation, Inc.
    This is free software with ABSOLUTELY NO WARRANTY.
    For details type `warranty'.
    (5 * (1000 / 12500 * 12500) / 12500) * 100
    40.00000000000000000000
    (5 * (1000 / 12500)) * 100
    40.00000000000000000000
    5 * 1000 / 12500 * 100
    40.00000000000000000000


    Лучше было бы описать исходную формулу мнемонически, чем заставлять читателя соображать, какие конкретно значения подразумеваются под одинаковыми числами.