image

Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).

В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.

Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.


SSD выходят вперед


Эксперты консалтинговой компании Compass посчитали, что стоимость хранения данных и доступность SSD падает год от года. За последние пять лет она сократилась на 76%, а к концу следующего года может упасть еще в два раза. Эксперты ожидают, что цена на твердотельные накопители сравняется с ценой на жесткие диски. Однако стоимость не единственный параметр, по которому SSD постепенно обходят HDD.

В начале осени в компании Backblaze опубликовали отчет по надежности накопителей. Компания собирает статистику отказоустойчивости с 2018 года. И на горизонте пяти лет оказалось, что SSD выходят из строя значительно реже, чем их «старшие братья».

image

Возможности винчестеров постепенно подходят к физическому пределу. Дискретные области — домены — на рабочей поверхности современных дисков расположены настолько близко друг к другу, что направление вектора намагниченности может непроизвольно меняться под воздействием температуры и приводить к потере информации. Это накладывает ограничения на скорость вращения дисков, нагревающихся в той или иной степени в зависимости от окружающей их среды. Поэтому и появляются соответствующие технологии, способные снизить ее влияние. Например, гермозону дисков наполняют гелием, снижающим трение. Но и у данного подхода тоже есть свои недостатки и ограничения.

В таком контексте все больше компаний и операторов ЦОД заменяют жёсткие диски твердотельными накопителями, но SSD тоже имеет свои нюансы. Один из них — вероятность случайной потери данных. В этом году сразу у нескольких крупных площадок — включая Hacker News — произошел сбой. Его вызвала ошибка в прошивке SSD, из-за которой накопитель выходил из строя после наработки в 40 000 часов. Впервые с аналогичной проблемой столкнулись еще в 2019 году. Тогда пользователь Reddit рассказал, что за 15 минут в его компании вышли из строя сразу шесть твердотельных накопителей. Чтобы избежать серьёзных последствий, можно строить RAID на устройствах разных поставщиков. Тогда непредвиденный баг в прошивке не приведет к невосполнимой потере данных.

Библиотека оптических дисков


В то время как SSD набирают обороты в сфере хранения данных, энтузиасты возвращаются к технологиям прошлого века — оптическим дискам. Одна из ключевых причин — надежность хранения. Во-первых, у CD нет подвижных механических элементов, которые со временем могут выйти из строя. Во-вторых, они защищены от разного рода шифровальщиков. Хакеры и вирусы не могут удалить или модифицировать данные на диске, поскольку они неизменяемы и хранятся офлайн. Однако сложно сказать, придут ли CD в дата-центры облачных провайдеров. С большой долей вероятности они останутся инструментом энтузиастов.

В пользу этого утверждения также играет ряд недостатков технологии — в частности, низкая скорость записи. Однако её можно решить за счет более совершенных приводов. Несмотря на переход оптических дисков в категорию ретро-технологий, в этом году компания Pioneer выпустила новый Optical Disc Drive (ODD), удваивающий скорость записи. Привод обладает встроенными механизмами обработки ошибок — изменяет метод чтения, если сталкивается с царапинами или грязью на поверхности CD. Такой подход дополнительно повышает надежность хранения данных.

В целом оптическая запись имеет гораздо больший потенциал. На неё основе развивают технологию для хранения данных на протяжении сотен лет в стеклянных пластинах. С помощью лазеров инженеры модифицируют структуру материала — формируют трёхмерные решётки на различной глубине. Записать таким образом можно порядка 75 Гбайт. Накопитель практически не подвержен старению и деградации, но предстоит еще много работы, прежде чем технология выйдет на рынок.

Будущее накопителей


image

По прогнозу IDC доля ленточных накопителей вырастет с 14% (2018 год) до 18% (2024 год), как и доля SSD, однако в ближайшем будущем HDD останутся доминирующей технологией хранения данных. Объяснение очень простое: HDD сохраняет ценовое преимущество.

SSD-накопители, в отличие от классических HDD, обеспечивают малое время доступа к данным, высокую скорость чтения и записи, не шумят и обладают малым энергопотреблением. Еще одно важное преимущество SSD — дискам не нужно проводить дефрагментацию. Ведь контроллеру все равно, где именно в микросхемах находятся информационные ячейки с нужными данными, время доступа к ним будет одинаково в отличие от механического «харда».

До недавнего времени основными факторами, сдерживающими массовое внедрение SSD-накопителей, были малое время наработки на отказ и высокая стоимость хранения данных в пересчете на гигабайт. Раньше накопители на базе NAND-технологии были рассчитаны на 3-10 тысяч циклов записи. Однако выпускаемые сегодня флеш-накопители уровня Enterprise выдерживают минимум 100 000 циклов. То есть надежность SSD выросла на порядок.

Высокая скорость работы SSD и малое время доступа — весьма важные характеристики. Но для облачных провайдеров на первое место выходит экономичность. В отличие от классических жестких дисков SSD обладают малым энергопотреблением, им не нужна высокая пиковая мощность для раскрутки дисков. Требуется меньше затрат на электричество. Добавьте сюда еще и облегченный тепловой режим в стойке, ну чем не идеальный вариант?

image

Источник: What Is Zoned Storage Initiative?

Также важна высокая надежность современных SSD. Сегодня по надежности они не уступают HDD, а то и превосходят. Жесткие диски, однако, исчезнут не скоро. Производители ищут способы увеличить плотность записи данных, при этом не жертвуя скоростными характеристиками и надежностью винчестеров. В качестве примера можно рассмотреть метод черепичной магнитной записи (Shingled Magnetic Recording, SMR). SMR увеличивает плотность записи за счет того, что дорожки чтения/записи накладываются друг на друга на пластине подобно черепице на крыше.

Суть SMR можно представить следующим образом: пишущая головка смещается вперед лишь на часть своей ширины, поэтому каждый предыдущий трек оказывается частично перезаписан последующим: магнитные дорожки накладываются друг на друга подобно кровельной черепице. Такое расположение увеличивает плотность дорожек на носителе.

SMR это лишь один из методов. Одно из самых перспективных направлений — EAMR (energy-assisted magnetic recording, магнитная запись с использованием энергии). EAMR использует тепловой нагрев или микроволны, чтобы сделать диски более восприимчивыми к магнитным эффектам и записывать информацию на гораздо меньших участках.

  • HAMR (heat-assisted magnetic recording, технология записи информации с локальным нагревом магнитной пластины)

С помощью лазера локально нагревают поверхности магнитных пластин до 450°C, что снижает напряженность магнитного поля и уменьшает площадь, необходимую для записи 1 бита информации. HAMR позволяет в перспективе записывать данные с плотностью 5-6 Тбит/дюйм² против нынешних 1,14 Тбит/дюйм² у традиционной перпендикулярной магнитной записи.

  • MAMR (microwave-assisted magnetic recording, микроволновая магнитная запись)

Многослойный тонкопленочный генератор высокочастотного поля усиливает магнитные свойства головки и снижает затраты энергии. Технология позволяет увеличить плотность записи до 4 Тбит/дюйм² и создавать HDD объемом 40 ТБ.

  • TDMR (two dimensional magnetic recording, двумерная магнитная запись)

Технология основана на использовании нескольких считывающих элементов для создания более высокого соотношения сигнал/шум. TDMR позволяет увеличить плотность записи на 20% по сравнению с классической перпендикулярной магнитной записью.

  • HDMR (heated dot magnetic recording, магнитная запись с точечным нагревом)

Перспективная магнитная запись, совершенствующая HAMR за счет использования битовых шаблонов (bit patterned media). HDMR открывает путь к накопителям с объёмом более 100 Тб.

  • OptiNAND

Альтернативное направление развития — интеграция в жесткие диски флеш-накопителей. В OptiNAND дисках метаданные хранятся на флеш-модуле NAND. Плотность записи увеличена за счет ePMR (energy-assisted perpendicular magnetic recording technology) — технологии перпендикулярной магнитной записи с энергетической поддержкой.

Кроме того, ведутся разработки по распространению протокола NVMe на жесткие диски. В конечном счете развитие технологий приведет к появлению стандартов, не зависящих от устройств. Это, в свою очередь, позволит шире применять различные накопители в ЦОДах.

DNA data storage


image
Фото: University of Michigan

Новые технологии позволят увеличить емкость HDD и до 100 ТБ в течение нескольких лет, но всех проблем этот процесс не решит. По данным IDC, скорость создания данных растет быстрее, чем объем хранилищ.

Выход из ситуации – совершенно новые технологии. Например, разработка ДНК-хранилищ. Ученые считают, что метод позволит хранить данные дата-центра в нескольких кубиках сахара.
Классический подход к записи данных в молекулы дезоксирибонуклеиновой кислоты предполагает преобразование последовательности битов ― нулей и единиц ― в последовательность из четырех базовых оснований ДНК.

Сейчас массовому внедрению систем хранения данных на основе ДНК препятствуют дороговизна технологии и низкие скорости чтения/записи информации.

Возможности облака


image

С точки зрения пользователя облако представляет собой гибкую и масштабируемую виртуальную инфраструктуру. Заказчик может в любой момент запросить нужное количество ресурсов, и получит их в течение нескольких минут. Соответственно, провайдер всегда должен иметь определенный запас свободного места в системах хранения данных (СХД).

СХД также выполняет задачи по сохранению данных, обеспечению их целостности и предоставлению доступа. В ЦОДах для обеспечения высокой надежности все компоненты СХД, начиная от контроллеров и заканчивая блоками питания, портами и другой электроникой, дублируются.

Наше хранилище резервных копий построено на базе RAID. Мы используем дисковые полки (JBOD) с высокой плотностью установки. Логическое дисковое пространство организовано с использованием «железного» RAID-контроллера. Тип RAID-групп – Double Parity – позволяет одновременно выйти из строя двум дискам из каждой RAID-группы.

Для оперативной подмены вышедших из строя дисков используется горячее резервирование (Hot Spare). При сбое диск Hot Spare может автоматически занять место неисправного диска.

RAID-контроллер оснащён модулем резервного питания Backup Battery Unit (BBU). Используя кэш RAID-контроллера и режим записи данных Write Back, модуль предотвращает потерю данных при экстренном отключении сервера.

Благодаря этим технологическим подходам выход из строя одного диска не оказывает влияние на систему и сохранность данных. Если происходит сбой, то сигнал сразу поступает дежурному персоналу, который заменяет компоненту.

Сегмент облачного резервного копирования сохранит устойчивые темпы развития — в корпоративной среде есть спрос не только на безопасную работу с данными, но и эффективность, гибкость соответствующих бизнес-процессов. Данные элементы в полной мере соотносятся с возможностями облачных провайдеров — например, сегодня вынести в облако можно и виртуальные машины и рабочие станции.



Комментарии (17)


  1. little-brother
    27.12.2022 19:13

    Мелкий вопрос: как организовать RAID DP на SSD на шине pci-e (а не SAS/SATA) на уровне сервера?


    1. Didimus
      29.12.2022 17:06

      Средствами операционной системы?


  1. rPman
    27.12.2022 21:10

    Если речь идет о бакапах, где вполне адекватно смотрятся write-once-read-many технологии, то у меня вопрос — где технологии твердотельников на основе пережигания тонкого проводка (чтобы записать 1 бит, нужно подать ток выше порогового значения)? Понятно вместо термина — сгорание можно продумать какой-либо иной химический процесс, который в зависимости от величины приложенного напряжения ведет к необратимому состоянию.

    Эта технология очень простая и дубовая, сейчас бит — это транзистор, вполне себе сложнее простого пересечения проводников, а так один бит должен занимать очень мало места на чипе и как мне кажется, должна очень глубоко масштабироваться.

    write-once сильно облегчает логику контроллера, что так же хорошо должно сказываться на стоимости результата, и вообще формфактор должен быть похож на использование оптических дисков или касет стримера, т.е. ты вставляешь в устройство расходник-плату с чипами, куда ведется запись.

    Точно знаю на ее основе были микросхемы, когда они еще были большими и ламповыми.


    1. EmmGold
      27.12.2022 22:34

      Дамаю TLC, QLC и т.п. имею кратно большую плотность записи, нежели пережигаемые проводочки


    1. dyadyaSerezha
      28.12.2022 06:14

      Думаю, что для бэкапа больше подходит термин "писать редко - читать редко/часто (не важно)". Важно, что писать надо неоднократно.


      1. saag
        28.12.2022 07:13

        Ну как сказать, в компании где работает моя сестра, после атаки шифровальщиков было принято руководством решение бэкапировать данные каждые три минуты, абсурдно звучит конечно, но вот так. Я так полагаю у них там инкрементальные архивы.


        1. Vitaly83vvp
          28.12.2022 07:58

          По вопросу с шифровальщиками: есть такие, которые находятся в системе долгое время никак себя не показывая, а потом по команде (или просто по истечению какого-то времени) начинают работу. Как быть, если они попали в бекапы? И второй момент - как понять, когда они начали попадать в бекапы? Просто, если восстановить бекапы с ними, то система будет всё ещё заражена и подвержена угрозе.

          На счёт 3-х минутного бекапирования: звучит, конечно, абсурдно, но только если это не финансовое учреждение, например, банк. Ведь никто из нас не хочет попасть в число тех, чьи транзакции будут утеряны или повреждены (я прекрасно понимаю, что в банковской сфере используются разные технологи для обеспечения безопасности данных, начиная от проверки сетевого трафика и до использования разного рода бекапов, но это не повод преуменьшать какую-либо опасность). Или другая организация, в деятельности которой надёжность данных играет ключевую роль.


      1. Didimus
        29.12.2022 17:07

        Если из бэкапа часто читают, то что-то тут не так. Тогда это оперативный архив


    1. Alexeyslav
      30.12.2022 00:13
      +1

      Пережигаемые перемычки не так просты. Во первых плотность ячеек в 1000 раз меньше, во вторых высока вероятность брака - когда перемычка не пережигается до конца а в ячейке образуется перманентное замыкание в виде пыли из перемычки, и повторно оно не пережигается. По этой причине при прошивке таких чипов было 70% брака. В этом плане FRAM более перспективна, но и её обогнала FLASH технология по плотности записи и стоимости одного бита... Перспективы FRAM не очень обнадёживающие, но было бы очень супер иметь энергонезависимую по сути RAM. Но по своей физике, она не сможет обогнать винчестеры т.к. привязана так же к размерам магнитных доменов. А они очень огромны по сравнению с ловушками-ячейками FLASH.


      1. rPman
        30.12.2022 00:52

        Интуитивно чувствую что проблема была исключительно в реализации а не в идее, тем более техпроцесс тогда и сейчас отличаются на несколько порядков.

        Плюс, ошибочные биты можно уже на более высоком уровне купировать соответствующими алгоритмами

        Просто использовать современный ssd это как из пушки по воробьям, выпускали бы хотя бы дубовые но емкие устройства, с плохим контроллером, мизерным соотношением количества записей, но без потери заряда со временем (для устройства резервного копирования потеря данных просто из-за ничегонеделания в сейфе — критична)


        1. Alexeyslav
          30.12.2022 12:47

          В этом и дилемма, что более стойкие устройства хранения данных обладают большими размерами ячеек, а качества для долговременного хранения не добавляют. Остается лишь один выход - избыточное кодирование.


          1. rPman
            30.12.2022 13:42

            не надо путать, это кардинально разные технологии хранения, и проблемы у них тоже разные

            системы хранения на основе заряда по определению недолговечные, физически же разрыв контакта может разрушиться только при плохом хранении (например температурные перепады) или неправильном проектировании (слишком близко соседняя ячейка)


  1. vagon333
    27.12.2022 23:45

    Использую ноутбучные HDDs для долговременного хранения бэкапов - мелкие и легко подключить.
    Некоторые CD/DVD спустя 10+ лет читаются с большими ошибками, решил больше не использовать.
    Со старыми винтами такой проблемы нет.
    SSD - шустрые, но сгорают мгновенно. Не успеваю получить уведомление о bad blocks, как на HDD, чтоб отреагировать.


  1. Shrim
    28.12.2022 07:32
    +4

    Смешались в кучу кони, люди…
    Сначала делаются горячие резервные копии. Тут важна скорость восстановления актуальной резервной копии, поэтому лучше использовать SSD.
    Далее по схеме ротации из горячих делаются холодные резервные копии. Тут важен объём для обеспечения глубины хранения, скорость уже вторична, поэтому лучше использовать HDD.
    Далее для долговременного хранения из холодных резервных копий по схеме ротации делаются архивы. Тут уже подойдут ленточки, жесткие диски и может быть даже оптические диски.
    Для каждой задачи свой инструмент. Не надо забивать гвозди микроскопом. Не надо делать горячие резервные копии на оптические диски. Не надо делать архивы на SSD.


  1. TitovVN1974
    28.12.2022 08:26

    Не увидел упоминания о деградации данных при "холодном" хранении SSD.


  1. Didimus
    29.12.2022 17:09

    Ссд становятся доступнее из-за низкого порога входа, одновременно становятся рискованнее из-за желания производителя сэкономить, появляются подделки и т.п.


  1. zipaa
    30.12.2022 13:51

    "разработка ДНК-хранилищ." Можно сказать старая технология вначале 2000 годов появилась успела даже пошутить. (днк считали жидкостью) Моя память протекла. или Надо долить память.

    Производители часто меняют состав комплектации своей продукции не только механической или лучше сказать физической составляющей, но и программной. Как итог пользователи получают хороший продукт который прослужит и 20 лет, а может и умрет через 2 недели или выкинет финт головной боли.