All-flash СХД Huawei OceanStor Dorado V3 рассчитана для использования в ИТ-системах, где скорость и надёжность систем хранения становятся критически важны. Это, к примеру, обработка транзакций в реальном времени (OLTP), оперативная аналитическая обработка (OLAP) крупных баз данных, высокопроизводительные вычисления (HPC), инфраструктура виртуального рабочего стола (VDI). В них потенциал нашей СХД основан на разработках в трех областях — это оригинальные SSD, функциональная ОС и широкие возможности интеграции.

Основа Dorado V3 — собственные накопители Huawei SSD, работа с которыми оптимизирована на уровне операционной системы. В зависимости от модели СХД, в нее можно установить до 200, 800 или 2400 накопителей.

Контроллер накопителя основан на SoC Cortex-A9, поддерживает DDR4, 18 каналов NAND-флэш, 12 Гбит/с SAS и 8 GT/s PCIe. Непосредственно на SSD реализовано несколько функций, обеспечивающих необходимые для систем высокой доступности пропускную способность и надёжность.

Чтобы снизить количество ошибок, данные проверяются на каждом этапе. Многоступенчатая проверка процесса позволяет получить частоту битовых ошибок (BER) равную 10^-17. На уровне DDR для предотвращения ошибок данных используются ECC (error correction code) и CRC (cyclic redundancy check). На уровне NAND-флеш используются LDPC (low density parity check code) и CRC. И непосредственно на уровне DIE алгоритм XOR.

LDPC используются совместно с технологиями Read Retry и Read Offset. При записи данных в NAND, контроллер записывает LDPC вместе с ними в флэш-память. Эта информация используется для проверки данных и исправления ошибок, если таковые имеются. Если на NAND возникла ошибка, Huawei SSD использует LDPC, чтобы исправить ошибку. Если это не поможет, у нас припасена технология Read Retry

Read Retry попробует прочитать данные, изменяя напряжение flash-накопителя. В разумных пределах, разумеется. Чтобы устранить задержку при последовательном переборе нескольких уровней напряжения, Read Retry учитывает частоту использования блока, продолжительности хранения данных.

Read Retry использует только предустановленные уровни напряжения, поэтому дополнительно применяется технология Read Offset. На SSD компании Huawei сохраняются таблицы калибровки напряжения. При возникновении ошибки Huawei Enterprise SSD запрашивает таблицу на основе состояния блока и выбирает наиболее подходящее напряжение.

Из-за ограниченного срока службы SSD считают слабым местом all-flash СХД. Мы постарались сбалансировать нагрузку так, чтобы износ не стал проблемой. Наш основной инструмент здесь — регулирование износа SSD.

C помощью алгоритмов распределения P/E-циклов ресурс дисков сокращается равномерно.

Но при достижении высокого показателя выработки (>80%) такой подход может привести к одновременному выходу из строя всех дисков. А наш RAID готов только к трём одновременным отказам. Поэтому, когда жизненный цикл SSD близится к концу, включается обратная функция — Anti-Wear Leveling. Система выбирает SSD с самым большим износом и начинает писать данные на него, а пользователю тем временем советует его заменить.

Особенность работы NAND-флэш такова, что для записи новых данных на страницу — минимальную единицу в местной терминологии — нужно очистить весь блок в который она входит. Поэтому если в блоке есть полезные данные, их нужно перенести, что требует дополнительных операций.

Чтобы локализовать данные, к которым обращаются чаще всего, их на уровне SSD разделяют на «горячие» и «холодные». Данным с разной частотой использования добавляются соответствующие метки. SSD сохраняют данные с теми же ярлыками в один и тот же блок. Таким образом, «горячие» и «холодные» данные хранятся в разных блоках, уменьшая объем данных, с которым приходится работать системе.

СХД семейства OceanStore работают под управлением одноименной ОС. Самое интересное в этой операционке — это набор утилит FlashLink для управления и оптимизации записи на SSD. FlashLink охватывает I/O-модули ПО контроллера с драйверами SSD дисков. Симбиоз на двух уровнях СХД позволяет увеличить IOPS и обеспечить задержку не более 0,5 мс. Функции FlashLink можно разложить по трем слоям.

Базовый уровень — виртуализация дисков. RAID 2.0 со знаком «плюс» стирает границы между RAID-массивами. Это позволяет одновременно и лучше распределять нагрузку, и ускорять работу. А при необходимости и восстановление информации. RAID-TP застрахует от проблем с данными даже если из строя выйдут сразу три диска.

На уровень распределения данных идет взаимодействие с накопителями. Разделение на горячие и холодные данные, выравнивание износа, цельнострайповая последовательная запись (full-stripe sequential write) — FlashLink управляет этими функциями, благодаря которым SSD живут долго, счастливо и не умирают неожиданно.

Уровень обслуживания данных: здесь происходит объединение все записей в один страйп, распределение по дискам раздаются приоритеты по распределению ресурсов.

Остановимся подробнее технологиях ОС OceanStore, которые мы не рассмотрели ранее.

Чтобы эффективно распределять нагрузку на дисковые массивы, нужно обеспечивать быструю запись на несколько дисков сразу. Чтобы сократить задержки используется цельнострайповая последовательная запись: новые и измененные данные объединяются в полный страйп и пишутся в свободное место на SSD. Благодаря тому, что здесь произвольная запись становится последовательной, мы избегаем задержек на чтение/очистку/запись, характерных для NAND:

При записи новых данных система объединяет данные LUN 1 и LUN 2 в страйп, а затем записывает данные на диски, как показано в левой части рисунка.
При изменении данных, пользователь изменяет 1B на 1b в LUN 1, записывает новые данные 3A и 3B в LUN 3, а новые данные 4A — LUN 4. Система объединяет 1b, 2B, 2C, 3A, 3B и 4A в качестве нового страйпа, а затем записывает данные на SSD. Блок 1B отмечается на удаление.

При накоплении большого числа мусорных данных используется глобальная очистка. Таким образом освобождается пространство для записи целых страйпов.

Приведем аналогию. Вы поехали с большой компанией друзей на рыбалку. Поехали недалеко, потому что собрать столько народу надолго не получилось. Закинули удочки, сидите. Вдруг у вас в камышах запутывается леска. Капитально запуталась — нужно лезть в заросли, и неизвестно, распутаете ли вообще. У вашего друга рядом такая же история. Вместо того, чтобы долго распутывать снасти (перезаписывать данные) вы просто обрезаете леску и быстро натягиваете все заново — крючок, поплавок, грузило (записываете данные на пустое пространство). Когда рыбалка подойдет к концу, самый молодой и ловкий залезет в заросли и вытащит все сразу, с листьями и узлами, которые можно распутать по пути домой (в контексте СХД — проведет глобальную очистку).

Для лучшей сохранности данных диски объединяются в массивы Raid TP. Благодаря цельнострайповой последовательной записи в Raid-массив добавляется дополнительный диск с информацией для исправления ошибок. Благодаря этому сохранность данных обеспечивается даже при выходе из строя трех дисков, и не происходит потери производительности. Таким образом, Dorado V3 поддерживает 23+3 (23 основных диска и 3 с кодами коррекции ошибок) RAID-конфигурацию, более надежную по сравнению с 23+2.

Чтобы уменьшить задержки, контроллеры Dorado V3 задают приоритеты для операций ввода-вывода. Например, приоритет запроса на чтение с хоста выше, чем запрос на очистку кеша, который в свою очередь ставится перед копированием в рамках асинхронной репликации. Приоритеты чтения/записи отправляются на SSD вместе с запросами на эти операции. Далее приоритеты обрабатывает контроллер SSD.

В Dorado V3 встроены функции дедупликации и сжатия. Вот как они работают. Сначала блок данных записывается в постоянный кэш. Затем вычисляется fingerprint блока с использованием слабой хэш-функции (экономим время и ресурсы), производится выбор контроллера для записи и побитовое сравнение со всеми хранящимися fingerprint'ами.

Если результат положительный, то производится удаление блока и подмена его ссылкой на найденный. Если совпадений нет, то производится сжатие блока с использованием алгоритма LZ4.

После этого производится запись блока на SSD, а его fingerprint добавляется в каталог. Эффективность сжатия зависит от типа данных, и обычно составляет от 2 до 3,5 раз. Принцип сжатия показан на картинке ниже:

Стоит оговориться, что такой подход к сжатию влияет на скорость записи. В сценариях, где требуется более получить более высокую скорость записи, эту функцию можно отключить на уровне LUN.

С технологией FlashLink мы смогли повысить производительность и надежность СХД. Это позволило нам реализовать на базе Dorado V3 несколько важных функций, которые необходимы, например, для крупномасштабного развертывания VDI или хранения данных критически важных услуг.

Объединение двух СХД OceanStor V3 открывает режим Huawei Active-Active HyperMetro, позволяет повысить аптайм системы хранения до 99,9999%.
Особенности этого решения:

OceanStor Dorado V3 может работать в гетерогенной виртуальной среде, совместно с хранилищами других производителей.

В такой конфигурации Dorado V3 централизованно управляет ресурсами сторонних систем, что включает в себя:

Эта функциональность реализована с помощью opensource-решения OpenSDS, которое мы помогаем развивать с самого первого релиза.

Собрать и оценить ИТ-инфраструктуру с СХД OceanStor Dorado V3 и другим оборудованием Huawei вы можете с помощью нашего онлайн-конфигуратора.