Зачастую выбор СХД похож на выбор кошки в черной комнате, и очень не хочется, чтобы после пары лет работы оказалось, что за красивым фасадом скрываются давно устаревшие технологии, не готовые к новым тенденциям и не имеющие «запаса прочности» для масштабирования в будущем.

На наш взгляд система хранения 3PAR получилась весьма удачной и имеющей потенциал для имплементации новых модных трендов рынка систем хранения данных, таких как онлайновая дедупликация, компрессия данных и т. п. Правы мы или нет — покажет время. Вначале несколько общих слов о системах хранения 3PAR. Презентацию, из которой взяты картинки к этой статье – всего пару недель как опубликовали. Мы, в основном, коснемся изменений и нововведений в системе 3PAR в общей системе и инфраструктуры СХД.

Чем хороша новая система HP 3PAR?

– об этом под кат

Начнем с того, с чего начинают любые заказчики: «Дайте мне 50тб дискового пространства! И все.» А какого пространства? как оно будет работать? — все эти проблемы администратор начинает «выгребать» уже после.



Чтобы таких ситуаций не было, рекомендуем подходить к этому вопросу правильно и основательно. В системах хранения есть очень много подводных камней, например:
• Террабайты против тибибайтов.
• Параметр от которого коробит многих программистов — IOPS (параметр ввода-вывода) — очень важный параметр, особенно для БД.
• Соотношения чтения-записи — как работает БД? — она больше будет читать или будет больше писать? или это система видеонаблюдения, которая всегда пишет, и никогда не читает? какой размер блока? время задержки допустимое для вашего приложения? — и т.д.
Этих значений набегает очень много. Очень легко попасть на неправильный сторедж и потом с ним долго мучится.

Начнем ТB vs TiB

По поводу этих двоичных единиц. Если объем рассчитан в неправильных единицах, то при большом количестве дисков можно ошибиться на целый порядок — а это тысячи IOPS и ТБ полезной емкости неправильно рассчитанные в маркетинговых единицах. Поэтому, как всегда все сокрыто в деталях. И таких деталей, или «подводных камней» вполне достаточно чтобы неопытный заказчик некорректно подобрал себе СХД переплатив значительные деньги или получив систему хранения не выполняющую поставленные перед ней задачи.

Как эту проблему предлагает решать Hewlett-Packard? Для этого в HP есть инициатива называемая Конвергентные решения (в случае СХД Converged Storage).

В двух словах: эта инициатива заключается в том, что Hewlett-Packardкак вендор предлагает уже ГОТОВЫЕ аппаратные комплексы под конкретные задачи. При этом работоспособность решения под заявленную задачу гарантирует производитель (т. е. Hewlett-Packard). HP имеет целое портфолио под конкретные задачи.
Подробнее об инициативе Конвергентные решения.



Конечно, же за конвергентное решение придётся «слегка» переплатить, но зато у заказчика сразу отпадает «головная боль» при подборе работоспособного решения, подборе кабелей, дисков и т. п.

Но вернемся к нашей основной теме — новой модели 3PAR.

Что главное должна уметь современная система хранения?

Любой заказчик ожидает от своей СХД:
• ускорение операций ввода-вывода и полную разгрузку RAID операций
• отказоустойчивость с пресловутыми пятью девятками (99,999%)
• поддержку выполнения нескольких задач без взаимного влияния одной задачи на другую
• поддержку всяких «модных фишек» — уровни хранения (Tiering), дедупликация (deduplication), компрессия данных и т. п.
• поддержку манипуляции данными – создание моментальных снимков, клонов, онлайновый перенос данных и т. п.

Так вот, в 3PAR основные «желания» заказчика АППАРАТНО ускоряются специальной микросхемой.



О преимуществах аппаратного ускорения, думаем, не нужно рассказывать, это известно всем владельцам видеокарт.
Чип 5-го поколения (вышел в июле этого года). Он делает аппаратные ускорения по рейду.

Как все вы знаете – в RAID выше 1 уровня нужно писать контрольные суммы. Если это поручить центральному процессору контроллера (обычно это IntelXeon, 3PAR не исключение) то ему кроме его основных задач по управлению, приходится производить низкоуровневые просчеты контрольных сумм в реальном времени. Это приводит к «проседанию» производительности. В случае с 3PAR этой проблемы нет, т. к. просчетом RAID занимается 3PAR ASIC, полностью разгружая центральный процессор.

Следующее, чем занимается чип 3PAR это отслеживание блоков нулей в потоке данных. Зачем отслеживать нули? Все дело в том, что детекция нулей – это ядро модной технологии называемой тонким выделением томов (ThinProvisioning). Идея ее заключается в том, что на системе хранения хранятся только полезные данные, а пустое дисковое пространство (которое собственно и представляет собой нули) отбрасывается в процессе ввода вывода и на СХД не храниться. 3PAR умеет детектировать нули микроскопическим блоком в 16кБ, что значительно меньше чем у всех конкурентов, причем детекция осуществляется в реальном времени. Что это означает для конечного пользователя: значительная экономия дискового пространства, ускорение форматирования дисков в VMWare, автоматическое освобождение пространства на СХД в случае удаления данных и т. п.

Чип 5-го поколения научился детектировать не только блоки по 16 кБ нулей, он также может детектировать любые блоки по 16кБ. Соответственно процесс может быть, как в архиваторе, как в том же WinRAR. Контроллер создает словарь блоков, первый блок 16 кБ — назовем 1, следующие 16 кб назовем – блок 2, ит. д. Далее если контроллер встречает знакомый блок, то он не пишется на диск, а заменяется ссылкой на его номер, а это уже дедупликация. Т.е. если 3PARвидит 16 кб повторяющихся данных он находит у себя в словаре, то он их просто не пишет на диски. Чип это умеет делать в реальном времени, а это онлайн-дедупликация. Представьте: идет боевой ввод-вывод, а 3PAR в онлайне дедуплицирует эту информацию! Этого пока никто не умеет делать, только 3PAR.

Также задачей 3PAR ASIC является соединение контроллеров в единую систему хранения. Как вы знаете любая СХД должна иметь минимум 2 контроллера. Почему? Для отказоустойчивости, плюс еще, так как их 2, то можно одновременно их 2 нагрузить, в результате вырастает скорость работы в 2 раза. Чип поддерживает объединение (аж!) 8 контроллеров, в единую систему хранения. Причем каждый контроллер работает как active-active. Т.е. мы не в 2 раза ускоряем ввод-вывод, а ускоряемого в 8 раз (конечно при установке 8 контроллеров).

Следующей задачей 3PAR ASIC является поддержка гетерогенной нагрузки (Wide-striping)

На картинке на примере автодороги хорошо показано к чему это может привести несбалансированное использование ресурсов. Мы видим огромную очередь автомобилей, хотя соседние шлюзы гуляют. Хотя при правильном (интеллектуальном) перераспределении места хватило бы всем.

Как же 3PAR делает этот интеллектуальный Wide-striping?

В отличии от классической системы хранения где все блоки данных обрабатываются в порядке их поступления (нет wide-striping), 3PAR разделяет каждый поступающий блок на сами данные и управляющую команду которая говорит, что с этими данными сделать (метаданные). Формируется два потока данных: управляющих команд (метаданные) и непосредственно самих данных, причем управляющие команды (метаданные) обрабатываются отдельно центральным процессором Xeon контроллера, а сами данные обрабатывает 3PARASIC, причем Xeon перераспределяет данные на основе полученных метаданных, так чтобы получился нужный нам Wide-striping.



Соответственно, 3PAR на АППАРАТНОМ уровне умеет балансировать нагрузку между разными задачами, прекрасно справляясь с гетерогенными задачами в пределах одного хранилища.

Хорошие результаты при гетерогенной нагрузке признают даже конкуренты (в лице Oracle) что подтверждается их отчетами.



Поддержка чипом 3PAR ASIC дедупликации на дисках SSD позволяет кроме экономии дискового пространства еще и сэкономить на деньгах. Ведь стоимость современного твердотельного диска для системы хранения сравнима со стоимостью автомобиля и экономия нескольких десятков гигабайт это уже значительная экономия денег.



Причем сама дедупликация никакой задержки не вносит, она происходит в онлайн, в реальном времени на уровне чипа 3PARASIC.

Подробнее об «модных фишках», а конкретнее о технологии уровней хранения (Tiering)

Как показывает исследование среднестатистической задачи (к примеру, базы данных) в разрезе хранения данных, выходит очень интересная картина (прямо принцип Парето) – 50%ввода-вывода попадает всего лишь на 5% дискового пространства, выделенного под задачу. Это означает, что добавив в систему хранения всего лишь по объему 5% очень быстрых дисков (сейчас это SSD) мы можем получить прирост производительности в десятки или сотни раз!



Проблема заключается только в том, как вычислить эти 5% данных. В этом нам помогает технология уровней хранения (Tiering ) успешно имплементированная в 3PAR.

3PAR умеет разделить свой дисковый объём на два или три уровня (как показывает практика больше не нужно). Первый уровень — это обычно диски SSD, второй – обычные диски SAS 15K или 10K, третий – медленные, но емкие диски NL-SAS (SATA).

Соответственно первый уровень – это уровень горячих данных, обеспечивающий наиболее быстрый ввод-вывод. Второй уровень – уровень часто востребованных (но не постоянно) данных обеспечивающий среднюю скорость ввода-вывода. И, наконец третий уровень – архивный, имеющий наибольший дисковый объем, но весьма скромные показатели производительности.



Причем, 3PAR умеет автоматически переносить блоки «горячих» и «холодных» данных между уровнями хранения. Эта технология в 3PAR называется Adaptive optimization. Конечно же блоки можно перенести и вручную, тогда это в 3PAR называется Dynamic optimization.
Более того, в 3PARне обязательно чтобы каждый слой базировался на разной технологии дисков. Можно, к примеру, как первый слой выбрать хранилище на RAID1, второй на RAID5, а третий в RAID6. Можно даже создавать уровни на основе геометрии дисков: первый уровень внутренняя область дисков, а второй внешние секторы дисков.

Настоящая архитектура объединения контроллеров системы хранения Active/Active

Все вендоры систем хранения данных дружно кричат, что их СХД имеют архитектуру контроллеров Active/Active, однако на практике оказывается, что это архитектура ALUA, особенностью которой есть дешевая реализация, однако при существенном недостатке: любой том хранения обслуживается только ОДНИМ контроллером, все остальные доступа к этому тому не имеют (из за конфликта одновременной записи).



В случае с 3PAR — это ограничение удалось обойти за счет хитрой организации дискового пространства. В 3PAR к одному и тому же дисковому тому имеют доступ ВСЕ контролеры, и чем больше контроллеров в системе, тем более производительный этот дисковый том. Все контроллеры объединены в full-mesh топологию, где контроллер с другой ветки может спокойно читать данные с оперативной памяти другого контроллера — они все являют собой единый кластер.

Что еще недавно появилось в 3PAR?

Сейчас пошла большая мода на конвергентные системы хранения. В данном случае под конвергентной имеется в виду то, что система хранения обеспечивает кроме классического блочного ввода-вывода по протоколамSANеще и файловый доступ по-обычному Ethernet.В качестве сетевых шар поддерживаются все популярные распределенные файловые системы CIFS (Samba), NFS и т. п. Поддержка конвергентности доступна во всех 3PAR с индексом с в конце названия модели (7200с, 7400с).



Для файловых систем поддерживаются все современные «фишки». К примеру, заявлена поддержка SMB 3.0.

Настройка и управление

Новшества также коснулись и интерфейса управления. Новая веб-консоль является частью всеохватывающего ПО управления OneView способного управлять не только системами хранения, но и обычными серверами, блейд-серверами и шасси, коммутаторами и интеллектуальными PDU через единую консоль.



Основная идея новой консоли – максимальная простота управления, к примеру, выделять объем на 3PAR можно с помощью гибких интуитивно понятных политик.



Например, ваш IT-директор вообще не понимает, что такое рейды, он только знает о том, что есть разные диски по стоимости: быстрые, средние и медленные диски, и ему, либо кому-то из руководства, нужна наглядная схема — что к чему. Вы можете создать себе различные политики, например, вы создаете политику Gold (дорогие и быстре диски),Silver (медленные и дешевые диски) и т.д. Таких разных политик можно создать нужное количество и дальше уже «рулите» своим СХД хозяйством на их основе. Эта идеология очень удобна для «облачных» решений.

По поводу надежности 3PAR

Hewlett-Packard настолько уверенна в надежности систем хранения 3PAR, что оформила инициативу под названием «HP 3PAR Get 6-Nines Guarantee Program». В двух словах, эта инициатива описывает то, что HP готова идти на штрафные санкции в случае нарушения надежности в 99,9999% (простой 30 секунд в год) для 4-ехконтроллерных систем хранения 3PAR.



Более подробно об этой маркетинговой инициативе по ссылке

За счет чего такая уверенность?

Она базируется на ряде архитектурных особенностей аппаратной составляющей 3PAR. Первая из них это отсутствие выделенного диска для горячего восстановления RAID, так называемого Hot-sparedrive.

Для классической системы хранения Hot-spare диск обычно является узким местом при восстановлении сбойного RAID. Все блоки, которые были утеряны при сбое, восстанавливаются на один диск! Это еще допустимо при восстановлении одного RAID, но если нужно восстановить два, три или больше вышедших из строя RAID? Опытные администраторы рассказывали случаи, что при сбое SATA диска объемом в несколько терабайт, за время восстановления (это обычно десятки часов) обычно выходит из строя второй SATA диск из за возросшей нагрузки. Вот почему все вендоры как один рекомендуют на медленных дисках NL-SAS(SATA) только RAID 6.



В случае с 3PAR такой проблемы нет, т. к. 3PAR не создает RAID на дисках, он создает RAID на блоках (в cсовременных 3PAR этот блок 1ГБ), соответственно восстановление вышедшего из строя RAID можно на любой свободный блок на ЛЮБОМ диске, имеющем свободное пространство хотя бы в 1 ГБ.

Следующей отказоустойчивой особенностью является отказоустойчивый кэш (в терминах 3PAR Resilient Caching). Не стоит объяснять, что кэш на любой системе значительно ускоряет процессы ввода-вывода. 3PAR не исключение, на каждом контроллере системы хранения есть несколько десятков или сотен гигабайт кэш памяти. Так, вот, в случае с классической двухконтроллерной системой хранения выход из строя одного из контроллеров приводит к автоматическому отключению кэш памяти, из-за возникновения единой точки отказа (некуда зеркалировать кэш на запись, ведь контроллер-партнер вышел из строя). Это приводит к значительной деградации производительности, что, естественно, отражается на бизнес-процессах.



В случае с 3PAR такая проблема отсутствует, ведь 3PAR может иметь больше чем два контроллера, соответственно единая точка отказа отсутствует, а кэш из вышедшего из строя контроллера, просто перераспределяется между выжившими контролерами системы хранения

Третьей отказоустойчивой особенностью является высокоуровневое программное обеспечение 3PAR PeerPersistence, работающее на основе ОС VMware и позволяющее получить геораспределенный отказоустойчивый кластер прямо из коробки без «мучений» с настройкой VMwareSRM.



Это наиболее покупаемая программная опция идущая совместно с 3PAR, позволяющая прямо «из коробки» получить катастрофоустойчивое решение базирующееся на двух разделенных расстоянием датацентрах. Про серьёзность и зрелость этого решения говорит хотя бы долговременное сотрудничество разработчиков 3PAR с компанией VMware. К примеру VMware VVOLсоздавался по образу и подобию внутренней архитектуры хранения данных в 3PAR.

Рассмотрим все семейство систем хранения 3PAR доступное на рынке

Первое, о чем хочется сказать – 3PAR является системой хранения среднего (Mid-range) и высокого уровня (Hi-End).Модели среднего уровня представлены семейством 3PAR 7000, а старшие моделями 10000 и 20000. Отличие моделей только в железе, операционная система и функционал ОДИНАКОВЫЙ у всех моделей. Соответственно освоив работу с самой младшей системой 3PAR 7200, вы можете смело управлять самым старшим «монстром» 3PAR 20000 масштабируемым до более чем 1000 дисков.



У каждого семейства есть модели, заканчивающиеся на цифру 50 (К примеру, 3PAR 7450). Это специальные модели, оптимизированные для работы исключительно с дисками SSD. Как оказалась, внутренняя архитектура 3PAR очень подходит для работы с этим типом дисков.



Отличие этих моделей от безиндексных собратьев только в мощности установленного Xeon и объеме кэша.
Также диски SSDможно использовать как расширение кэш-памяти, увеличивая объем встроенного кэша до сотен гигабайт. Этот функционал в терминах 3PAR называется AdaptiveFlashCache, он бесплатен на всех моделях и активируется парой команд. Что самое интересное, под кэш можно выделять не весь объем SSD диска, а оставшуюся часть использовать для обычного RAID.



Естественно скорость работы при активации Adaptive Flash Cache возрастает в разы, что подтверждается тестированием.

3PAR и резервное копирование данных

Если вы задумались о быстром резервном копировании (backup), то соединение 3PAR с сиcтемой резервного копирования HP StoreOnce превращает эту связку в сверхпроизводительную ленточную библиотеку позволяющую делать backup сотен гигабайт за минуты. 3PAR при этом выступает как хранилище, а StoreOnce занимается эмуляцией ленточного устройства. Эта эмуляция необходима т.к. все привычные программы резервного копирования привыкли работать с ленточными накопителями, и «переучивать» их нет особого смысла.



И наконец, если вы решили перейти со своей старой системы хранения на 3PAR, Hewlett-Packard поможет вам в этом при помощи встроенных в функционал 3PAR утилит. Называется этот функционал 3PAR Online Import и позволяют НА ХОДУ (т.е. без остановки бизнес процесса) мигрировать дисковые тома со старой системы хранения в 3PAR. На текущий момент поддерживаются системы хранения EMC, Hitachi и старые сиcтемы HP EVA.



Ну вот так если кратко, НР сделало, как мы считаем очень достойную СХД. Если полностью и подробно описывать все технологии, которые работают в 3PAR, и во всех подробностях о том, что умеет 3PAR — не хватит и 4 таких статей.

UPD по холивару в комментах:
Для сомневающихся в эффективности (у которых в профилях другие производители СХД), скриншот из реального 3PAR ниже, сжатие в реальном времени в 3 раза, в 3 раза, Карл!:


UPD2:
Презентация, из которой взяты картинки к обзору самая свежая, может сбить с толку то, что в скриншот попал некорректный колонтитул из PowerPoint. Описанный в статье функционал (дедупликация, к примеру) появился с выходом ASIC 5-го поколения (начало этого месяца).

---

Дистрибуция решений НР в Украине, Грузии, Таджикистане, странах СНГ.
Учебные курсы по технологиям НР в Киеве (УЦ МУК)