Эта статья будет полезна в первую публичным облачным провайдерам, а также конечным пользователям, владельцам СХД NetApp ONTAP у которых есть SSD накопители.

В этой статье я поговорю о репликации между СХД, SSD технологиях, All Flash хранилищах, куда движется рынок СХД, об объектных СХД, о технологии СХД FabricPool, видении DataFabric, снэпшотах и о новой прошивке ONTAP для СХД. СХД, СХД, СХД — это все системы, которые ставятся, у заказчика в ЦОД для построения классической инфраструктуры или частного облака, это заказчики, которые держат свой собственный ЦОД, свою систему хранения и основная часть их инфраструктуры работает на их собственном оборудовании. Какое вообще отношение эти хранилища, и все перечисленные темы, имеют к облаку и публичным провайдерам? Я расскажу об всех этих технологиях, которые, казалось бы, не имеют к публичным облачным провайдерам никакого отношения. Но по ходу рассказа станет понятно, как все они образуют тренд и помогают двигаться в сторону гибридного облака: Частное + Публичное и как NetApp поможет перенести часть данных заказчика, которые ранее всегда жили только у заказчика на его собственном оборудовании в публичное облако.

Я хочу, чтобы за технологиями вы увидели картину ближайшего будущего из которых оно, состоит. Не для того, чтобы вы увидели «какой же олень северный», будущее нужно видеть, чтобы понимать в какую сторону двигаться и развиваться.

SSD тренд

SSD накопители дешевеют, но пока по-прежнему дорогие. У кого есть в компах или ноутах SSD? Заметно ускорение работы, не так ли? Мы уже прошли несколько стадий развития NAND: SLC, MLC, теперь уже поколение TLC накопителей, с каждым новым витком развития стоимость технологии удешевляется. Множество потенциальных новых типов носителей обещают в будущем ещё больше ёмкость, ещё больше скорость и т.д. И возможно, когда-нибудь, технологии, где ячейки памяти не изнашиваются. SSD даже для ноутбука не дешевые, а что говорить о больших промышленных решениях All Flash Array? Как сделать, чтобы SSD удешевить в таких решениях? Ответ таков: использовать технологии дедупликации и компрессии данных, чтобы удешевить стоимость терабайта. У NetApp есть целый ряд технологий сжатия данных. Так к примеру базу данных SQL вполне было реально сжать в два раза, это я видел у одного нашего заказчика, при этом производительность была лучше, чем у других конкурентов на тесте и её включение/выключение не влияло на производительность. Это было в прошивке ONTAP 8.3.2, а сейчас уже вышла ONTAP 9.2 с агрегат инлайн дедупликацией. SSD это однозначно будущее СХД, все без исключения вендоры это признали. Некоторые вендоры отказались развивать экстремально дорогие High-End хранилищ и начали разрабатывать более дешевые и производительные AFA.

DataFabric

DataFabric это не одна технология, а целый набор технологий, видение, желание NetApp по движению в сторону объединения и интеграции всех своих продуктов тем как можно большим количеством способов и большей мобильности данных. К примеру:

• В новых версиях двух абсолютно разных систем и архитектур, таких как ONTAP и AltaVault, поддерживается репликация SnapMirror, которая ранее поддерживалась только между двумя FAS системами
• Поддержка репликации данных расположенных на СХД с аппаратной платформой NetApp E-Series и ОС SANtricity в облако для разворацивания там резервной площадки.
• Интеграция SolidFire и StorageGRID.
• StorageGRID и AltaVault
• ну и естественно возможность FAS <-> ONTAP Cloud / ONTAP Select репликации

> Подробнее о DataFabric

StorageGRID объектное хранилище

StorageGRID это объектное хранилище для данных, которые достаточно редко изменяются: фото, видео, архивы, бэкапы. Что такое объектное хранилище подробнее можно почитать в статье.
Это софт, который может быть установлен у облачного провайдера и лицензируются для потерабайтно-помесячно: есть заказчик потребляющий ресурс и платящий за него — есть деньги, покупается лицензия; нет денег — не покупается.

Снэпшоты

Кто работал со снэпшотами VMware и Hyper-V на высоконагруженных виртуальных машинах? Плохо работают не так ли? Чем больше снэпшотов тем хуже работает виртуалка, тем дольше они удаляются и это удаление ещё сильнее убивает производительность этой машины. Для NetApp ONTAP, снэпшоты это сущий пустяк, никаких проблем производительности при создании или удалении. Множество интеграций с софтом резервного копирования типа Veeam или CommVault и т.д., позволяющих снимать консистентные снэпшоты. VMware vVol позволяют снимать hardware-assistant снэпшоты хранилищем гранулярно для каждой отдельной виртуальной машины, что устраняет проблемы вызванные снэпшотами гипервизоров. Такие не тормозящие снэпшоты выгодно использовать для резервного копирования и DR. Там, где есть возможность использовать hardware-assistant снэпшоты хранилища, не влияющие на производительность, везде стоит их использовать.

Новая версия ONTAP 9.2

Напомню, что ONTAP это прошивка 9.2, которая устанавливается или на аппаратную платформу FAS/AFF или доступна в виде софта (SDS) с виртуальной машиной у вас на сервере (ONTAP Select) или в публичном облаке (ONTAP Cloud). Пару месяцев назад вышла новая прошивка ONTAP, большинство текущих заказчиков уже сейчас может обновить систему до 9.2.

В своей предыдущей статье я расписал новый функционал доступный в прошивке 9.2.

Replication

Репликация для DR на FAS или ONTAP Select. Работает на базе снэпшотов между двумя нетапами. Так вот эта репликация с FabricPool позволяет экономить не только на основной площадке. Можно на резервную площадку поставить СХД с 10-20% пространства от основной, а все остальное опять таки смешать на холодный уровень.

Tiering или FabricPool

Первое что стоит сказать о FabricPool, что как и любая технология тиринга она призвана в первую очередь экономить ресурсы СХД, а это деньги заказчика. Если же бюджет не ограничен, то можно тупо купить All Flash систему и хранить на ней снэпшоты за 3 года плюс купить ещё одну такую же систему на резервный сайт, построить метрокластер и третью такую же на резервный бэкапный сайт. Но как правило денег на такую архитектуру нет, но интерес к SSD есть и деньги на объем для продуктива (или какой-то его важной части) всё же есть, а вот для бэкапов, снэпшотов и резервирований, уже нет. Здесь и приходит на помощь FabricPool.

FabricPool это технология, позволяющая объединить быстрое и медленное хранилище для создания гибридного пула (агрегата) состоящего из SSD и облака S3, на подобии как это работает в технологии кеширования FlashPool. Также как и в FlashPool, все данные сначала попадают на горячий уровень SSD уровень, а холодные данные потом смещаются на медленный и дешевый уровень, это позволяет экономить дорогостоящее место на SSD.

FabricPool это технология, реализована в рамках стратегии DataFabric, которая в свою очередь должна расширить интеграцию всех продуктов NetApp и расширить возможности мобильности данных.

Когда NetApp делает новую фичу, он не смотрит на других и не пытается добавить фичу «ради галочки». Вместо этого выпускается технология, которая действительно хорошо продуманная и будет востребована потребителями. Это касается и новой Tiering-фичи FabricPool. С ростом спроса на SSD увеличивается число инсталляций и интереса к этой технологии, поэтому NetApp выпустил функционал FabricPool позволяющий более рационально использовать дорогостоящие SSD накопители.

FabricPool это технология смещения холодных данных с SSD агрегата (AFF, FAS, ONTAP Cloud систем) на холодный объектный уровень — в облако Amazon S3 или на объектную СХД NetApp StorageGRID.

Внедрение FabricPool для перемещения данных на Object Storage будет состоять из двух стадий. В 9.2RC будет доступна возможность смещать только снэпшоты. А следующей стадией будет возможность смещения холодных данных из активной файловой системы вольюма на холодный уровень, доступно с версии 9.2GA. Пока с FabricPool не поддерживаются FlexFroup, MetroCluster, ONTAP Select, SnapLock и др.

FabricPool на FAS/AFF и третестороннее объектное хранилище холодных данных

Для использования функционала FabricPool на FAS/AFF системах с третесторонним объектным хранилищем Amazon S3 необходимо приобретать по-терабайтные лицензии, которые добавляются в ONTAP, добавление лицензии FabricPool сразу добавляет 10ТБ. Потом можно добавлять по терабайту.

FabricPool на FAS/AFF и StorageGRID

Для работы функционала FabricPool на системах хранения FAS/AFF, лицензия необходима только в случае использования Amazon S3. В случае NetApp StorageGRID лицензия для работы FabricPool не нужна.

FabricPool и ONTAP Cloud

Для систем ONTAP Cloud живущая в публичном облаке также нет потерабайтного лицензирования со стороны ONTAP Cloud для включения FabricPool — заказчик оплачивает только фактическое потребленное пространство холодного уровня в объектном хранилище S3 напрямую самому облачному провайдеру. На данный момент FabricPool поддерживается только в ONTAP Cloud для Amazon.

FabricPool и Disaster Recovery

Как и раньше, для построения DR площадки и передачи данных между двумя СХД ONTAP используется репликация SnapMirror. Очень часто для экономии финансов, на DR площадку покупался более простое и дешевое хранилище. Теперь же FabricPool позволяет немного по-другому подойти к этому вопросу. К примеру, если на основной площадке используется AFF система, то на резервную можно разместить такую же или похожую, но все же AFF систему. В All Flash хранилищах большую часть бюджета отъедают не контроллеры, а сами SSD накопители. Теперь с FabricPool можно установить на резервную площадку AFF систему, но только с 10%-20% полезного пространства от основного хранилища, так как холодные данные будут уходить на холодный объектный уровень. Позволяя таким образом экономить на дисках, но не ставить контроллеры, которые не тянули бы производительность. В случае если на горячем уровне нет места для новых горячих блоков, они будут читаться напрямую из холодного объектного хранилища.

Чем FabricPool может быть интересен облачным провайдерам?

СХД предоставляет высокоскоростной, но достаточно дорогой уровень хранения данных. Владельцев СХД NetApp FabricPool это способ экономить. А некоторые заказчики просто согласно законам своей страны не могут выносить все или часть своих данных за рубеж в Amazon S3. Для облачного провайдера FabricPool это новые заказчики и дополнительный сервис хранения данных.

Что необходимо облачному провайдеру

Технология FabricPool это технология Tiering позволяющая новым и существующим заказчикам смещать снэпшоты (бэкапы) и холодные данные продуктивных СХД использующий SSD (дорогой уровень) из их ЦОДов, в публичное облако на холодный (дешевый уровень). В публичном облаке необходимо развернуть софт NetApp StorageGrid (доступен в виде образов VMware, KVM и Docker). Для облачных провайдеров NetApp StorageGrid лицензируется потерабайтно помесячно, это очень удобно: пока есть заказчики этой услуги, облачный провайдер платит за лицензии, нет — не платит. Для владельцев СХД NetApp, которые будут использовать StorageGrid расположенный у облачного провайдера лицензию покупать не нужно.

Высчитать стоимость услуги хранения холодных данных FabricPool для провайдера

Стоимость будет включать следующие основные затраты для провайдера:

• У софта StorageGrid есть системные требования (CPU, Memory), соответственно это затраты для провайдера
• Заказчик будет подключаться по IP к сервис провайдеру соответственно это или просто внешний белый IP адрес с пробросом порта https на StorageGrid внутри облака. Внешний белый IP и возможно FireWall стоят каких-то денег; Или это опять-таки белый IP для подключения по VPN, по которому заказчик будет перегонять холодные данные. Построить VPN тоже стоит денег; или это выделенный канал связи
• Дисковое пространство которое будет занято для разворачивания узлов StorageGrid — выделяется один раз, не меняется на протяжении всей жизни узла. Но количество узлов может со временем расти по мере нагрузки и роста занятого пространства. Минимальное число 5 узлов StorageGrid (могут быть виртуальными машинами): 3 узла (storage node) + 2 административных узла (Gateway node & Admin node).
• По-месячно — по-терабайтное лицензирования NetApp
• И собственно дисковое пространство занятое под хранение собственно данных от заказчиков.

Выводы

Технология FabricPool позволяет интегрировать ONTAP и объектные хранилища для холодных данных в рамках стратегии DataFabric. Для владельцев СХД, FabricPool позволяет более рационально использовать дорогостоящие ресурсы All Flash систем и SSD агрегатов, смещая неактивные холодные данные на дешевый уровень, что в свою очередь делает системы хранения NetApp All Flash более доступными по стоимости владения. Объектное хранилище легко масштабируется по мере роста и теоретически не имеет ограничений по пространству (текущий Soft Limit 70PB). Для облачных провайдеров FabricPool это способ привлечь новых заказчиков, которые ранее продуктивные данные хранили только на своём оборудовании.