Два последних варината называют ONTAP for Cloud и ONTAP Select соответственно.
Как и предшественник ONTAP Select, этот продукт, который живёт в виде виртуальной машины и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы и отсутствует поддержка FCP. В документах NetApp можно встретить внутренее название ONTAP Select — sDOT, это одно и тоже.
Из ожидаемых новшеств:
- Поддержка High Avalability
- Поддержка кластеризации до 4 нод
- Максимальный полезный объем 400 ТБ (по 100ТБ на ноду в 4х нодовом кластере)
На ряду с High Availability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.
High Availability
Для обеспечения функционала High Availability используется технология SyncMirror (такая же как в MetroCluster) которая работает как RAID1: есть два плекса, основной и резервный. С основного происходит чтение и запись, а в резервный происходит синхронная реплика. Если одна нода из двух в HA конфигурации с основным плексом умирает, вторая нода использует резервный плекс, приложения прозрачно переключаются и не замечают потерю ноды. На рисунке у каждой ноды по два набора данных (два плекса): свой (основной) и соседа (резервный).
SnapMirror репликация
ONTAP Select может выступать как источник, так и как получатель реплик. На базе SnapMirror можно построить DR решение SVM. Если использовать ONTAP только как хранилище файлов, то для репликации нет необходимости обеспечивать консистентность данных сторонним ПО. Если же используется IP SAN или приложения виртуализации, БД и других, то понадобится ПО резервного копирования, для обеспечения консистентности информации.
Point-in-time consistency
Самый простой способ снять консистентный снепшот — потушить приложение. Что такое консистентность данных? Под консистентностью понимается требования к резервному копированию, которые обеспечивают гарантию восстановления данных на момент их резервного копирования. Это если объяснять сухим, совершенно техническим языком. А если по-простому и понятному, то это лучше объясняется и понимается от обратного: представьте что у вас есть БД живущая в среде виртуализации или на СХД, которые умеет делать снепшоты и они настроены, так что снимаются каждый день в 12 ночи. Сможете ли вы при повреждении бызы восстановиться к одному из таких снепшотов? Ответ — «может да, а может нет», даже «скорее нет чем да». Потому, что сами по себе снепшоты безо всякого взаимодействия с приложением лепяться, невзирая на то, завершились ли транзакции БД и все ли данные из памяти очутились на диске. Другими словами вам нужно каким-то образом интегрировать и «дружить» ваши снепы и ваше приложение, чтобы оно сбрасывало данные из кеша на диск, завершало все накопившиеся транзакции, замирало, следом снимался снепшот и только в конце приложение «отмирало». А чтобы это происходило незаметно для пользователей, снепшот должен сниматься мгновенно. И только при таком условии вы гарантированно сможете откатываться к такому сепшоту.
Виртуализация и консистентность
Все современные гипервизоры, при помощи агентов установленных внутрь виртуальных машин могут добиваться консистентности и далее выполнять консистентный снепшот, это очень удобно для небольших компаний, которые имеют не очень нагруженные виртуальные машины. Если не устанавливать агент гипервизора, то консистентности не будет.
Почему снепшоты гипервизоров это зло?
До поры до времени, пока организация и нагрузки на ваируальные машины не большие, консистентные снепшоты гипервизоров и решения бэкапирования построенные на этом вполне будут подходить таким компаниям. Но компании и нагрузки могут выростать и вот здесь наступает переломный момент:
Снепшоты Hyper-V или того же VMware устроены, к сожалению таким образом, что чем больше они существуют, тем больше этот снепшот становится. Чем больше снепшот, тем дольше он удаляется. Чем больше он удаляется тем больше он нагружает дисковую подсистему. Чем долше он удаляется, тем больше вероятность того, что старый снеп не успеет удалиться из-за возросшей дополнительной нагрузки, и создастся ещё один новый снеп, для нового процесса бэкапирования. Чем больше снепшотов, тем ещё больше нагрузки на дисковую подсистему.
Как VMware, так и Microsoft открыто говорят, о том, что снепшоты гипервизора не рекомендуется использовать на высоко нагруженных приложениях. Я лично наблюдал два раза на практике, что процесс удаления снепшота (консолидация) приводила к краху системы, в обоих случаях это было связано с тем, что дисковая подсистема не успевала справляться с дополнительной нагрузкой, блочное устройство из-за излишней нагрузки всё увеличивало и увеличивало время отклика, пока не превысило таймаут и виртуальная машина не успев доконсолидироваться ушла в офлайн с последующим её повреждением. Один раз даже получилось её восстановить.
В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.
Снепшоты ONTAP
Снепшоты выполненые на ONTAP совершенно не влияют на производительность системы хранения. Так устроенна внутрення архитектура ONTAP. Но снепшоты СХД, это снепшоты СХД. И чтобы они могли взаимодействовать с гипервизором, необходимо использовать какое-то специализированное программное решение для взаимодействия. Примерами таких решений могут быть Veeam B&R, технология vVOL и другие. Важно отдельно отметить решение компании NetApp SnapCreator, которое способно обеспечить эту связку, так как ONTAP Select рассчитан для не больших организаций, а SnapCreator бесплатный продукт.
SnapCreator
Это бесплатный фреймворк с веб-интерфейсом для управления и интеграции с ONTAP и различными приложениями, в том числе гипервизорами Hyper-V, VMware и KVM. Благодаря своей модульности фрейморк может быть интегрирован со множеством других софтверных продуктов при помощи плагинов, а при необходимости расширен при помощи скриптов. Подробнее про SnapCreator здесь и здесь.
Поддерживаемые конфигурации ONTAP Select
Гипервизоры
- VMware VSphere 5.X или 6.X, Enterprise или Enterprise Plus
- KVM hypervisor
Оборудование:
- Intel Haswell CPU (Xeon E5 v3)
- ONTAP Select virtual machine: 4 virtual
- CPUs/16GB memory
- Storage:
- SAS, NL-SAS disk support
- Hardware RAID controller with writeback cache
- Network: minimum 2 x 10GbE ports
Лицензирование
Потерабайтное. Максимальный размер 400ТБ.
В ONTAP Select влючены лицензии: CIFS, NFS, iSCSI, FlexClone, SnapRestore, SnapVault, SnapMirror, Virtual Storage Console.
Лицензия на SnapCenter не включена и покупается для каждого отдельного хоста.
Отличительные черты
Перечисленное ниже входит в базовую поставку при покупке ONTAP Select, дополнительно этот функционал покупать не нужно:
- Поддержка SAN (iSCSI) & NAS (CIFS & NFS)
- CIFS (SMB) поддерживается как в интеграции с AD, так и используя Workgroup
- High Availability
- Кластеризация с возможностью онлайн миграции данных SAN/NAS по нодам кластера
- Снепшоты и клоны не влияющие на производительность СХД — лицензии FlexClone и SnapRestore идут в базовой комплектации
- QoS — на уровне файла, луна, вольюма
- MS ODX & Copy Offload (SAN/NAS), SMB 3.1
- NFS 4.X, pNFS
- NDMP с поддержкой расширения 0x2050
- Thing provisioning, SCSI-3 UNMAP (Space Reclamation)
- resource exhaustion reporting — уведомление хоста об окончании пространства в тонком луне
- Compression
- Deduplication
- Storage Virtual Machine (Multi Tenancy) — Возможность создавать выделенные «виртуальные» СХД на базе кластера, которые могут работать независимо друг от друга и управляться различными администраторами, подразделениями или даже компаниями
- Интеграция с передовым софтом резервного копирования
- Поддержка vVol (NFS/iSCSI), VASA, VAAI (NFS/iSCSI)
- Возможность создания Disastar Recovery решения на нескольких площадках
- Поддержка тонкого реплицирования данных на удалённый ONTAP (не важно FAS, ONTAP Select или ONTAP for Cloud) — лицензии SnapMirror и SnapVault идут в базовой комплектации
- Бесплатный SnapCreator — софт интеграции снепов с приложениями (БД, виртуализация и т.д.)
- Бесплатный OnCommand Unified Manager & Performance Manager — софт для слежения за производительностью, защищённостью и заполненностью СХД
Выводы
SDS ONTAP хорошо подходит для средних и небольших компаний, и компаний с филиальной структурой, где может быть необходимость реплицировать данные на другие ONTAP. Продукт позволяет кластеризироваться для онлайн миграции ваших данных по нодам кластера, имеет богатый функционал и широкую интеграцию с разнообразными приложениями и позволяет построить высокодостуное хранилище используя комодити сервера. Продукты резервного копирования, которые интегрируют ONTAP с виртуальными окружениями KVM и ESXi будут весьма востребованы в таких схемах так как позволяют качественно улучшить процесс резервного копирования. Так Veeam Backup & Replication и бесплатный SnapCreator позволяют выполнять консистентные резервные копии в связке с гипервизорами и умеют управлять SnapMirror репликацией, что делает эти, и другие подобные продукты, оптимальным тандемом в такой инфраструктуре. Технология SnapMirror for SVM поможет построить DR решение на базе ONTAP. Отдельно стоит выделить технологию VMware vVOL, которая нативно обеспечивает консистентные снепшоты на ONTAP из-за чего также будет весьма интересна для подобных инсталляций.
Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
Сообщения по ошибкам в тексте прошу направлять в ЛС.
Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
Комментарии (24)
KorP
30.06.2016 13:11Как оно в сравнении с миллионом конкурентов на рынке выглядит в итоге? Цена/удобство/производительность/ништяки?
navion
30.06.2016 13:14КМК, никак по сравнению с VSAN — это просто дешевые приёмник для нетаповский снепшотов.
KorP
30.06.2016 13:18Вот в общем то у меня сложилось аналогичное мнение после конференции. Но интересуют и продукты других вендоров
bbk
30.06.2016 13:26Хочу обратить ваше внимание на немаловажный фактор возможности широкой интеграции сторонних софтов резервного копирования. Опять таки vVOL для iSCSI/NFS.
Это вам не просто iSCSI/CIFS/NFS
Возможности НА и онлайн миграции по кластеру тоже есть далеко не у всех.
Цельная статья об этом, и похоже вы её ещё не прочли.KorP
30.06.2016 13:41Возможности НА и онлайн миграции по кластеру тоже есть далеко не у всех.
Одного предложения мне было мало, по этому я и спросил
mikkisse
30.06.2016 13:42+1Очень удобная вещь в данном случае SVM DR.
Не придется покупать СХД, можно разместиться на более дешевом железе и с меньшими затратами.
navion
30.06.2016 14:04+1В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.
Есть и другие парадигмы, сейчас всё популярней защита на уровне приложений, которая обеспечивает лучший RPO с меньшим влиянием на производительность (сброс кэшей совсем не бесплатен).
этот продукт живёт и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере
Причем тут SDS и какой оверхед у HA-кластера? Дисков надо в два раза больше, как с MetroCluster?bbk
30.06.2016 14:08Да, для обеспечения HA нужно в два раза больше пространства, как вы правильно заметили там используется технология плексов, как в MetroCluster
Парадигма выгрузки средствами приложения имеет, как правило, следующие существенные минусы:
- данные копируются в виде FullBackup — это долго и соответственно долго нагружает дисковую подсистему
- нагружается не толко дискоая подсистема но и порты и CPU хоста (или гипервизора)
У снепов и консистентности нет таких накладных расходов.navion
30.06.2016 14:17Я имел ввиду AlwaysOn, DAG и т.п., там данные копируются на уровне транзакций и оверхед закладывается на этапе проктирования системы.
bbk
30.06.2016 14:19-1Если оверхед закладывается в самом начале, это не значит что его там нет :)
По сравнению со снятием консистентного снепа это существенное влияние на производительность (заложенное в самом начале).
В нетаповских снепах такой проблемы нет.
Smasher
30.06.2016 16:21+1AlwaysON, DAG, RAC и т.д. — это решения для обеспечения High Availability приложений. При этом они не спасают от порчи данных из-за человеческих ошибок и не только. Например, дропнутая таблица на одном сайте будет дропнутой и на другом. Так что не стоит путать резервное копирование и HA.
shapa
01.07.2016 11:22-1Тихо падал летний снег.
Netapp смог сделать кластер из 4-х узлов.
На дворе стоял 2017-й год…bbk
01.07.2016 12:37+1Как-то у вас всё с преувеличением получилось, даже год 2017 :)
И в перемушку — всё со всем.
Netapp смог сделать кластер из 4-х узлов.
Не стоит обобщать: если мы говорим про SDS ONTAP Select, то да, там 4 ноды.
Если мы говорим о FAS платформах, то там 24 ноды максимум, но у самой архитектуры, по числу нод, ограничения технического, на самом деле, нет.
Т.е. в будущем это число может вырости.
Что же касается числа нод то не стоит меряться «нодовостью», не в этом счастье.
Вот возьмите сравните перфоменс NFS у EMC Isilon из 140 нод и 24 ноды FAS на SPEC SFS 2008.
bbk
01.07.2016 13:17Если говорить о кластеризации СХД, то компания Spinnaker разработавшая кластеризацию Spinfs была основаня в 1999 году, эта компания потом была куплена NetApp 2003 году, а её технологии лягли в основу кластеризации ONTAP.
navion
Ещё у решения приятная цена в $249 за терабайт, хотя с текущими скидками на FAS2500 железка в сборе может оказаться выгодней.
bbk
Я бы рекомендовал узнавать цены у партнёра/дистрибютора/вендора
Потому-что они могут отличаться от страны к стране.
А также могут отличаться уровни скидок от партнёра к партнёру.
navion
Само собой, но прятать цены из прайс-листа тоже нехорошо.
bbk
При чём тут прятать?
Есть голд партнёры, есть уровня Diamand, есть сильвер, есть «просто» и для них разные уровни скидок действуют.
В разных странах разное законодательство и разные цены.
bbk
Обратите нимение, что в ONTAP Select входят лицензии
FlexClone, SnapRestore, SnapVault, SnapMirror
Которые покупаются для FAS2500 отдельно.