ONTAP Select это логическое развитие линейки Data ONTAP-v, т.е. Software Defined Storage. Софт ONTAP (Операционную систему или прошивку по-народному, если хотите) можно использовать на специализированной аппаратной плтформе FAS или в виде виртуальной машины: в публичных облаках или на комодити оборудовании.
Два последних варината называют ONTAP for Cloud и ONTAP Select соответственно.

Как и предшественник ONTAP Select, этот продукт, который живёт в виде виртуальной машины и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы и отсутствует поддержка FCP. В документах NetApp можно встретить внутренее название ONTAP Select — sDOT, это одно и тоже.

Из ожидаемых новшеств:
  • Поддержка High Avalability
  • Поддержка кластеризации до 4 нод
  • Максимальный полезный объем 400 ТБ (по 100ТБ на ноду в 4х нодовом кластере)

На ряду с High Availability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.


High Availability


Для обеспечения функционала High Availability используется технология SyncMirror (такая же как в MetroCluster) которая работает как RAID1: есть два плекса, основной и резервный. С основного происходит чтение и запись, а в резервный происходит синхронная реплика. Если одна нода из двух в HA конфигурации с основным плексом умирает, вторая нода использует резервный плекс, приложения прозрачно переключаются и не замечают потерю ноды. На рисунке у каждой ноды по два набора данных (два плекса): свой (основной) и соседа (резервный).

SnapMirror репликация


ONTAP Select может выступать как источник, так и как получатель реплик. На базе SnapMirror можно построить DR решение SVM. Если использовать ONTAP только как хранилище файлов, то для репликации нет необходимости обеспечивать консистентность данных сторонним ПО. Если же используется IP SAN или приложения виртуализации, БД и других, то понадобится ПО резервного копирования, для обеспечения консистентности информации.

Point-in-time consistency


Самый простой способ снять консистентный снепшот — потушить приложение. Что такое консистентность данных? Под консистентностью понимается требования к резервному копированию, которые обеспечивают гарантию восстановления данных на момент их резервного копирования. Это если объяснять сухим, совершенно техническим языком. А если по-простому и понятному, то это лучше объясняется и понимается от обратного: представьте что у вас есть БД живущая в среде виртуализации или на СХД, которые умеет делать снепшоты и они настроены, так что снимаются каждый день в 12 ночи. Сможете ли вы при повреждении бызы восстановиться к одному из таких снепшотов? Ответ — «может да, а может нет», даже «скорее нет чем да». Потому, что сами по себе снепшоты безо всякого взаимодействия с приложением лепяться, невзирая на то, завершились ли транзакции БД и все ли данные из памяти очутились на диске. Другими словами вам нужно каким-то образом интегрировать и «дружить» ваши снепы и ваше приложение, чтобы оно сбрасывало данные из кеша на диск, завершало все накопившиеся транзакции, замирало, следом снимался снепшот и только в конце приложение «отмирало». А чтобы это происходило незаметно для пользователей, снепшот должен сниматься мгновенно. И только при таком условии вы гарантированно сможете откатываться к такому сепшоту.

Виртуализация и консистентность


Все современные гипервизоры, при помощи агентов установленных внутрь виртуальных машин могут добиваться консистентности и далее выполнять консистентный снепшот, это очень удобно для небольших компаний, которые имеют не очень нагруженные виртуальные машины. Если не устанавливать агент гипервизора, то консистентности не будет.

Почему снепшоты гипервизоров это зло?


До поры до времени, пока организация и нагрузки на ваируальные машины не большие, консистентные снепшоты гипервизоров и решения бэкапирования построенные на этом вполне будут подходить таким компаниям. Но компании и нагрузки могут выростать и вот здесь наступает переломный момент:
Снепшоты Hyper-V или того же VMware устроены, к сожалению таким образом, что чем больше они существуют, тем больше этот снепшот становится. Чем больше снепшот, тем дольше он удаляется. Чем больше он удаляется тем больше он нагружает дисковую подсистему. Чем долше он удаляется, тем больше вероятность того, что старый снеп не успеет удалиться из-за возросшей дополнительной нагрузки, и создастся ещё один новый снеп, для нового процесса бэкапирования. Чем больше снепшотов, тем ещё больше нагрузки на дисковую подсистему.
Как VMware, так и Microsoft открыто говорят, о том, что снепшоты гипервизора не рекомендуется использовать на высоко нагруженных приложениях. Я лично наблюдал два раза на практике, что процесс удаления снепшота (консолидация) приводила к краху системы, в обоих случаях это было связано с тем, что дисковая подсистема не успевала справляться с дополнительной нагрузкой, блочное устройство из-за излишней нагрузки всё увеличивало и увеличивало время отклика, пока не превысило таймаут и виртуальная машина не успев доконсолидироваться ушла в офлайн с последующим её повреждением. Один раз даже получилось её восстановить.
В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.

Снепшоты ONTAP


Снепшоты выполненые на ONTAP совершенно не влияют на производительность системы хранения. Так устроенна внутрення архитектура ONTAP. Но снепшоты СХД, это снепшоты СХД. И чтобы они могли взаимодействовать с гипервизором, необходимо использовать какое-то специализированное программное решение для взаимодействия. Примерами таких решений могут быть Veeam B&R, технология vVOL и другие. Важно отдельно отметить решение компании NetApp SnapCreator, которое способно обеспечить эту связку, так как ONTAP Select рассчитан для не больших организаций, а SnapCreator бесплатный продукт.

SnapCreator


Это бесплатный фреймворк с веб-интерфейсом для управления и интеграции с ONTAP и различными приложениями, в том числе гипервизорами Hyper-V, VMware и KVM. Благодаря своей модульности фрейморк может быть интегрирован со множеством других софтверных продуктов при помощи плагинов, а при необходимости расширен при помощи скриптов. Подробнее про SnapCreator здесь и здесь.


Поддерживаемые конфигурации ONTAP Select


Гипервизоры
  • VMware VSphere 5.X или 6.X, Enterprise или Enterprise Plus
  • KVM hypervisor

Оборудование:
  • Intel Haswell CPU (Xeon E5 v3)
  • ONTAP Select virtual machine: 4 virtual
  • CPUs/16GB memory
  • Storage:
  • SAS, NL-SAS disk support
  • Hardware RAID controller with writeback cache
  • Network: minimum 2 x 10GbE ports


Лицензирование
Потерабайтное. Максимальный размер 400ТБ.
В ONTAP Select влючены лицензии: CIFS, NFS, iSCSI, FlexClone, SnapRestore, SnapVault, SnapMirror, Virtual Storage Console.
Лицензия на SnapCenter не включена и покупается для каждого отдельного хоста.

Отличительные черты
Перечисленное ниже входит в базовую поставку при покупке ONTAP Select, дополнительно этот функционал покупать не нужно:
  • Поддержка SAN (iSCSI) & NAS (CIFS & NFS)
  • CIFS (SMB) поддерживается как в интеграции с AD, так и используя Workgroup
  • High Availability
  • Кластеризация с возможностью онлайн миграции данных SAN/NAS по нодам кластера
  • Снепшоты и клоны не влияющие на производительность СХД — лицензии FlexClone и SnapRestore идут в базовой комплектации
  • QoS — на уровне файла, луна, вольюма
  • MS ODX & Copy Offload (SAN/NAS), SMB 3.1
  • NFS 4.X, pNFS
  • NDMP с поддержкой расширения 0x2050
  • Thing provisioning, SCSI-3 UNMAP (Space Reclamation)
  • resource exhaustion reporting — уведомление хоста об окончании пространства в тонком луне
  • Compression
  • Deduplication
  • Storage Virtual Machine (Multi Tenancy) — Возможность создавать выделенные «виртуальные» СХД на базе кластера, которые могут работать независимо друг от друга и управляться различными администраторами, подразделениями или даже компаниями
  • Интеграция с передовым софтом резервного копирования
  • Поддержка vVol (NFS/iSCSI), VASA, VAAI (NFS/iSCSI)
  • Возможность создания Disastar Recovery решения на нескольких площадках
  • Поддержка тонкого реплицирования данных на удалённый ONTAP (не важно FAS, ONTAP Select или ONTAP for Cloud) — лицензии SnapMirror и SnapVault идут в базовой комплектации
  • Бесплатный SnapCreator — софт интеграции снепов с приложениями (БД, виртуализация и т.д.)
  • Бесплатный OnCommand Unified Manager & Performance Manager — софт для слежения за производительностью, защищённостью и заполненностью СХД


Выводы


SDS ONTAP хорошо подходит для средних и небольших компаний, и компаний с филиальной структурой, где может быть необходимость реплицировать данные на другие ONTAP. Продукт позволяет кластеризироваться для онлайн миграции ваших данных по нодам кластера, имеет богатый функционал и широкую интеграцию с разнообразными приложениями и позволяет построить высокодостуное хранилище используя комодити сервера. Продукты резервного копирования, которые интегрируют ONTAP с виртуальными окружениями KVM и ESXi будут весьма востребованы в таких схемах так как позволяют качественно улучшить процесс резервного копирования. Так Veeam Backup & Replication и бесплатный SnapCreator позволяют выполнять консистентные резервные копии в связке с гипервизорами и умеют управлять SnapMirror репликацией, что делает эти, и другие подобные продукты, оптимальным тандемом в такой инфраструктуре. Технология SnapMirror for SVM поможет построить DR решение на базе ONTAP. Отдельно стоит выделить технологию VMware vVOL, которая нативно обеспечивает консистентные снепшоты на ONTAP из-за чего также будет весьма интересна для подобных инсталляций.

Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
Сообщения по ошибкам в тексте прошу направлять в ЛС.
Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
Поделиться с друзьями
-->

Комментарии (24)


  1. navion
    30.06.2016 13:05

    Ещё у решения приятная цена в $249 за терабайт, хотя с текущими скидками на FAS2500 железка в сборе может оказаться выгодней.


    1. bbk
      30.06.2016 13:07

      Я бы рекомендовал узнавать цены у партнёра/дистрибютора/вендора
      Потому-что они могут отличаться от страны к стране.
      А также могут отличаться уровни скидок от партнёра к партнёру.


      1. navion
        30.06.2016 13:12
        +1

        Само собой, но прятать цены из прайс-листа тоже нехорошо.


        1. bbk
          30.06.2016 13:21

          При чём тут прятать?

          Потому-что они могут отличаться от страны к стране.
          А также могут отличаться уровни скидок от партнёра к партнёру.


          Есть голд партнёры, есть уровня Diamand, есть сильвер, есть «просто» и для них разные уровни скидок действуют.
          В разных странах разное законодательство и разные цены.


    1. bbk
      01.07.2016 09:40

      Обратите нимение, что в ONTAP Select входят лицензии
      FlexClone, SnapRestore, SnapVault, SnapMirror
      Которые покупаются для FAS2500 отдельно.


  1. KorP
    30.06.2016 13:11

    Как оно в сравнении с миллионом конкурентов на рынке выглядит в итоге? Цена/удобство/производительность/ништяки?


    1. navion
      30.06.2016 13:14

      КМК, никак по сравнению с VSAN — это просто дешевые приёмник для нетаповский снепшотов.


      1. KorP
        30.06.2016 13:18

        Вот в общем то у меня сложилось аналогичное мнение после конференции. Но интересуют и продукты других вендоров


        1. bbk
          30.06.2016 13:26

          Хочу обратить ваше внимание на немаловажный фактор возможности широкой интеграции сторонних софтов резервного копирования. Опять таки vVOL для iSCSI/NFS.
          Это вам не просто iSCSI/CIFS/NFS
          Возможности НА и онлайн миграции по кластеру тоже есть далеко не у всех.

          Цельная статья об этом, и похоже вы её ещё не прочли.


          1. KorP
            30.06.2016 13:41

            Возможности НА и онлайн миграции по кластеру тоже есть далеко не у всех.
            Одного предложения мне было мало, по этому я и спросил


          1. mikkisse
            30.06.2016 13:42
            +1

            Очень удобная вещь в данном случае SVM DR.
            Не придется покупать СХД, можно разместиться на более дешевом железе и с меньшими затратами.


        1. Smasher
          30.06.2016 16:24
          +1

          Автор забыл еще упомянуть о поддержке дедупликации и компрессии.


          1. bbk
            30.06.2016 16:43

            Да, дедупликация, тонкий провиженинг и снепшоты традиционно также входят в ONTAP, а еще VASA, VAAI, MS ODX, CIFS 3.1.1, QoS и многое другое


  1. navion
    30.06.2016 14:04
    +1

    В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.

    Есть и другие парадигмы, сейчас всё популярней защита на уровне приложений, которая обеспечивает лучший RPO с меньшим влиянием на производительность (сброс кэшей совсем не бесплатен).

    этот продукт живёт и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере

    Причем тут SDS и какой оверхед у HA-кластера? Дисков надо в два раза больше, как с MetroCluster?


    1. bbk
      30.06.2016 14:08

      Да, для обеспечения HA нужно в два раза больше пространства, как вы правильно заметили там используется технология плексов, как в MetroCluster

      Парадигма выгрузки средствами приложения имеет, как правило, следующие существенные минусы:

      • данные копируются в виде FullBackup — это долго и соответственно долго нагружает дисковую подсистему
      • нагружается не толко дискоая подсистема но и порты и CPU хоста (или гипервизора)


      У снепов и консистентности нет таких накладных расходов.


      1. navion
        30.06.2016 14:17

        Я имел ввиду AlwaysOn, DAG и т.п., там данные копируются на уровне транзакций и оверхед закладывается на этапе проктирования системы.


        1. bbk
          30.06.2016 14:19
          -1

          Если оверхед закладывается в самом начале, это не значит что его там нет :)
          По сравнению со снятием консистентного снепа это существенное влияние на производительность (заложенное в самом начале).
          В нетаповских снепах такой проблемы нет.


        1. Smasher
          30.06.2016 16:21
          +1

          AlwaysON, DAG, RAC и т.д. — это решения для обеспечения High Availability приложений. При этом они не спасают от порчи данных из-за человеческих ошибок и не только. Например, дропнутая таблица на одном сайте будет дропнутой и на другом. Так что не стоит путать резервное копирование и HA.


  1. Smasher
    30.06.2016 16:24

    SnapCreator бесплатный, а вот плагины к нему нет.


    1. bbk
      30.06.2016 16:37

      Все известные мне плагин для SC бесплатные.
      Есть один плагин, который бесплатен сам по себе, он интегрирует SnapManager в SnapCreator. Так вот SnapManager сам по себе платный и он один такой.


      1. Smasher
        30.06.2016 17:23
        +1

        Блин. Перепутал со SnapCenter :)


  1. shapa
    01.07.2016 11:22
    -1

    Тихо падал летний снег.
    Netapp смог сделать кластер из 4-х узлов.

    На дворе стоял 2017-й год…


    1. bbk
      01.07.2016 12:37
      +1

      Как-то у вас всё с преувеличением получилось, даже год 2017 :)
      И в перемушку — всё со всем.

      Netapp смог сделать кластер из 4-х узлов.

      Не стоит обобщать: если мы говорим про SDS ONTAP Select, то да, там 4 ноды.
      Если мы говорим о FAS платформах, то там 24 ноды максимум, но у самой архитектуры, по числу нод, ограничения технического, на самом деле, нет.
      Т.е. в будущем это число может вырости.

      Что же касается числа нод то не стоит меряться «нодовостью», не в этом счастье.
      Вот возьмите сравните перфоменс NFS у EMC Isilon из 140 нод и 24 ноды FAS на SPEC SFS 2008.


    1. bbk
      01.07.2016 13:17

      Если говорить о кластеризации СХД, то компания Spinnaker разработавшая кластеризацию Spinfs была основаня в 1999 году, эта компания потом была куплена NetApp 2003 году, а её технологии лягли в основу кластеризации ONTAP.