Сколько стоит один час внепланового простоя в вашей организации? Согласно исследованиям компании Gartner, в среднем по отраслям стоимость одной минуты составляет $5600. Эти цифры говорят о том, что приложения вашей организации необходимо защищать и резервное копирование играет ключевую роль в построении бизнеса без простоев и в выдерживании заданного соглашения об уровне обслуживания (SLA). Иначе… Иначе ожидайте чего-то белого и пушистого :)
Какой пласт хранилища под бэкап скрывается за резервным копированием только 1ТБ продуктивных данных? На самом деле – огромный: предположим, что данные на этом томе 1ТБ у нас действительно очень важные и наша политика резервного копирования этого тома получается следующая:
— делаем полные бэкапы каждый день и храним их в течение недели (5 полных бэкапов 1ТБ);
— недельные бэкапы храним 4 недели (4 полных бэкапа 1ТБ);
— храним месячные бэкапы год (12 полных бэкапов 1ТБ);
— для защиты от выхода из строя площадки целиком делаем резервное копирование на удаленную площадку (полная копия данных площадки 1).
Итого на 2 площадки в сумме нам необходимы хранилища под резервные копии объемом 42ТБ! Тут напрашивается аналогия с вершиной айсберга – часто в расчет берем только видимую верхушку, не учитывая огромный объем скрытый от глаз…
Как можно защищать данные? Во-первых, можно хранить копии продуктивных данных на лентах. Но в этом случае необходимо проводить постоянную проверку состояния записанных данных, знать где хранятся сами ленты и запастись терпением при восстановлении – скорость будет упираться в небыструю механику ленточных приводов.
Во-вторых, можно хранить копии данных в виде снэпшотов на самой продуктивной СХД. Но в этом случае мы рискуем одновременно потерять и сами продуктивные данные и снэпшоты в случае отключения питания или отказа СХД.
С другой стороны, все больше заказчиков делают выбор в сторону массивов all-flash для обслуживания самых требовательных к производительности бизнес- приложений.
Эти факторы и объясняют причину создания класса специализированных дисковых систем резервного копирования данных и аварийного восстановления, отвечающих этим вызовам – HPE StoreOnce.
Системы HPE StoreOnce – аппаратные комплексы для резервного копирования данных с онлайн дедупликацией на уровне блоков переменной длины. Варианты систем охватывают полный спектр заказчиков от начального до корпоративного уровня:
Цифрами обозначена полезная емкость без учета дедупликации.
Какими же преимуществами обладают системы резервного копирования HPE StoreOnce? Вкратце преимущества следующие (подробное описание преимуществ ожидайте в одной из следующих статей).
Во-первых, системы HPE StoreOnce поддерживают онлайн дедупликацию блоками переменной длины, а также позволяют перемещать данные между разными системами в сжатом виде, используя даже медленные WAN каналы.
Во-вторых, помимо аппаратных комплексов, для небольших площадок можно использовать виртуальную систему StoreOnce VSA, которую можно развернуть на любом сервере, поддерживающем виртуализацию. Между программным и аппаратным комплексом данные также будут перемещаться в сжатом виде, а управлять такими связками можно из одной консоли. Единая архитектура семейства позволяет объединить устройства разного класса в общую систему защиты информации уровня предприятия для обеспечения разнообразных требований к уровням обслуживания и длительности окон резервного копирования разных подразделений.
В-третьих, старшие системы HPE StoreOnce поддерживают конфигурацию с 8 контроллерами, что обеспечивает полное резервирование на аппаратном уровне и защищает от падения системы в случае выхода из строя контроллеров.
В-четвертых, любая система HPE StoreOnce проверяет консистентность (целостность) данных на всем этапе хранения — от простых проверок контрольных сумм, которые позволяют обнаружить повреждение блоков в процессе передачи данных, контроля целостности на уровне файловой системы и RAID группы и до создания конфигураций высокой доступности.
В-пятых, системы HPE StoreOnce получили высокие оценки мировых аналитических агентств в сравнении с конкурентными предложениями на рынке (ссылки на отчеты аналитиков в конце статьи).
В-шестых, и на этом остановимся подробнее в этой статье, система HPE StoreOnce поддерживает бесшовную интеграцию с продуктивными системами хранения HPE 3PAR – т.н. механизм плоского бэкапа (Flat Backup) благодаря использованию ПО HPE StoreOnce Recovery Manager (RMC).
ПО HPE StoreOnce Recovery Manager специально разработано для упрощения резервного копирования продуктивных данных с массивов HPE 3PAR на системы HPE StoreOnce.
При переходе на твердотельные накопители на продуктивных СХД традиционные схемы резервного копирования на ленту (с полной копией всей информации раз в неделю и ежедневным инкрементальным бэкапом) — должны быть модернизированы потому, что данные меняются намного чаще, чем это было в эру традиционных дисковых массивов. Технологии HPE 3PAR StoreServ позволяют это сделать наиболее простым способом — прямым копированием «моментальных снимков» томов, консистентных с точки зрения бизнес-приложений, на отдельное устройство HPE StoreOnce с дедупликацией. Администраторы дискового массива или виртуальной среды может запускать эту задачу, не будучи связанными регламентными процедурами традиционного резервного копирования. Скорость и возможность гранулярного восстановления, вплоть до отдельных файлов виртуальных машин, а также отсутствие ПО резервного копирования в этой схеме позволяют создать наиболее эффективное решение по защите данных наиболее требовательных к производительности транзакционных систем.
ПО HPE RMC позволяет администраторам создавать сотни копий томов виртуальных машин и быстро их восстанавливать. Администраторы VMware имеют возможность управлять снэпшотами продуктивных томов из одной консоли.
Чтобы создавать консистентные снэпшоты в RMC используется plug-in к vCenter. Как только администратор подает команду (или автоматически по расписанию) виртуальная машина переключается в режим бэкапа и сбрасывает состояние файловой системы и оперативной памяти системе хранения. Далее на стороне системы хранения включаются механизмы работы со снэпшотами. Система хранения HPE 3PAR имеет способность контролировать измененения на блочном уровне, благодаря встроенному механизму SnapDiff. После того, как данные были записаны на массиве — они отсылаются в виде измененных блоков в StoreOnce. Объединяя механизм контроля блочных изменений на 3PAR с механизмом логического индексирования систем StoreOnce, RMC контролирует, чтобы по каналам данных передавались только уникальные блоки. Это серьезно сокращает требования к пропускной способности каналов связи.
Помимо этого администратору доступен сценарий создания “синтетических полных” бэкапов. Когда измененные блоки отсылаются из HPE 3PAR в StoreOnce Catalyst, алгоритм индексирования создает карту данных, основываясь на уже записанных и вновь поступивших данных. При этом полный бэкап обновляется, а разница между бэкапом до изменения и после изменения записывается на диск. Таким образом администратор, в случае краха системы восстанавливает только один синтетический полный бэкап, вместо восстановления сначала полного «старого» бэкапа и последовательно нескольких инкрементальных, что экономит очень много времени.
Схема синтетических полных бэкапов
Кроме того, такие снэпшоты полностью автономны и могут быть восстановлены на любом массиве 3PAR.
Посмотрим, как разворачивается ПО StoreOnce RMC и как происходит интеграция продуктивной СХД с системой резервного копирования.
1. Развертываем виртуальную машину HPE StoreOnce RMC в vCenter. Здесь все просто, подробно останавливаться не будем (Hosts and Cluster – Action – Deploy from OVF template).
2. Проверяем, что машина развернута и заходим в консоль:
3. Пока никаких систем нет, поэтому добавим. Начинаем с продуктивной СХД (StoreOnce RMC – Storage Systems – Add Storage System):
4. Вводим IP адрес системы, пользователя и пароль и подключаем нашу продуктивную СХД:
5. Следом подключаем нашу систему резервного копирования HPE StoreOnce и наблюдаем, что обе системы подключены и работают, об этом нам говорит зеленый цвет разделов Storage Arrays и Backup Devices (кстати, интерфейс ПО HPE RMC напоминает ПО HPE OneView, поэтому, например, администраторам серверной инфраструктуры будет просто и понятно работать и в интерфейсе RMC):
6. Далее настраиваем порты продуктивной СХД для резервного копирования, для этого запускаем консоль SSMC 3PAR, выбираем Dashboard – Ports и начинаем конфигурацию, в нашем случае из списка доступных выбираем порт 0:2:1 с интерфейсом iSCSI:
7. Настраиваем обратную связь в консоли HPE StoreOnce RMC для этого в консоли RMC нажимаем на зеленый круг Storage Systems и в разделе Storage System Transport Protocols нажимаем кнопку +Create и задаем тип iSCSI:
8. После этого создаем том на продуктивном массиве, который нам требуется защищать, для этого возвращаемся в консоль системы хранения, заходим в раздел Virtual Volumes и нажимаем + Create Virtual Volumes, задаем параметры тома, на каких носителях он будет располагаться и каким хостам он будет презентован:
9. Теперь на хосте, которому презентован том, необходимо подключиться по iSCSI к 3PAR (для этого в консоли 3PAR напротив нужного нам порта находим iSCSI инициатор и подключаемся к массиву), далее подключить хост к массиву, выполнить инициализацию и поиск новых устройств и отформатировать новый том. После этого создаем документ, который будем защищать:
10. Создаем очень важный документ на новом диске нашего хоста :)
11. После создания тома и записи на него важной информации необходимо возвратиться в консоль HPE StoreOnce RMC и задать правила резервного копирования этого тома, для этого в консоли RMC в разделе Storage Systems нажимаем + New Recovery Set (здесь же, настроив параметры Remove Oldest Snapshot и Remove Oldest Express Protect Backup, можно гибко управлять глубиной вложений наших снимков и резервных копий), после задания имени, проверяем, что политика создается для нужного тома, для этого прокручиваем список вниз и щелкаем нужный том в части Volume Selection:
12. Теперь в консоли RMC переходим к настройке Backup Systems, для этого в разделе систем резервного копирования выбираем + New Store, вбиваем адрес системы StoreOnce, логин и пароль и настраиваем параметры резервного хранилища:
13. Проверим в консоли HPE StoreOnce, что RMC создала хранилище на нашей системе резервного копирования:
14. Теперь в консоли ПО StoreOnce RMC можно произвести резервное копирование нашего тома и настроить параметры копирования по расписанию или восстановления, для этого в меню консоли выбираем Data Protection и кнопку + Protect Now:
15. Создаем снэпшот:
16. После выполнения бэкапа проверям его выполнение в консоли HPE StoreOnce RMC по параметру Completed Jobs, а также видим коэффициент дедупликации на системе резервного копирования:
Теперь наши данные надежно защищены, и мы можем протестировать восстановление копии в случае катастрофы, для этого в разделе Data Protection можно выбрать кнопку Restore Now и восстановить копию нашего тома на продуктивный массив.
Таким образом, HPE StoreOnce RMC позволяет упростить управление процессом резервного копирования, ускорить создание и восстановление резервных копий данных, а администраторы получают единый язык общения между продуктивными системами хранения и системами резервного копирования (пока речь идет только о продуктах HPE).
Материал для изучения:
Какой пласт хранилища под бэкап скрывается за резервным копированием только 1ТБ продуктивных данных? На самом деле – огромный: предположим, что данные на этом томе 1ТБ у нас действительно очень важные и наша политика резервного копирования этого тома получается следующая:
— делаем полные бэкапы каждый день и храним их в течение недели (5 полных бэкапов 1ТБ);
— недельные бэкапы храним 4 недели (4 полных бэкапа 1ТБ);
— храним месячные бэкапы год (12 полных бэкапов 1ТБ);
— для защиты от выхода из строя площадки целиком делаем резервное копирование на удаленную площадку (полная копия данных площадки 1).
Итого на 2 площадки в сумме нам необходимы хранилища под резервные копии объемом 42ТБ! Тут напрашивается аналогия с вершиной айсберга – часто в расчет берем только видимую верхушку, не учитывая огромный объем скрытый от глаз…
Как можно защищать данные? Во-первых, можно хранить копии продуктивных данных на лентах. Но в этом случае необходимо проводить постоянную проверку состояния записанных данных, знать где хранятся сами ленты и запастись терпением при восстановлении – скорость будет упираться в небыструю механику ленточных приводов.
Во-вторых, можно хранить копии данных в виде снэпшотов на самой продуктивной СХД. Но в этом случае мы рискуем одновременно потерять и сами продуктивные данные и снэпшоты в случае отключения питания или отказа СХД.
С другой стороны, все больше заказчиков делают выбор в сторону массивов all-flash для обслуживания самых требовательных к производительности бизнес- приложений.
Эти факторы и объясняют причину создания класса специализированных дисковых систем резервного копирования данных и аварийного восстановления, отвечающих этим вызовам – HPE StoreOnce.
Про HPE StoreOnce
Системы HPE StoreOnce – аппаратные комплексы для резервного копирования данных с онлайн дедупликацией на уровне блоков переменной длины. Варианты систем охватывают полный спектр заказчиков от начального до корпоративного уровня:
Цифрами обозначена полезная емкость без учета дедупликации.
Какими же преимуществами обладают системы резервного копирования HPE StoreOnce? Вкратце преимущества следующие (подробное описание преимуществ ожидайте в одной из следующих статей).
Во-первых, системы HPE StoreOnce поддерживают онлайн дедупликацию блоками переменной длины, а также позволяют перемещать данные между разными системами в сжатом виде, используя даже медленные WAN каналы.
Во-вторых, помимо аппаратных комплексов, для небольших площадок можно использовать виртуальную систему StoreOnce VSA, которую можно развернуть на любом сервере, поддерживающем виртуализацию. Между программным и аппаратным комплексом данные также будут перемещаться в сжатом виде, а управлять такими связками можно из одной консоли. Единая архитектура семейства позволяет объединить устройства разного класса в общую систему защиты информации уровня предприятия для обеспечения разнообразных требований к уровням обслуживания и длительности окон резервного копирования разных подразделений.
В-третьих, старшие системы HPE StoreOnce поддерживают конфигурацию с 8 контроллерами, что обеспечивает полное резервирование на аппаратном уровне и защищает от падения системы в случае выхода из строя контроллеров.
В-четвертых, любая система HPE StoreOnce проверяет консистентность (целостность) данных на всем этапе хранения — от простых проверок контрольных сумм, которые позволяют обнаружить повреждение блоков в процессе передачи данных, контроля целостности на уровне файловой системы и RAID группы и до создания конфигураций высокой доступности.
В-пятых, системы HPE StoreOnce получили высокие оценки мировых аналитических агентств в сравнении с конкурентными предложениями на рынке (ссылки на отчеты аналитиков в конце статьи).
В-шестых, и на этом остановимся подробнее в этой статье, система HPE StoreOnce поддерживает бесшовную интеграцию с продуктивными системами хранения HPE 3PAR – т.н. механизм плоского бэкапа (Flat Backup) благодаря использованию ПО HPE StoreOnce Recovery Manager (RMC).
HPE StoreOnce RMC
ПО HPE StoreOnce Recovery Manager специально разработано для упрощения резервного копирования продуктивных данных с массивов HPE 3PAR на системы HPE StoreOnce.
При переходе на твердотельные накопители на продуктивных СХД традиционные схемы резервного копирования на ленту (с полной копией всей информации раз в неделю и ежедневным инкрементальным бэкапом) — должны быть модернизированы потому, что данные меняются намного чаще, чем это было в эру традиционных дисковых массивов. Технологии HPE 3PAR StoreServ позволяют это сделать наиболее простым способом — прямым копированием «моментальных снимков» томов, консистентных с точки зрения бизнес-приложений, на отдельное устройство HPE StoreOnce с дедупликацией. Администраторы дискового массива или виртуальной среды может запускать эту задачу, не будучи связанными регламентными процедурами традиционного резервного копирования. Скорость и возможность гранулярного восстановления, вплоть до отдельных файлов виртуальных машин, а также отсутствие ПО резервного копирования в этой схеме позволяют создать наиболее эффективное решение по защите данных наиболее требовательных к производительности транзакционных систем.
ПО HPE RMC позволяет администраторам создавать сотни копий томов виртуальных машин и быстро их восстанавливать. Администраторы VMware имеют возможность управлять снэпшотами продуктивных томов из одной консоли.
Немного о снэпшотах
Чтобы создавать консистентные снэпшоты в RMC используется plug-in к vCenter. Как только администратор подает команду (или автоматически по расписанию) виртуальная машина переключается в режим бэкапа и сбрасывает состояние файловой системы и оперативной памяти системе хранения. Далее на стороне системы хранения включаются механизмы работы со снэпшотами. Система хранения HPE 3PAR имеет способность контролировать измененения на блочном уровне, благодаря встроенному механизму SnapDiff. После того, как данные были записаны на массиве — они отсылаются в виде измененных блоков в StoreOnce. Объединяя механизм контроля блочных изменений на 3PAR с механизмом логического индексирования систем StoreOnce, RMC контролирует, чтобы по каналам данных передавались только уникальные блоки. Это серьезно сокращает требования к пропускной способности каналов связи.
Помимо этого администратору доступен сценарий создания “синтетических полных” бэкапов. Когда измененные блоки отсылаются из HPE 3PAR в StoreOnce Catalyst, алгоритм индексирования создает карту данных, основываясь на уже записанных и вновь поступивших данных. При этом полный бэкап обновляется, а разница между бэкапом до изменения и после изменения записывается на диск. Таким образом администратор, в случае краха системы восстанавливает только один синтетический полный бэкап, вместо восстановления сначала полного «старого» бэкапа и последовательно нескольких инкрементальных, что экономит очень много времени.
Схема синтетических полных бэкапов
Кроме того, такие снэпшоты полностью автономны и могут быть восстановлены на любом массиве 3PAR.
Посмотрим, как разворачивается ПО StoreOnce RMC и как происходит интеграция продуктивной СХД с системой резервного копирования.
Шаги развертывания ПО HPE StoreOnce RMC
1. Развертываем виртуальную машину HPE StoreOnce RMC в vCenter. Здесь все просто, подробно останавливаться не будем (Hosts and Cluster – Action – Deploy from OVF template).
2. Проверяем, что машина развернута и заходим в консоль:
3. Пока никаких систем нет, поэтому добавим. Начинаем с продуктивной СХД (StoreOnce RMC – Storage Systems – Add Storage System):
4. Вводим IP адрес системы, пользователя и пароль и подключаем нашу продуктивную СХД:
5. Следом подключаем нашу систему резервного копирования HPE StoreOnce и наблюдаем, что обе системы подключены и работают, об этом нам говорит зеленый цвет разделов Storage Arrays и Backup Devices (кстати, интерфейс ПО HPE RMC напоминает ПО HPE OneView, поэтому, например, администраторам серверной инфраструктуры будет просто и понятно работать и в интерфейсе RMC):
6. Далее настраиваем порты продуктивной СХД для резервного копирования, для этого запускаем консоль SSMC 3PAR, выбираем Dashboard – Ports и начинаем конфигурацию, в нашем случае из списка доступных выбираем порт 0:2:1 с интерфейсом iSCSI:
7. Настраиваем обратную связь в консоли HPE StoreOnce RMC для этого в консоли RMC нажимаем на зеленый круг Storage Systems и в разделе Storage System Transport Protocols нажимаем кнопку +Create и задаем тип iSCSI:
8. После этого создаем том на продуктивном массиве, который нам требуется защищать, для этого возвращаемся в консоль системы хранения, заходим в раздел Virtual Volumes и нажимаем + Create Virtual Volumes, задаем параметры тома, на каких носителях он будет располагаться и каким хостам он будет презентован:
9. Теперь на хосте, которому презентован том, необходимо подключиться по iSCSI к 3PAR (для этого в консоли 3PAR напротив нужного нам порта находим iSCSI инициатор и подключаемся к массиву), далее подключить хост к массиву, выполнить инициализацию и поиск новых устройств и отформатировать новый том. После этого создаем документ, который будем защищать:
10. Создаем очень важный документ на новом диске нашего хоста :)
11. После создания тома и записи на него важной информации необходимо возвратиться в консоль HPE StoreOnce RMC и задать правила резервного копирования этого тома, для этого в консоли RMC в разделе Storage Systems нажимаем + New Recovery Set (здесь же, настроив параметры Remove Oldest Snapshot и Remove Oldest Express Protect Backup, можно гибко управлять глубиной вложений наших снимков и резервных копий), после задания имени, проверяем, что политика создается для нужного тома, для этого прокручиваем список вниз и щелкаем нужный том в части Volume Selection:
12. Теперь в консоли RMC переходим к настройке Backup Systems, для этого в разделе систем резервного копирования выбираем + New Store, вбиваем адрес системы StoreOnce, логин и пароль и настраиваем параметры резервного хранилища:
13. Проверим в консоли HPE StoreOnce, что RMC создала хранилище на нашей системе резервного копирования:
14. Теперь в консоли ПО StoreOnce RMC можно произвести резервное копирование нашего тома и настроить параметры копирования по расписанию или восстановления, для этого в меню консоли выбираем Data Protection и кнопку + Protect Now:
15. Создаем снэпшот:
16. После выполнения бэкапа проверям его выполнение в консоли HPE StoreOnce RMC по параметру Completed Jobs, а также видим коэффициент дедупликации на системе резервного копирования:
Теперь наши данные надежно защищены, и мы можем протестировать восстановление копии в случае катастрофы, для этого в разделе Data Protection можно выбрать кнопку Restore Now и восстановить копию нашего тома на продуктивный массив.
Таким образом, HPE StoreOnce RMC позволяет упростить управление процессом резервного копирования, ускорить создание и восстановление резервных копий данных, а администраторы получают единый язык общения между продуктивными системами хранения и системами резервного копирования (пока речь идет только о продуктах HPE).
Материал для изучения:
- Аппаратные системы HPE StoreOnce
- Программные продукты HPE StoreOnce VSA
- Бесплатная лицензия на программный продукт StoreOnce VSA на 1ТБ
- HPE StoreOnce RMC
- Скачать продукт HPE StoreOnce RMC
- Документация по HPE StoreOnce RMC
- Converged Data Protection StoreOnce RMC
- Аналитический отчет компании DCIG
- Расширенный отчет
navion
Лучше расскажите про скорость восстановления без чудесных снепшотов на 3PAR.
P.S. Вас премии не лишат за рекламу другого вендора?
Effi3
В этой статье не про интеграцию StoreOnce с Veeam. Может, подробнее опишем в будущих выпусках.
Про рекламу HP Inc (лого HP) — не жалко :)
navion
По ссылкам про производительность дедуплицирующий хранилок вообще, вне зависимости кто к ним подключается по NFS или SMB.
Effi3
Нельзя же всех пользователей и все данные равнять к одним и тем же ссылкам.
Поэтому мы активно используем средства оценки, замера бэкапов, предоставляем оборудование в демо и таким образом вместе с заказчиком определяем необходимые политики бэкапа. В каких-то случаях о дедупликации приходится забыть, но без финансовых потерь для заказчика.
По ссылкам можете конфигурацию StoreOnce прокомментировать и отчеты нам прислать? Может, действительно, в этом случае нужно было систему по-другому настраивать. Сейчас без подробностей оценить тонкое место в производительности сложно.