Система резервного копирования — важная часть любой корпоративной информационной системы. При правильной организации она способна надежно защитить критичные данные, а в корпоративном сегменте доступность и сохранность данных — залог непрерывности бизнес-процессов и эффективности деятельности. Тема сегодняшнего поста — система резервного копирования с функциями дедупликации. Какая из многих — вы уже догадались, но не будем забегать вперед.
Внедрение систем резервного копирования данных дает возможность оперативно восстанавливать информацию в самых разных ситуациях, однако эти системы нередко имеют ряд недостатков. Вот традиционные проблемы корпоративных систем резервного копирования:
Так работает традиционная система резервного копирования. Сегодня нужны новые решения для резервного копирования и восстановления, которые будут эффективно функционировать в условиях экспоненциального роста данных, ужесточения требований регуляторов, жестких требований SLA и сокращения окон резервного копирования.
Pool Based Replication: для максимальной эффективности Avamar приоритезирует и реплицирует группы параллельно.
Преодолеть их призвана дедупликация данных, которая остается также одной из главных тем, когда речь идет о снижении затрат, связанных с защитой данных.
Дедупликация — технология создания на основе дубликатов единой копии данных с возможностью совместного доступа, повышающая эффективность использования емкости хранения данных (IDC). Проще говоря, она позволяет сократить объем хранимых данных, удаляя повторяющиеся последовательности данных.
Дедупликация позволяет пересылать по сети и хранить меньше данных.
Дедупликация может работать на файловом, блочном уровне или на уровне приложения. Чтобы еще сильнее уменьшить объем хранимых данных, дедупликацию нередко сочетают с компрессией (сжатием), именуя все это уплотнением данных.
Как работает алгоритм дедупликации и что она дает.
В общем случае алгоритм дедупликации ищет дубликаты (блоки данных) и заменяет их «указателем данных» — ссылкой на точную копию этого объекта данных. Дедупликация снижает издержки, сводя к минимуму ненужную работу при хранении и передаче данных.
В системах резервного копирования дедупликации помогает решить целый ряд проблем и дает следующие преимущества.
При традиционном резервном копировании передаются большие объемы данных, поэтому «вписаться» в окно резервного копирования порой достаточно сложно, а иногда и вовсе невозможно. Дедупликация уменьшает объем копируемых данных, что позволяет выполнить резервное копирование в пределах выделенного окна.
Хранение меньшего объема данных резервных копий на дисках вместо лент значительно сокращает время восстановления. Использование дисков также упрощает проверки состояния и другие операции по предотвращению сбоев.
Дедупликация сокращает объемы данных резервного копирования и, соответственно, снижает требования к емкости СХД.
Дедупликация позволяет эффективно выполнять резервное копирование увеличивающихся объемов хранимых данных.
Дедупликация в сочетании с репликацией позволяет хранить копии вне площадки, устраняя необходимость ручных операций с ленточными носителями и повышая уровень безопасности.
Данные в удаленных филиалах требуют централизованной защиты и восстановления. При централизованном резервном копировании дедупликация упрощает процесс передачи больших объемов данных резервного копирования по сети в центр обработки данных.
В целом дедупликация широко применяется как средство, помогающее справиться с ростом издержек на инфраструктуру резервного копирования при увеличении объемов данных и соблюдением окон резервного копирования.
Если же не вдаваться в детали, то основные причины использования дедупликации данных в системе резервного копирования — уменьшение размера резервных копий и снижение потребности в емкости хранения, сокращение объема сетевого трафика, уменьшение окна резервного копирования (времени на резервное копирование). Появляется возможность ежедневно делать полное резервное копирование, чтобы гарантировать быстрое восстановление за один шаг.
Системы резервного копирования с функцией дедупликации могут использовать различные варианты хранения резервных копий, включая ленточные накопители и библиотеки, виртуальные ленточные библиотеки, дисковые массивы, системы хранения данных, в том числе со встроенной дедупликацией, и облачные хранилища (cloud backup).
Дедупликация радикально сокращает объем передаваемых и хранимых данных, позволяя устранить узкие места в ИТ-инфраструктуре и сократить затраты на хранение.
Дедупликация позволяет сократить требования к емкости в среднем 10-30 раз, значительно повышается скорость и надежность восстановления и извлечения данных. Хранение на дисках только уникальных данных также означает, что их можно с минимальными затратами реплицировать по сети на удаленные площадки для быстрого аварийного восстановления.
Чтобы максимально снизить требования к дисковому пространству, в некоторых системах хранения предусмотрена встроенная дедупликация данных: она выполняется «на лету» (в процессе резервного копирования или архивирования), поэтому на диск сохраняются уже дедуплицированные данные.
Существуют разные виды дедупликации со своими преимуществами и недостатками. Онлайновая дедупликация («на лету») осуществляется по мере поступления данных, избыточность устраняется еще до записи в системы хранения. Это позволяет сократить количество операций ввода-вывода и объем хранения, но скорость дедупликации должна быть достаточно высокой, чтобы не тормозить процесс резервного копирования. Обычно такая дедупликация выполняется на источнике данных.
Постпроцессная обработка обеспечивает максимально быстрое копирование данных, но для их временного хранения перед дедупликацией требуется дополнительная емкость. Иногда эти методы комбинируются: онлайновая дедупликация идет до тех пор, пока скорость поступления данных не достигнет некоего предела, после чего происходит переход к постпроцессной обработке.
Сравнение дедупликации на источнике и постпроцессной (послеоперационной) дедупликации.
Причины подобных компромиссов в том, что дедупликация требует затрат. Для нее нужны вычислительные ресурсы, и она вызывает снижение производительности систем. Поэтому нужно учитывать, какие издержки неизбежны при использовании каждого метода.
Таким образом, существует две основные схемы дедупликации: при первом способе данные обрабатываются на стороне клиента («на источнике»), и после дедупликации пересылаются на устройства хранения. В других случаях дедупликация происходит на конечных устройствах хранения. Первый способ снижает нагрузку на сеть, но требует установки на клиентах специализированного ПО, вычислительных ресурсов клиента. Второй предполагает применение более мощных и дорогих СХД, а затраты на первоначальную передачу данных фактически не снижаются.
Дедупликация может выполняться на источнике или непосредственно в хранилище данных. В зависимости от этого распределяется вычислительная нагрузка, которая также может меняться при изменении размера блока. В любом случае нужно учитывать достаточно высокие требования дедупликации к ресурсам системы.
Дедупликация наиболее эффективна, когда данные обладают большой избыточностью, а также когда они копируются и/или сохраняются после внесения незначительных изменений. В общем случае неструктурированные данные наподобие файлов документов, виртуальных машин, электронной почты и архивов дают высокий коэффициент дедупликации. Объем нередко уменьшается в 20-30 раз. Дедупликация структурированных данных, таких как базы данных, дает меньший коэффициент (обычно 5-8 раз).
Эффективность дедупликации на примерах.
В некоторых схемах, основанных на хешировании, для повышения коэффициента дедупликации применяется предварительная обработка данных. Значительно уменьшить время резервного копирования позволяет дедупликация блоков переменной длины при обработке данных на стороне клиента, так как сохраняются только уникальные сегменты. Этот метод дедупликации более эффективен, чем традиционная дедупликация сегментов фиксированной длины, когда даже небольшие изменения в наборе данных приводят к резервному копированию всего файла.
Технологии дедупликации данных.
Дедупликации сегментов переменной длины, которая осуществляется на устройстве клиента, реализована в системе резервного копирования Avamar от Dell EMC.
Дедупликация в Avamar.
Avamar — комплексное программно-аппаратное решение для резервного копирования и восстановления данных, позволяющее работать как реальными, так и виртуальными средами. В нем поддерживается оптимизация передачи данных при работе с разными типами сетей. Восстановление выполняется за один шаг. Avamar можно настроить для работы с конкретным типом программного обеспечения (например, базами данных Oracle) и виртуальной средой.
Систему Dell EMC Avamar из семейства продуктов Data Protection Suite, интегрируемую с СХД Dell EMC Data Domain, можно развертывать в разных вариантах и ежедневно выполнять с ее помощью полное резервное копирование. Она поддерживает виртуализированные и физические среды, корпоративные приложения, сетевые системы хранения данных (NAS) и ПК, защиту данных удаленных офисов.
Чтобы быстрее и эффективнее создавать резервные копии, Avamar применяет многопоточный подход при работе с ПО Dell EMC Data Domain Boost. Это позволяет на 99% снизить загрузку сети, обойтись в 30 раз меньшей емкостью хранилища резервных копий и наполовину сократить время резервного копирования. А восстановления образа будет происходить до 30 раз быстрее по сравнению с традиционным резервным копированием.
Avamar + Data Domain поддерживают разные типы нагрузок.
Многопоточный подход при работе с ПО Dell EMC Data Domain Boost означает, что в рамках одной сессии резервного копирования могут создаваться несколько одновременных параллельных потоков с целью ускорения операций.
Дедупликация при первом копировании.
Стоит отметить, что резервное копирование одних и тех же данных никогда не выполняется дважды. Система разделяет данные, подлежащие резервному копированию, на сегменты переменной длины, сжимает их и применяет уникальный хеш-идентификатор для каждого сегмента. Затем она определяет, выполнялось ли ранее резервное копирование сегмента, и копирует только уникальные.
Варианты развертывания Avamar.
Avamar Data Store объединяет сертифицированное Dell EMC оборудование и ПО Avamar для резервного копирования с дедупликацией в масштабируемом готовом решении. Data Store устраняет точки отказа, используя запатентованную технологию избыточного массива независимых узлов (RAIN), и обеспечивает высокую доступность всех узлов. Ежедневно производятся проверки системы и целостности данных, чтобы обеспечить возможность восстановления.
Ключевые особенности Avamar:
Дедупликация в Avamar.
Среди технологических особенностей решения можно выделить:
Для чего и как можно использовать такую систему?
Можно выполнять резервное копирование и восстановление виртуальных машин как на уровне гостевых ОС, так и на уровне образов VMware vSphere и Microsoft Hyper-V. Система Avamar интегрирована с VMware vCenter, VMware vCloud Director, программным интерфейсом VMware vStorage API for Data Protection, vSphere Web Client и Microsoft Hyper-V. Есть и специальная версия Avamar Virtual Edition (AVE) — исключительно программное решение для защиты виртуальных сред.
Применение Avamar для резервного копирования ВМ в VMware с использованием функции «снимков данных» СХД и программных агентов.
В среде VMware система Avamar использует VMware Changed Block Tracking (CBT) для отслеживания измененных блоков. Это позволяет ускорить процесс резервного копирования и восстановления. А пропускная способность повышается благодаря интеллектуальной балансировке нагрузки на нескольких прокси-ВМ.
Преимущества Avamar при защите виртуальных сред VMware.
Avamar обеспечивает быстрое одноэтапное восстановление отдельных файлов или полных образов ВМ в исходной, альтернативной или новой ВМ. Если образы ВМ хранятся в Data Domain, то доступ к виртуальной машине можно получить сразу, переместив ее в производственную среду с помощью vMotion.
Резервное копирование гостевых виртуальных машин.
Стоит отметить, что VMware vSphere Data Protection (VDP) — продукт для резервного копирования виртуальных машин на серверах ESXi — построен на базе решения Avamar, которое развертывается как готовый виртуальный модуль (Virtual Appliance). ПО работает без агентов, использует CBT и может восстанавливать не ВМ целиком, но и отдельные файлы через браузер.
Dell EMC Avamar также поддерживает резервное копирование и восстановление виртуальных машин, работающих в VMware vSAN.
Благодаря интеграции Avamar с vRealize Automation (vRA) и vCloud Director (vCD) можно использовать сервисы защиты данных для публичного, частного, гибридного облака, а также для облачного ПО. Расширение vRA Расширение vCD Data Protection встраивает сервисы резервного копирования прямо в vCloud Director.
Avamar также обеспечивает защиту данных частного и размещенного на сервере облака Microsoft, включая Hyper-V и Azure. Администраторы назначают соответствующие политики защиты данных, используя Microsoft System Center Virtual Machine Manager. Политики применяются при выделении ресурсов виртуальных машин.
Кстати, Data Domain Cloud Tier поддерживает облака Azure, Amazon, Virtustream и любые устройства, работающие с протоколом S3.
Катастрофоустойчивое решение: резервное копирование ВМ в облако.
Архитектура Cloud Disaster Recovery.
Avamar обеспечивает защиту каждой ВМ, используя метод резервного копирования на основе образов, и сканирует файлы ВМ прямо в файловой системе Hyper-V. Такая обработка данных эффективнее использования агентов. Общие тома кластера (CSV) позволяют множеству узлов иметь доступ ко всем дискам в кластерах.
За счет использования протокола NDMP (Network Data Management Protocol) сокращается время резервного копирования NAS. Можно отказаться от длительного создания базовых полных резервных копий.
Avamar позволяет выполнять резервное копирование и восстановление сетевых систем хранения данных с помощью узла Avamar NDMP Accelerator.
При использовании узла Avamar NDMP Accelerator резервное копирование нулевого уровня выполняется только один раз, во время первого полного копирования. Затем применяются только инкрементные дампы уровня 1. Это существенно сокращает время резервного копирования и негативное влияние на ресурсы NAS, упрощает и ускоряет восстановление.
При этом нет каких-либо ограничений по количеству или размеру файлов и томов, чтобы соблюдать окна резервного копирования. Благодаря многопоточности Avamar может работать в больших горизонтально масштабируемых NAS (включая Dell EMC Isilon), обеспечивая более высокую пропускная способность при передаче данных копий.
Архитектура быстрого инкрементного резервного копирования Avamar позволяет работать и с HDFS, причем устраняются узкие места, присущие традиционному резервному копированию на основе файлов.
Этот вариант позволяет конечным пользователям самостоятельно защищать и восстанавливать свои данные — не нужно ждать помощи ИТ-специалистов. При этом система выполняет дедупликацию данных, резервное копирование открытых файлов, регулирует нагрузку на ЦП и не влияет на работу конечных пользователей. Резервное копирование данных выполняется автоматически во время плановых окон резервного копирования, когда ПК подключены к сети.
Пользователи могут по требованию запускать резервное копирование и быстро восстанавливать свои данные. Процесс упрощают интуитивно понятный интерфейс и интегрированная поисковая система. При этом восстановление всегда выполняется одним этапом.
Решение Dell EMC Avamar для рабочих станций оптимально по удобству использования и масштабируемости. Оно предлагает полный набор необходимых средств для защиты данных распределенных сетей ПК и ноутбуков. Заказчики, установившие решение Dell EMC Avamar, получат реальные преимущества от использования технологии дедупликации данных, позволяющей оптимизировать процедуры резервного копирования и восстановления данных.
Актуальная проблема — защита от стремительно набирающих популярность вирусов-вымогателей (Ransomware). По данным TrendLabs, за 2016 год количество известных типов троянов-вымогателей увеличилось на 752%: с 29 типов в 2015 году до 247 к концу 2016 года. По информации «Лаборатории Касперсского», в 1 квартале 2017 года появилось 11 новых семейств троянов-вымогателей и 55 679 модификаций (для сравнения, во 2-4 кварталах 2016 года появилось 70 837 модификаций). В первую очередь атаки с внедрением вымогателя нацелены на самые популярные операционные системы: Windows для рабочих станций и серверов, Android для мобильных устройств.
Для защиты среды резервного копирования и восстановления данных от атак извне Dell EMC предлагает решение Isolated Recovery Solution (изолированное восстановление данных). Внедренная в инфраструктуру заказчика система резервного копирования (например, на базе Dell EMC Data Domain) отделяется специальным шлюзом от остальной инфраструктуры и подключается к ней только в определенные моменты времени для резервного копирования. Резервные копии данных остаются пригодными для восстановления.
Таким образом, основная идея Isolated Recovery заключается в создании изолированного сегмента ИТ-инфраструктуры, к которому невозможно получить доступ из-за границ сетевого периметра, а также существенно ограничен доступ внутренних пользователей. В эту область производится резервное копирование наиболее критичной для бизнеса информации.
Isolated Recovery: изолированный сегмент связан с основной системой посредством шлюза, который открывается для формирования резервных копий в заранее неизвестные моменты времени. Сохраняемые данные дополнительно проверяются на наличие вредоносных кодов.
Даже в случае кибератак и уничтожения рабочей среды, решения Isolated Recovery совместно с применением Data Domain позволяют сохранить резервные копии и использовать их для дальнейшей работы. Однако внедрение требует предварительного анализа инфраструктуры, выявления наиболее критичных компонентов, разработки стратегии восстановления данных.
Система позволяет централизовать резервное копирование и восстановление в удаленных офисах за счет единого интерфейса.
Защита данных удаленных офисов с помощью Avamar и Data Domain.
В удаленных офисах простые программные агенты Avamar можно развернуть на серверах без использования дополнительного удаленного оборудования. Это позволяет выполнять резервное копирование данных по существующим каналам глобальной сети в центральную систему Avamar Data Store в ЦОД.
Multisystem Management — централизованное управление всеми топологиями Avamar.
Avamar обеспечивает резервное копирование и восстановление с учетом приложений IBM, Microsoft, Oracle и SAP с помощью высокопроизводительной дедупликации, а также возможности управления для владельцев приложений. В отличии от конкурентных решений, кроме традиционного копирования на уровне образов здесь имеется возможность организовать корректное консистентное копирование приложений с помощью специальных интеграционных модулей.
Кроме того, при резервном копировании с учетом особенностей приложений в Avamar используется ПО Dell EMC Data Domain Boost, чтобы отправлять данные критичных бизнес-приложений непосредственно в систему Data Domain. Компании могут унифицировать свои процессы защиты данных, используя это ПО и оборудование для дедупликации, и получить решение для резервного копирования и восстановления с высокой производительностью и масштабируемостью.
Система предлагается в следующих версиях:
И в заключение — краткое сравнение Avamar с другим известным продуктом резервного копирования и восстановления данных.
ПО Avamar нацелено на заказчиков желающих организовать резервное копирование и восстановление виртуальных сред и рабочих станций. Оно подходит для защиты виртуальных сред, корпоративных приложений, удаленных офисов, настольных компьютеров/ноутбуков и сетевых серверов хранения данных (NAS). Компании, которые используют VMware vCenter, VMware vCloud Director, VMware vSphere Web Client, Microsoft Hyper-V и VMware vSphere API для пользователей защиты данных, могут применять это программное обеспечение для оптимизации резервного копирования и восстановления виртуальных машин.
Avamar обладает возможностями быстрого восстановления и резервного копирования за счет сокращения времени резервного копирования и ежедневного хранения только изменений, оптимизации полосы пропускания сети, одношагового восстановления, обладает высокой надежностью благодаря технологиям RAID и RAIN, предлагает разные варианты развертывания, с масштабированием до 124 Тбайт с дедупликацией. Пользователи настольных компьютеров и ноутбуков могут задействовать функции восстановления для самообслуживания.
Функции дедупликации данных Avamar более продвинутые по сравнению с другими аналогичными инструментами. Специфика глобальной дедупликации заключается в том, что в независимости от типа или количества внешних устройств, сессий, данные копируются один раз и сохраняется в пуле дедупликации один раз.
Например, для Veeam характерна дедупликация в рамках одного задания резервного копирования. Новое следующее задание означает, что даже повторяющиеся данные будут копироваться повторно. В решении резервного копирования HPE, если в системе создано два логических устройства, то глобальной дедупликации между этими устройствами не будет.
К преимуществам Avamar можно отнести также поддержку защиты рабочих станций, наличие специальных модулей для резервирования большинства бизнес-приложений (Oracle, SQL Server, Exchange, SharePoint, SAP, Sybase, IBM DB2 и др.), поддержку защиты виртуальных и физических серверов.
Средства резервного копирования и восстановления обеспечивают тесную интеграцию с популярными решениями для виртуализации, такими как Hyper-V и VMware vSphere. Кроме того, Avamar может функционировать в составе комплекса Integrated Data Protection Appliance. Среди новых возможностей продукта — поддержка облаков, тиринг. Avamar также может предложить вариант организации долговременного хранения в облаке — как с использованием Data Domain, так и без нее.
Внедрение систем резервного копирования данных дает возможность оперативно восстанавливать информацию в самых разных ситуациях, однако эти системы нередко имеют ряд недостатков. Вот традиционные проблемы корпоративных систем резервного копирования:
- Неэффективность: в неделю копируется до 200% объема данных.
- Медленная работа: скорость копирования слишком мала.
- Непредсказуемое время восстановления: как правило, на практике оно намного больше планируемого.
- Не очень высокая надежность: высокий риск невозможности восстановления (по данным Gartner, выше 10%).
- Проблемы с катастрофоустойчивостью: есть риск утраты лент при их перемещении в удаленное хранилище.
Так работает традиционная система резервного копирования. Сегодня нужны новые решения для резервного копирования и восстановления, которые будут эффективно функционировать в условиях экспоненциального роста данных, ужесточения требований регуляторов, жестких требований SLA и сокращения окон резервного копирования.
Pool Based Replication: для максимальной эффективности Avamar приоритезирует и реплицирует группы параллельно.
Преодолеть их призвана дедупликация данных, которая остается также одной из главных тем, когда речь идет о снижении затрат, связанных с защитой данных.
Технология дедупликации данных и ее преимущества
Дедупликация — технология создания на основе дубликатов единой копии данных с возможностью совместного доступа, повышающая эффективность использования емкости хранения данных (IDC). Проще говоря, она позволяет сократить объем хранимых данных, удаляя повторяющиеся последовательности данных.
Дедупликация позволяет пересылать по сети и хранить меньше данных.
Дедупликация может работать на файловом, блочном уровне или на уровне приложения. Чтобы еще сильнее уменьшить объем хранимых данных, дедупликацию нередко сочетают с компрессией (сжатием), именуя все это уплотнением данных.
Как работает алгоритм дедупликации и что она дает.
В общем случае алгоритм дедупликации ищет дубликаты (блоки данных) и заменяет их «указателем данных» — ссылкой на точную копию этого объекта данных. Дедупликация снижает издержки, сводя к минимуму ненужную работу при хранении и передаче данных.
В системах резервного копирования дедупликации помогает решить целый ряд проблем и дает следующие преимущества.
?Уменьшение окон резервного копирования
При традиционном резервном копировании передаются большие объемы данных, поэтому «вписаться» в окно резервного копирования порой достаточно сложно, а иногда и вовсе невозможно. Дедупликация уменьшает объем копируемых данных, что позволяет выполнить резервное копирование в пределах выделенного окна.
?Уменьшение времени восстановления для сокращения периода простоя
Хранение меньшего объема данных резервных копий на дисках вместо лент значительно сокращает время восстановления. Использование дисков также упрощает проверки состояния и другие операции по предотвращению сбоев.
?Снижение стоимости хранения
Дедупликация сокращает объемы данных резервного копирования и, соответственно, снижает требования к емкости СХД.
?Частичное решение проблемы роста объема корпоративных данных, которые требуют защиты
Дедупликация позволяет эффективно выполнять резервное копирование увеличивающихся объемов хранимых данных.
?Повышение уровня безопасности
Дедупликация в сочетании с репликацией позволяет хранить копии вне площадки, устраняя необходимость ручных операций с ленточными носителями и повышая уровень безопасности.
?Упрощение защиты данных в организациях с филиальной структурой
Данные в удаленных филиалах требуют централизованной защиты и восстановления. При централизованном резервном копировании дедупликация упрощает процесс передачи больших объемов данных резервного копирования по сети в центр обработки данных.
В целом дедупликация широко применяется как средство, помогающее справиться с ростом издержек на инфраструктуру резервного копирования при увеличении объемов данных и соблюдением окон резервного копирования.
Если же не вдаваться в детали, то основные причины использования дедупликации данных в системе резервного копирования — уменьшение размера резервных копий и снижение потребности в емкости хранения, сокращение объема сетевого трафика, уменьшение окна резервного копирования (времени на резервное копирование). Появляется возможность ежедневно делать полное резервное копирование, чтобы гарантировать быстрое восстановление за один шаг.
Системы резервного копирования с функцией дедупликации могут использовать различные варианты хранения резервных копий, включая ленточные накопители и библиотеки, виртуальные ленточные библиотеки, дисковые массивы, системы хранения данных, в том числе со встроенной дедупликацией, и облачные хранилища (cloud backup).
Дедупликация радикально сокращает объем передаваемых и хранимых данных, позволяя устранить узкие места в ИТ-инфраструктуре и сократить затраты на хранение.
Дедупликация позволяет сократить требования к емкости в среднем 10-30 раз, значительно повышается скорость и надежность восстановления и извлечения данных. Хранение на дисках только уникальных данных также означает, что их можно с минимальными затратами реплицировать по сети на удаленные площадки для быстрого аварийного восстановления.
Чтобы максимально снизить требования к дисковому пространству, в некоторых системах хранения предусмотрена встроенная дедупликация данных: она выполняется «на лету» (в процессе резервного копирования или архивирования), поэтому на диск сохраняются уже дедуплицированные данные.
Виды дедупликации и ее эффективность
Существуют разные виды дедупликации со своими преимуществами и недостатками. Онлайновая дедупликация («на лету») осуществляется по мере поступления данных, избыточность устраняется еще до записи в системы хранения. Это позволяет сократить количество операций ввода-вывода и объем хранения, но скорость дедупликации должна быть достаточно высокой, чтобы не тормозить процесс резервного копирования. Обычно такая дедупликация выполняется на источнике данных.
Постпроцессная обработка обеспечивает максимально быстрое копирование данных, но для их временного хранения перед дедупликацией требуется дополнительная емкость. Иногда эти методы комбинируются: онлайновая дедупликация идет до тех пор, пока скорость поступления данных не достигнет некоего предела, после чего происходит переход к постпроцессной обработке.
Сравнение дедупликации на источнике и постпроцессной (послеоперационной) дедупликации.
Причины подобных компромиссов в том, что дедупликация требует затрат. Для нее нужны вычислительные ресурсы, и она вызывает снижение производительности систем. Поэтому нужно учитывать, какие издержки неизбежны при использовании каждого метода.
Таким образом, существует две основные схемы дедупликации: при первом способе данные обрабатываются на стороне клиента («на источнике»), и после дедупликации пересылаются на устройства хранения. В других случаях дедупликация происходит на конечных устройствах хранения. Первый способ снижает нагрузку на сеть, но требует установки на клиентах специализированного ПО, вычислительных ресурсов клиента. Второй предполагает применение более мощных и дорогих СХД, а затраты на первоначальную передачу данных фактически не снижаются.
Дедупликация может выполняться на источнике или непосредственно в хранилище данных. В зависимости от этого распределяется вычислительная нагрузка, которая также может меняться при изменении размера блока. В любом случае нужно учитывать достаточно высокие требования дедупликации к ресурсам системы.
Дедупликация наиболее эффективна, когда данные обладают большой избыточностью, а также когда они копируются и/или сохраняются после внесения незначительных изменений. В общем случае неструктурированные данные наподобие файлов документов, виртуальных машин, электронной почты и архивов дают высокий коэффициент дедупликации. Объем нередко уменьшается в 20-30 раз. Дедупликация структурированных данных, таких как базы данных, дает меньший коэффициент (обычно 5-8 раз).
Эффективность дедупликации на примерах.
В некоторых схемах, основанных на хешировании, для повышения коэффициента дедупликации применяется предварительная обработка данных. Значительно уменьшить время резервного копирования позволяет дедупликация блоков переменной длины при обработке данных на стороне клиента, так как сохраняются только уникальные сегменты. Этот метод дедупликации более эффективен, чем традиционная дедупликация сегментов фиксированной длины, когда даже небольшие изменения в наборе данных приводят к резервному копированию всего файла.
Технологии дедупликации данных.
Дедупликации сегментов переменной длины, которая осуществляется на устройстве клиента, реализована в системе резервного копирования Avamar от Dell EMC.
Дедупликация в Avamar.
Avamar: архитектура решения
Avamar — комплексное программно-аппаратное решение для резервного копирования и восстановления данных, позволяющее работать как реальными, так и виртуальными средами. В нем поддерживается оптимизация передачи данных при работе с разными типами сетей. Восстановление выполняется за один шаг. Avamar можно настроить для работы с конкретным типом программного обеспечения (например, базами данных Oracle) и виртуальной средой.
Систему Dell EMC Avamar из семейства продуктов Data Protection Suite, интегрируемую с СХД Dell EMC Data Domain, можно развертывать в разных вариантах и ежедневно выполнять с ее помощью полное резервное копирование. Она поддерживает виртуализированные и физические среды, корпоративные приложения, сетевые системы хранения данных (NAS) и ПК, защиту данных удаленных офисов.
Варианты развертывания Avamar
| Avamar Data Store |
Самый простой и быстрый вариант, в Data Store входит сертифицированное Dell EMC специализированное устройство для резервного копирования и ПО Avamar с функцией дедупликации. Это готовое решение позволяет избежать сложностей интеграции. |
| Avamar Business Edition |
Это специализированное устройство резервного копирования с функцией дедупликации для компаний среднего размера. Его особенности — простое управление, встроенная отказоустойчивость системы хранения и дополнительная возможность репликации для аварийного восстановления. |
| Avamar Virtual Edition |
ПО для резервного копирования Avamar с функциями дедупликации и виртуальным устройством, развернутое в vSphere или Hyper-V и Azure. |
| Интеграция с Data Domain |
В сочетании с производительными системами хранения Data Domain с функцией дедупликации Avamar можно использовать для всех рабочих нагрузок резервного копирования. |
Чтобы быстрее и эффективнее создавать резервные копии, Avamar применяет многопоточный подход при работе с ПО Dell EMC Data Domain Boost. Это позволяет на 99% снизить загрузку сети, обойтись в 30 раз меньшей емкостью хранилища резервных копий и наполовину сократить время резервного копирования. А восстановления образа будет происходить до 30 раз быстрее по сравнению с традиционным резервным копированием.
Avamar + Data Domain поддерживают разные типы нагрузок.
Многопоточный подход при работе с ПО Dell EMC Data Domain Boost означает, что в рамках одной сессии резервного копирования могут создаваться несколько одновременных параллельных потоков с целью ускорения операций.
Дедупликация при первом копировании.
Стоит отметить, что резервное копирование одних и тех же данных никогда не выполняется дважды. Система разделяет данные, подлежащие резервному копированию, на сегменты переменной длины, сжимает их и применяет уникальный хеш-идентификатор для каждого сегмента. Затем она определяет, выполнялось ли ранее резервное копирование сегмента, и копирует только уникальные.
Варианты развертывания Avamar.
Avamar Data Store объединяет сертифицированное Dell EMC оборудование и ПО Avamar для резервного копирования с дедупликацией в масштабируемом готовом решении. Data Store устраняет точки отказа, используя запатентованную технологию избыточного массива независимых узлов (RAIN), и обеспечивает высокую доступность всех узлов. Ежедневно производятся проверки системы и целостности данных, чтобы обеспечить возможность восстановления.
Ключевые особенности Avamar:
- Глобальная дедупликация на стороне клиента уменьшает объем данных резервного копирования на стороне клиента и на глобальном уровне. Сокращение времени на ежедневное резервное копирование — 90%, нагрузки на полосу пропускания сети — 99% и суммарной емкости дисковых систем хранения данных — 95%.
- Шифрование данных «на лету» и при хранении для обеспечения безопасности.
- Запатентованная архитектура RAIN для высокой доступности узлов Avamar.
- Надежность сервера Avamar и возможность восстановления данных резервного копирования проверяются ежедневно.
- Централизованное управление упрощает резервное копирование удаленных офисов из центра обработки данных.
- Быстрое одноэтапное восстановление данных. Отсутствует необходимость восстанавливать последние целостные полные и инкрементные резервные копии.
- Более длительное хранение в виртуальной ленточной библиотеке или на ленте.
- Соответствие требованиям регуляторов.
- Резервное копирование виртуальных сред VMware и Microsoft Hyper-V. Варианты физического и виртуального развертывания Avamar.
- Многопоточная интеграция с системами хранения Data Domain. Высокая производительность резервного копирования и восстановления для конкретных приложений.
Дедупликация в Avamar.
Среди технологических особенностей решения можно выделить:
- Гибкость и масштабируемость с помощью виртуальных прокси-ВМ для защиты среды VMware.
- Наличие специального кэша уникальных файлов и блоков, что позволяет делать обход файловой системы очень быстро по сравнению с традиционным резервным копированием.
- Поддержку большинства известных корпоративных приложений, таких как SAP, Oracle, MS SQL и других, а также виртуальных и физических сред.
- Поддержку технологии CBT при восстановлении виртуальных машин (она позволяет быстро восстанавливать крупные ВМ).
- Наличие специального плагина для vCenter для управления прямо из этой консоли.
Для чего и как можно использовать такую систему?
Сценарии использования Avamar
?1. Виртуализированные среды
Можно выполнять резервное копирование и восстановление виртуальных машин как на уровне гостевых ОС, так и на уровне образов VMware vSphere и Microsoft Hyper-V. Система Avamar интегрирована с VMware vCenter, VMware vCloud Director, программным интерфейсом VMware vStorage API for Data Protection, vSphere Web Client и Microsoft Hyper-V. Есть и специальная версия Avamar Virtual Edition (AVE) — исключительно программное решение для защиты виртуальных сред.
Применение Avamar для резервного копирования ВМ в VMware с использованием функции «снимков данных» СХД и программных агентов.
В среде VMware система Avamar использует VMware Changed Block Tracking (CBT) для отслеживания измененных блоков. Это позволяет ускорить процесс резервного копирования и восстановления. А пропускная способность повышается благодаря интеллектуальной балансировке нагрузки на нескольких прокси-ВМ.
Преимущества Avamar при защите виртуальных сред VMware.
Avamar обеспечивает быстрое одноэтапное восстановление отдельных файлов или полных образов ВМ в исходной, альтернативной или новой ВМ. Если образы ВМ хранятся в Data Domain, то доступ к виртуальной машине можно получить сразу, переместив ее в производственную среду с помощью vMotion.
Резервное копирование гостевых виртуальных машин.
Стоит отметить, что VMware vSphere Data Protection (VDP) — продукт для резервного копирования виртуальных машин на серверах ESXi — построен на базе решения Avamar, которое развертывается как готовый виртуальный модуль (Virtual Appliance). ПО работает без агентов, использует CBT и может восстанавливать не ВМ целиком, но и отдельные файлы через браузер.
Dell EMC Avamar также поддерживает резервное копирование и восстановление виртуальных машин, работающих в VMware vSAN.
Благодаря интеграции Avamar с vRealize Automation (vRA) и vCloud Director (vCD) можно использовать сервисы защиты данных для публичного, частного, гибридного облака, а также для облачного ПО. Расширение vRA Расширение vCD Data Protection встраивает сервисы резервного копирования прямо в vCloud Director.
Avamar также обеспечивает защиту данных частного и размещенного на сервере облака Microsoft, включая Hyper-V и Azure. Администраторы назначают соответствующие политики защиты данных, используя Microsoft System Center Virtual Machine Manager. Политики применяются при выделении ресурсов виртуальных машин.
Кстати, Data Domain Cloud Tier поддерживает облака Azure, Amazon, Virtustream и любые устройства, работающие с протоколом S3.
Катастрофоустойчивое решение: резервное копирование ВМ в облако.
Архитектура Cloud Disaster Recovery.
Avamar обеспечивает защиту каждой ВМ, используя метод резервного копирования на основе образов, и сканирует файлы ВМ прямо в файловой системе Hyper-V. Такая обработка данных эффективнее использования агентов. Общие тома кластера (CSV) позволяют множеству узлов иметь доступ ко всем дискам в кластерах.
?2. Резервное копирование сетевой системы хранения данных
За счет использования протокола NDMP (Network Data Management Protocol) сокращается время резервного копирования NAS. Можно отказаться от длительного создания базовых полных резервных копий.
Avamar позволяет выполнять резервное копирование и восстановление сетевых систем хранения данных с помощью узла Avamar NDMP Accelerator.
При использовании узла Avamar NDMP Accelerator резервное копирование нулевого уровня выполняется только один раз, во время первого полного копирования. Затем применяются только инкрементные дампы уровня 1. Это существенно сокращает время резервного копирования и негативное влияние на ресурсы NAS, упрощает и ускоряет восстановление.
При этом нет каких-либо ограничений по количеству или размеру файлов и томов, чтобы соблюдать окна резервного копирования. Благодаря многопоточности Avamar может работать в больших горизонтально масштабируемых NAS (включая Dell EMC Isilon), обеспечивая более высокую пропускная способность при передаче данных копий.
Архитектура быстрого инкрементного резервного копирования Avamar позволяет работать и с HDFS, причем устраняются узкие места, присущие традиционному резервному копированию на основе файлов.
?3. Копирование данных настольных ПК и ноутбуков
Этот вариант позволяет конечным пользователям самостоятельно защищать и восстанавливать свои данные — не нужно ждать помощи ИТ-специалистов. При этом система выполняет дедупликацию данных, резервное копирование открытых файлов, регулирует нагрузку на ЦП и не влияет на работу конечных пользователей. Резервное копирование данных выполняется автоматически во время плановых окон резервного копирования, когда ПК подключены к сети.
Пользователи могут по требованию запускать резервное копирование и быстро восстанавливать свои данные. Процесс упрощают интуитивно понятный интерфейс и интегрированная поисковая система. При этом восстановление всегда выполняется одним этапом.
Решение Dell EMC Avamar для рабочих станций оптимально по удобству использования и масштабируемости. Оно предлагает полный набор необходимых средств для защиты данных распределенных сетей ПК и ноутбуков. Заказчики, установившие решение Dell EMC Avamar, получат реальные преимущества от использования технологии дедупликации данных, позволяющей оптимизировать процедуры резервного копирования и восстановления данных.
Актуальная проблема — защита от стремительно набирающих популярность вирусов-вымогателей (Ransomware). По данным TrendLabs, за 2016 год количество известных типов троянов-вымогателей увеличилось на 752%: с 29 типов в 2015 году до 247 к концу 2016 года. По информации «Лаборатории Касперсского», в 1 квартале 2017 года появилось 11 новых семейств троянов-вымогателей и 55 679 модификаций (для сравнения, во 2-4 кварталах 2016 года появилось 70 837 модификаций). В первую очередь атаки с внедрением вымогателя нацелены на самые популярные операционные системы: Windows для рабочих станций и серверов, Android для мобильных устройств.
Для защиты среды резервного копирования и восстановления данных от атак извне Dell EMC предлагает решение Isolated Recovery Solution (изолированное восстановление данных). Внедренная в инфраструктуру заказчика система резервного копирования (например, на базе Dell EMC Data Domain) отделяется специальным шлюзом от остальной инфраструктуры и подключается к ней только в определенные моменты времени для резервного копирования. Резервные копии данных остаются пригодными для восстановления.
Таким образом, основная идея Isolated Recovery заключается в создании изолированного сегмента ИТ-инфраструктуры, к которому невозможно получить доступ из-за границ сетевого периметра, а также существенно ограничен доступ внутренних пользователей. В эту область производится резервное копирование наиболее критичной для бизнеса информации.
Isolated Recovery: изолированный сегмент связан с основной системой посредством шлюза, который открывается для формирования резервных копий в заранее неизвестные моменты времени. Сохраняемые данные дополнительно проверяются на наличие вредоносных кодов.
Даже в случае кибератак и уничтожения рабочей среды, решения Isolated Recovery совместно с применением Data Domain позволяют сохранить резервные копии и использовать их для дальнейшей работы. Однако внедрение требует предварительного анализа инфраструктуры, выявления наиболее критичных компонентов, разработки стратегии восстановления данных.
?4. Резервное копирование данных удаленных офисов
Система позволяет централизовать резервное копирование и восстановление в удаленных офисах за счет единого интерфейса.
Защита данных удаленных офисов с помощью Avamar и Data Domain.
В удаленных офисах простые программные агенты Avamar можно развернуть на серверах без использования дополнительного удаленного оборудования. Это позволяет выполнять резервное копирование данных по существующим каналам глобальной сети в центральную систему Avamar Data Store в ЦОД.
Multisystem Management — централизованное управление всеми топологиями Avamar.
?5. Критически важные для бизнеса приложения
Avamar обеспечивает резервное копирование и восстановление с учетом приложений IBM, Microsoft, Oracle и SAP с помощью высокопроизводительной дедупликации, а также возможности управления для владельцев приложений. В отличии от конкурентных решений, кроме традиционного копирования на уровне образов здесь имеется возможность организовать корректное консистентное копирование приложений с помощью специальных интеграционных модулей.
Кроме того, при резервном копировании с учетом особенностей приложений в Avamar используется ПО Dell EMC Data Domain Boost, чтобы отправлять данные критичных бизнес-приложений непосредственно в систему Data Domain. Компании могут унифицировать свои процессы защиты данных, используя это ПО и оборудование для дедупликации, и получить решение для резервного копирования и восстановления с высокой производительностью и масштабируемостью.
Система предлагается в следующих версиях:
| Название продукта | Dell EMC Avamar | Dell EMC Avamar Virtual Edition | Dell EMC Avamar Business Edition |
| Описание |
Система резервного копирования Dell EmC Avamar с дедупликацией обеспечивают быстрое, ежедневное полное резервное копирование и одношаговое восстановление данных. |
Защищает виртуальные машины в виртуальных средах и удаленных офисах. Программная версия для VMware vSphere, Microsoft Hyper-V и Azure. |
Устройство резервного копирования «под ключ» с интегрированной дедупликацией данных. Разработано для клиентов из среднего бизнеса. |
| СХД для резервного копирования |
Dell EMC Data Domain Systems Dell EMC Avamar Data Store |
— | Dell EMC Avamar Data Store |
| Базы данных |
IBM DB2 IBM Domino (Lotus) Microsoft Exchange Server Microsoft SQL Server Oracle SAP Sybase Microsoft SharePoint |
— | Microsoft Exchange Server Oracle Microsoft SQL Server IBM DB2 IBM Domino (Lotus) SAP Microsoft SharePoint Sybase |
| Поддержка сред виртуализации |
Microsoft Hyper-V VMware OpenStack |
— | — |
| Гипервизоры |
— | VMware Microsoft Hyper-V |
— |
| Версия |
— | Программное обеспечение |
СХД для резервного копирования |
| Емкость с дедупликацией |
— | — | 3,9 или 7,8 Тбайт |
И в заключение — краткое сравнение Avamar с другим известным продуктом резервного копирования и восстановления данных.
Avamar vs Veeam
Функции Veeam:
|
Функции Avamar:
Глобальная дедупликация, данные копируются только один раз |
Резюме
ПО Avamar нацелено на заказчиков желающих организовать резервное копирование и восстановление виртуальных сред и рабочих станций. Оно подходит для защиты виртуальных сред, корпоративных приложений, удаленных офисов, настольных компьютеров/ноутбуков и сетевых серверов хранения данных (NAS). Компании, которые используют VMware vCenter, VMware vCloud Director, VMware vSphere Web Client, Microsoft Hyper-V и VMware vSphere API для пользователей защиты данных, могут применять это программное обеспечение для оптимизации резервного копирования и восстановления виртуальных машин.
Avamar обладает возможностями быстрого восстановления и резервного копирования за счет сокращения времени резервного копирования и ежедневного хранения только изменений, оптимизации полосы пропускания сети, одношагового восстановления, обладает высокой надежностью благодаря технологиям RAID и RAIN, предлагает разные варианты развертывания, с масштабированием до 124 Тбайт с дедупликацией. Пользователи настольных компьютеров и ноутбуков могут задействовать функции восстановления для самообслуживания.
Функции дедупликации данных Avamar более продвинутые по сравнению с другими аналогичными инструментами. Специфика глобальной дедупликации заключается в том, что в независимости от типа или количества внешних устройств, сессий, данные копируются один раз и сохраняется в пуле дедупликации один раз.
Например, для Veeam характерна дедупликация в рамках одного задания резервного копирования. Новое следующее задание означает, что даже повторяющиеся данные будут копироваться повторно. В решении резервного копирования HPE, если в системе создано два логических устройства, то глобальной дедупликации между этими устройствами не будет.
К преимуществам Avamar можно отнести также поддержку защиты рабочих станций, наличие специальных модулей для резервирования большинства бизнес-приложений (Oracle, SQL Server, Exchange, SharePoint, SAP, Sybase, IBM DB2 и др.), поддержку защиты виртуальных и физических серверов.
Средства резервного копирования и восстановления обеспечивают тесную интеграцию с популярными решениями для виртуализации, такими как Hyper-V и VMware vSphere. Кроме того, Avamar может функционировать в составе комплекса Integrated Data Protection Appliance. Среди новых возможностей продукта — поддержка облаков, тиринг. Avamar также может предложить вариант организации долговременного хранения в облаке — как с использованием Data Domain, так и без нее.
Dmitry88
Себя не похвалишь — никто не похвалит, это нормально, но в чем смысл EMC иметь два продукта в общей нише Avamar и Networker?
Sobic
обычная практика: гигант скупает перспективные наработки, пускай иногда с пересекающимися функционалом и уже потом либо сливает проекты, убивает не принесшие денег либо поддерживает оба, если на оба ведутся.