Резервное копирование
Как в самых больших, так и в маленьких организациях рабочие файлы располагают на общедоступном файловом хранилище, чтобы все могли ими пользоваться. Централизация хранения даёт удобство для совместной работы нескольким людям над одними и теми же файлами, но это налаживает и ответственность по защите такой информации. Естественно для борьбы с вирусами-шифровальщиками необходимо регулярно выполнять резервное копирование по схеме 3-2-1. Резервные копии важно хранить отдельно от основной системы. Но полное восстановление, во-первых, может быть достаточно длительным, а во-вторых резервное копирование как ни крути выполняется не каждый час, и теряется вся новая информация (большой RPO).
Снэпшоты для спасения
И вот здесь становится понятно насколько важной частью резервного копирования являются снэпшоты, которые можно выполнять на много чаще нежели резервные копии с NAS хранилища и соответственно восстанавливать такие данные намного быстрее из снэпшотов, таким образом существенно уменьшив значение RPO. И вот здесь становится понятно насколько важно, чтобы такие снэпшоты функционировали как часы, не тормозили работу всего хранилища, не имели архитектурных проблем по удалению и консолидации снэпшотов. При этом снэпшоты это не замена резервному копированию, а отличное дополнение для полноценной стратегии резервного копирования. Так снэпшоты можно выполнять достаточно часто, чтобы захватывать самые последние изменения вашей информации.
Снэпшоты это не полная копия данных, только разница новых данных на блочном уровне, своего рода обратный инкрементальный бэкап, который более рационально использует пространство хранилища, нежели полный бэкап. Но всё равно это пространство используется, чем больше изменений, тем больше попадает информации в снэпшот. Настроенное расписание авто-удаления старых снэпшотов позволит более рационально использовать ресурсы хранилища и не съесть всё доступное пространство на дорогостоящем NAS хранилище. А резервное, будет хранить намного дольше по времени копии более старых версий информации.
Есть отдельный документ как бороться с вирусами-шифровальшиками используя системы NetApp.
Как снэпшоты не должны работать
Многие уже сталкивались с различными реализациями снэпшотов и уже на практике знают, как снэпшоты не должны работать:
- они не должны увеличивать нагрузку на дисковую подсистему просто от наличия снэпшота
- они не должны увеличивать нагрузку просто от большего числа снэпшотов
- они должны быстро создаваться и удалиться и этот процесс не должен влиять на производительность дисковой подсистемы
- они должны удаляться так чтобы не повредить основные данные
- им не должно быть разницы сколько данных, всё должно работать быстро, моментально и без малейшей возможности повредить информацию из-за удаления или консолидации снэпшота.
Снэпшоты в операционной системе ONTAP для хранилищ NetApp так не работают. Они были впервые реализованы в операционной системе ONTAP, как часть файловой системы WAFL в 1993 году, эти технологии апробированы временим и сотнями тысяч компаний по всему миру. Кстати само слово «снэпшот» (Snapshot ™) является зарегистрированной торговой маркой компании NetApp, а эта технология снэпшотирования запатентована. Чтобы удостовериться в том, как работают снэпшоты WAFL можно бесплатно скачать на тестовый период виртуальную машину с образом хранилища ONTAP.
mysupport.netapp.com/NOW/cgi-bin/software/?product=ONTAP+Select&platform=Deploy+Install
Автоматизация восстановления
Интеграция снэпшотов хранилища с операционными системами позволит снять рутину с администратора хранилища по восстановлению отдельных файлов. Чтобы пользователи сами могли восстанавливать свои файлы из снэпшотов прямо из своего компьютера стандартными срадствами ОС.
Репликация снэпшотов
Просто удаление старых снэпшотов, которые уже есть на хранилище и настроены в хорошо налаженной стратегии резервного копирования — это ужасная трата ресурсов. Ведь снэпшоты можно использовать для их репликации на вторую систему хранения. Во-первых снэпшоты уже есть, почему-бы их не использовать, во-вторых намного выгоднее передавать дельту нежели весь набор данных каждый раз, в третьих снэпшоты работают на подобии обратных инкрементальных бэкапов, то есть не требуют времени на «склеивание в полный бэкап», в четвертых снэпшоты ONTAP подобны обратным инкрементальным бэкапам, но они не требуют склеивания или консолидации ни во время репликации ни во время восстановления, как это происходит с традиционными инкрементальным бэкапом или обратным инкрементальным бэкапом. Но магии не бывает, снэпшоты при репликации данных всё равно вычитываются из целевой системы, чтобы быть отправленными на удалённую систему, это порождает дополнительные операции чтения во время реплики, но это намного лучше в сравнении с фулл-бэкапом, который каждый раз вычитывает заново все данные целиком.
Снэпшоты как индикатор заражения RansomWare
Как было сказано ранее снэпшоты хранят в себе блочную дельту, — разницу между предыдущим своим состоянием и между текущим, то есть актуальным. И чем больше изменений внесено в актуальные данные, тем больше занимает снэпшот. Кроме снэпшотов стоит ещё упомянуть про технологии компрессии и дедупликации данных, которые позволяют сжимать оригинальные данные, экономя пространство на хранилище. Так вот некоторые данные не компрессируются и не жмутся. К примеру фото, видео или аудио данные, а какие данные ещё не жмутся? Правильно зашифрованные данные. И вот представьте вы настроили расписание снэпшотов, у вас работает дедупликация и компрессия. Снэпшоты снимаются, а более старые удаляются, данные жмутся, потребление пространства достаточно размеренное и стабильное. И вдруг снэпшоты начинают занимать намного, намного больше нежели раньше, а дедуп и компрессия перестали показывать свою эффективность. Это и есть индикаторы молчаливой и вредоносной работы вируса-шифровальщика: ваши данные, во-первых, сильно изменяются (растут снэпшоты в объёме, по сравнениию с тем, как это было раньше), во-вторых дедуп и компрессия перестали давать результат (значит записывается несжимаемая информация, к примеру оригиналы файлов подменяются на зашифрованные версии). Эти два косвенных показателя приводят к более не рациональному потреблению пространства на хранилище, и вы можете заметить это на графике потребления пространства, который внезапно начал геометрически расти вверх.
WORM
Технология Wright Once Read Many или WORM, таже известна и под другими коммерческими названиями, к примеру NetApp SnapLock построенная на базе снэпшотирования, позволяет залочить данные на длительный срок от изменений, в том числе и пользователей системы хранения с повышенными привилегиями. Так можно хранить прошивки, конфиги от разнообразных устройств, к примеру свичей, роутеров и прочее. Подобного рода файлы редко если вообще меняются в течении жизни устройства, а харнилища с поддержкой WORM надежное место для расположения важных файлов-настроек для инфраструктуры, которые нельзя менять, но можно читать. Это свойство можно использовать для того, чтобы загружать конфигурации и прошивки для ключевых компонент вашей инфраструктуры.
Антивирусная защита NAS
Ну и конечно же возможность проверки файлов на строне хранилища тоже будет не лишней.
Файл-Скрининг Fpolicy
Fpolicy и ONTAP directory-security API это механизмы которые позволяют анализировать файл, и в зависимости от натсроенных политик разрешать или не разрешать, записывать его или работать с ним. Анализ файла можно проводить на основе расширения файла (встроенный функционал Fpolicy в ONTAP) или по содержимому, тогда нужно специализированное ПО.
Free Cleondis SnapGuard Light Edition
Бесплатный продукт Cleondis SnapGuard Light Edition (SGLE) не только для детекции, но и для восстановления после вирусов-шифровальщиков при помощи снепшотов на платформе NetApp ONTAP. SGLE способен распознавать паттерны вредоносной работы вирусов шифровальщиков, которые начинают шифровать ваши файлы и остановить клиенты которые зарежены от дальшейшего нанесения вреда и полностью совместим с существующими антивирусными системами.
Free Prolion DataAnalyzer-light
Бесплатный продукт Prolion DataAnalyzer-light предоставляет возможности детекции вирусов-шифровальщиков на платформе NetApp ONTAP.
SMB1 и WannaCry
Вирус WannaCry использует уязвимость в протоколе SMB1 на Windows машинах, этой уязвимости нет в системах NetApp ONTAP. Но попав на Windows он может зашифровать файлы расположенные на NAS хранилище. Компания NetApp рекомендует отключить SMB1 и перейти на более новые версии протоколов SMB v2 или v3.
Более новые версии вируса способны выключять теневое копирование VSS на Windows хостах, но так как расписание снепшотов на NAS хранилище NetApp настраиваются, включяются и выключаются на самом СХД, то выключенный VSS никак не повлияет на работу снепшотов.
PS
Также обратите внимание на документ описывающий настройки безопасности ONTAP для усиления защиты (Security Hardening Guide for NetApp ONTAP 9).
Вывод
Снэпшоты это не замена, а важная часть стратегии резервного копирования, которая позволяют более быстро, более часто резервировать данные и быстрее их восстанавливать. Снэпшоты WAFL являются базисом для репликации данных на резервную СХД, не тормозят систему, не требуют консолидации и склеивания, являются эффективным средством резервного копирования данных.
Сообщения по ошибкам в тексте прошу направлять в ЛС. Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
Комментарии (20)
bbk
30.05.2017 18:17Тут кто-то написал вопрос «а зачем нетап если можно взять nas4free?».
Нечаянно удалил, с телефона промахнулся пальцем и нажал «отклонить», вместо «одобрить». И такой А-а-а, undo, undo, где undo? Реально извиняюсь, случайно вышло.bbk
31.05.2017 09:57Отвечу на поставленный вопрос. Если коротко, то используйте хоть какие-то снепшоты.
Когда речь идёт о домашнем NASе или даже миниатюрной компании из десятка или нескольких десятков людей, то соотношение цена/функционал в решении nas4free как правило побеждает.
Но что если нужно более масштабное решение? Есть ли следующий функционал в nas4free:
Короткий перечень функционала NetApp ONTAP- Поддержка высокой доступности High Availability
- Доступность 99,9999% (шесть девяток) в год — это 32 секунды простоя в год
- Поддержка одной системой хранения десятков и сотен тысяч пользователей
- Переезд IP между портами и нодами для отказоустойчивости
- Онлайн миграция данных по разным дискам и нодам кластера
- Поддержка гео-распределённого кластера до 300 км (MetroCluster)
- Интеграция с антивирусными системами
- Запрет на хранение определённых типов файлов основываясь на расширении или содержимом файла (Файл Скрининг: Fpolicy)
- WORM технология для блокировки данных от удаления, в том числе администратором (SnapLock)
- Кластеризация до 24 нод
- Производительность 2400059 IOPS
- Масштабироваться до 172PB
- Поддержка возможности создать одну файловую шару размером 19.5PiB, размазанную по всем нодам (FlexGroup)
- При Копировании/Миграции данных с одной ноды на другую ноду возможность выполнять эти операции нодами, а не через хост (VAAI/ODX)
- Интеграция с VMware vVOL
- Поддержка Space Reclamation (SAN UNMAP)
- Наличие документации по тюнингу системы хранения под тот или иной продукт
- Оттестированность того или иного решения тысячами, десятками и сотнями тысяч людей
- Возможность доступа к одним и тем же файлам по протоколам NFS/CIFS с поддержкой прав доступа
- Смещение холодных данных в дешевое облако S3
- QoS для установки приоритетов и в случае нехватки ресурсов более справедливого передела ресурсов (QoS min/QoS max)
- MultyTenancy – несколько виртуальных схд под управлением отдельных подразделений или компаний
- Поддержка аппаратного и программного шифрования данных
- Системы аналитического мониторинга и оповещения о состоянии хранилища
- Поддержка pNFS и CIFS (SMB) 3.1.1 и SMB Continuous Availability
- Поддержка Kerberos 5: 128-bit AES и 256-bit AES шифрование
- Поддержка FC и FCoE, NVMe
- Поддержка ведущими производителями софта и оборудования, а это значит наличие демо-лабораторий для репродуцирования и восстановления после проблемы
- Поддержка DCB для iSCSI/NFS/CIFS
- Интеграция с оркестраторами инфраструктуры, такими как VMware vCloud Director, Cisco UCS Director итд
rPman
31.05.2017 20:07Хочу снапшоты для пользовательской windows x64 v7+ машины на уровне драйверов и блочного устройства (аналог lvm в linux), чтобы попроще как валенок.
Это реально получить за бесплатно или адекватные для хомяка деньги? Пока у меня вариант запуск машины по сети используя iscsi, с использованием linux машины в качестве хранилища со всеми вытекающими от сюда возможностями. К сожалению iscsi жрет ресурсы сервера, т.е. дешевым celeron/atom (порядка 300$ на машину) не обойтись, а процессор на север подороже — это сервер с ценой дороже 1k$.
Я был бы безмерно счастлив, если бы под windows был драйвер клиента NDB или на худой конец AOE (правда потребует еще одно физическое подключение и vlan-ы, это в доступных пределах по цене), он простой, быстрый, идеальный для дома и небольшого офиса. К сожалению все имеющиеся драйвера что я вижу — только для 32-битных систем.bbk
01.06.2017 17:52Ваш вариант это не iSCSI, а CIFS/SMB протокол для файловой шары. Снепшоты на самой WIndows машине в свете вирусов шифровальщиков, умеющих отключать эти снепшоты, не очень хорошая идея.
Хорошо работают снепшоты не везде, к примеру ZFS снепшоты действительно работают хорошо, потому что это украдено у нетапа ;)
Если нагрузка совсем маленькая, типа двадцать-тридцать пользователей в офисе, а денег совсем нет, то ваш вариант nas4free, он использует ZFS.
Если всё-же нужна консистентность данных для приложения типа «база данных» или чего-то другого, то можно на том же NAS4free поднять NFS или iSCSI и поднять VMware ESXi с вашим завиртуализированным приложением. NAS4free умеет интегрироваться с ESXi для консистентных снепшотов. NFS удобнее в плане гранулярности восстановления и возможности «читать снепшоты» прямо из папки, где они снимались.
Тот же NAS4free на ESXi можно настроить в режиме High-Availability. Это если совсем для бедных. Удачи.rPman
01.06.2017 22:06cifs/smb не подходят, windows не умеет загружаться с них, только iscsi, мало того, на сетевые шары
нельзяне рекомендуется устанавливать большинство программ, потому что запуск может проходить с пониженными привилегиями (а правильная настройка, существование в которую я не верю, в конце концов может вылиться в еще большие затраты, например приобретение домен контроллера, повторяю нужно для хомяков), особенно это актуально для приложений .net.
т.е. каталоги windows, program files, program data и users просто вынуждены жить на блочном устройстве.
В некоторых случаях возможно размещение виртуальных дисков в файлах vhd на сетевой шаре, я даже успешно так запускал крупные игры, которые достаточно дисциплинированно складывали объемные файлы в указанном каталоге, а те что не могли, уезжали на диск в символических ссылках и монтированием раздела в каталог.bbk
01.06.2017 22:33Самый простой, надёжный, и что важно в вашем случае, дешевый способ достижения консистентности (я так понимаю она таки нужна), это выключение ОС.
- Тогда берем NAS4free или тот же NetApp FAS или ONTAP Select.
- Для каждого Workstation отдельно создаём вольюм и один лун в этом вольюме.
- Поднимаем iSCSI и загружаем ОС c этого луна, по событию выключения машины, генерируем снятие снепшота на СХД.
- Каталоги Windows, Program Files, Program Data и Users меняются относительно не часто, так что такой подхода может быть достаточно приемлем.
- Всё остальное безбожно груповыми политиками завязываем на SMB и делаем снепшоты хоть каждые 5 минут.
И если вы выбрали таки NAS4free, то обеспечиваем ему повышенную надёжность к примеру через VMware HA или даже FT.
Что такое «Хомяки» пардон не в курсе.
bbk
02.06.2017 10:40Другой вариант более изощрённый костыль, который нужно ещё будет хорошо допилить напильником:
- На каждой Workstation машине настраиваем гипервизор Xen
- внутри гипервизора виртуалка с Windows ОС, в которую проброшены все необходимые порты, видеокарта Workstation машины и т.д.
- Средствами гипервизора запускаем консистентные снепшоты для этого очень важно установить xentools в Windows
- Гипервизор запускается с iSCSI
- виртуалку храним на NFS шаре
- Потом по событию снятия снепшота гипервизором, снимаем снепшот на СХД
- После снепшота на СХД, генерируем удаление снепшота гипервизора (он уже захвачен в снепшот СХД)
- Готово.
bbk
02.06.2017 10:45Третий вариант не изобретать велосипед с квадратными колёсами, а сделать Windows терминальную ферму или VDI на сервере(ах).
Из гипервизора снимать консистентные снэпшоты, потом захватывать их в снэпы СХД, и потом удалять снэпы гипервизора. Потому что снэпы гипервизора обычно нагружают дисковую подсистему.
Хранить все виртуалки удобнее на NFS шаре. А гипервизор запускать с iSCSI.rPman
02.06.2017 17:56xen или сервер терминалов для организации — подойдет, для домашнего клиента с играми — нет.
bbk
02.06.2017 19:52Кто сказал что Xen Server не для домашнего компа?
На хабре куча материала по установке Xen Server под домашние игровые компы.
Я себе к прмеру настраивал, пробрасывал видео карту, USB и играл в хитмена.rPman
02.06.2017 23:552 монитора или KVM-переключатель?
p.s. периодически поглядываю, поддержка оборудования, с которым проходит финт с перебросом 0 ограничено, как я понимаю до сих пор с не intel-машинами это сделать сложно, список видеокарт тоже не очень большой, и как назло уже купленные туда не попадают.bbk
06.06.2017 09:28Вот вам если мёд так сразу ложкой :)
Привыкайте, в мире Энтэрпрайз ситуация с выбором ещё хуже.
Зачем КВМ не понял.
gotch
Первое, что делает WannCry — удаляет снепшоты и отключает их создание.
Поэтому снепшот VSS с провайдером от Netapp может и не помочь.
Ugrum
Генералы всегда готовятся к уже прошедшим войнам.
gotch
Да мы тоже так готовились и продолжаем. Понадеемся, что остальные вирусописатели не такие умные, либо им не требуются привилегии администратора.
bbk
Снепшоты на NAS хранилище нетапа настраиваются (и отключаются, и расписание) на хранилище нетапа, а не на windows хосте.
Так что пускай отключают vss ;)
gotch
Ну это, если мне не изменяет память,
плохие, негодныенеконсистентные снепшоты. Правильные снепшоты сделает SnapDrive, работающий совместно VSS и провайдером Netapp.bbk
В случае с файловыми шарами NAS, консистентность не нужна.
Просто расписание на нетапе.
gotch
С этим не поспоришь
bbk
Не консистентные снепы в случае использования баз данных или виртуализации например, действительно с большей долей вероятности будут не констстентные. Но даже так нельзя сказать, что они бесполезные.
Плюс если не будет работать vss/snapshots,/oncommand unified manager начнёт сообщать об этом.