Те, кому пришлось восстанавливать данные с неисправного тома RAID, часто спрашивают, какой тип массива выбрать в дальнейшем? Однако это не совсем корректный вопрос. Тип массива, вопреки распространенному мнению, не так уж и важен. В целом, дальнейшие действия вращаются больше вокруг вашей стратегии резервного копирования данных и тактики, которая будет использована в вашем плане хранения данных.
В хранении данных стратегия резервного копирования включает в себя следующее:
Какие данные должны быть скопированы, а какие нет.
Как часто происходит резервное копирование.
Требуется ли управление версиями.
Как быстро понадобятся данные в случае поломки.
Тактика включает в себя то, как реализуется выбранная бэкап-стратегия. Например, будет ли это онлайн-бэкап или просто внешний жесткий диск? Некорректная стратегия резервного копирования, так же, как и неподходящая тактика, может «укусить» вас, если не будет выбрана осмысленно.
Стратегия резервного копирования
Выбор стратегии резервного копирования зависит от данных – их важности, объема, частоты изменения и других характеристик. Так, например, стратегия хранения семейного фотоархива фундаментально отличается от стратегии хранения постоянно изменяющихся файлов, таких как сборки приложений.
Здравый смысл может говорить нам, что бэкап нужен для всего. Но бывают случаи, когда отсутствие резервной копии вполне себе верное решение. Например, мы не копируем некоторые тома RAID, хранящие тестовый набор файлов и папок. Эти данные малоценны и могут быть воссозданы в случае необходимости.
После создания резервной копии уровень RAID совершенно не важен, потому что RAID – это не бэкап! Вместо этого главной заботой становится управление версиями, потому что RAID сразу же автоматически передает любое изменение данных, включая ошибки, на все диски в массиве. Без множества хранящихся версий ключевых данных ваш бэкап может быть поврежден и бесполезен.
Аварийная остановка
Любой системе, которая использует автоматическое копирование данных, будь то RAID или пофайловое копирование, нужен механизм аварийной остановки. Системы с этим механизмом прекращают работу или переключаются в неактивное состояние, когда происходит сбой, предотвращая дальнейшее распространение ошибок на другие системы/устройства.
Механический сбой в одном из дисков RAID, например, является случаем аварийной остановки. Как только диск перестает вращаться, он больше не может делать что-то другое. RAID-контроллер отметит, что диск оффлайн, и начнет использовать восстановление четности.
С другой стороны, сбой в памяти кэша контроллера не подразумевает аварийную остановку. Кэш предоставляет неверные данные, но контроллер не знает, что что-то не так. Неправильные данные распространяются повсюду, портя все избыточные копии. То же самое относится и к ошибке человека, поскольку система хранения данных не понимает намерений пользователя, вместо этого слепо следуя командам.
Даже если ваша система организована так, что данные копируются по расписанию на другой компьютер, который может даже находиться в другой стране, это по-прежнему RAID1 с некоторой задержкой между копиями, а не резервное копирование. Примером может послужить случай, когда не те данные сохранились в бэкапе, переписав нужные данные.
Глубина версии
Глубина версии, также известная как время хранения, – это количество времени, в течение которого хранится копия данных. Глубина версии должна быть больше, чем время между случаями реального использования данных. Например, если самое «свежее» использование файла было в 2021 году, копия, оставшаяся с того времени, должна быть в бэкапе. Если пользователю нужен доступ к этому файлу в 2022 году, а он не открывается, то с этим не будет проблем – останется резервная копия.
Распространенный сценарий ошибки заключается в том, что кнопка «Сохранить» используется для основного файла (например, шаблон документа), когда «Сохранить как» должна была использоваться для создания новой версии. Если пользователь не заметил проблему сразу же, тогда ошибка, возможно, обнаружится, когда понадобится исходный файл. Итак, повторим: глубина версии/время хранения должны быть достаточно долгими, чтобы предоставить исходную версию файла.
Очистка
Жизнь такова, что, чем дольше вы не делаете (или не проверяете) что-то, тем меньше шансов, что вы сможете сделать это в следующий раз. Системы с высоким временем безотказной работы тому пример. По мере увеличения времени безотказной работы вероятность успешного перезапуска уменьшается.
То же самое верно и для систем хранения данных. Чем дольше вы активно не работаете с данными, например, не открываете файлы и не проверяете правильность данных, тем меньше шансов, что они все еще на месте. Более того, чтобы избежать резервного копирования данных, которые уже повреждены, вы должны периодически проверять, что в бэкапе есть копия, которая все еще доступна для чтения и полезна.
Тактика
Выбор тактики обусловлен определенными требованиями для хранения данных. Обычно для домашних пользователей существуют простые решения, например, внешний жесткий диск, куда периодически копируются данные. Самая распространенная проблема в этом случае – человеческая забывчивость. Разумной альтернативой здесь могут стать онлайн-хранилища, такие как Backblaze или CrashPlan (очень удобно, но на данный момент в России не работают). Они полностью автоматизированы и часто идут со встроенным управлением версиями.
Если у вас есть подходящий план резервного копирования, вы можете безопасно использовать RAID. Если вы столкнулись со сбоем в RAID, важно выяснить, почему это произошло. Чаще всего изменение уровня RAID или переключение контроллеров не предотвращает повторение первоначальной проблемы. Самые распространенные причины сбоя в RAID – ошибка оператора (пользователя), ошибки при замене диска или ошибки при работе с программой управления RAID массивом. Уровень RAID в этих случаях имеет минимальное влияние.
Статья написана Еленой Пахомовой, одним из создателей программы для восстановления данных Volga [ссылка удалена мод.]
Комментарии (28)
resetsa
14.09.2022 20:58+1«Как правильно подготовиться к сбою в RAID?» — Делать регулярное резервное копирование, Ваш Кэп.
hard2018
14.09.2022 22:47Когда то делал резервные копии на компакт диски. Надёжно, могут лежать хоть 30 лет. Но неудобно, если скопировать нужно небольшой объём. Это нужно копировать старые данные, перед записью сессии (на всякий пожарный, чтобы не потерять их). У меня до сих пор читаются диски с фотками, записанные 10 лет назад.
Вывод, записывать данные на CD лучше большими порциями, а малыми объёмами копировать в тот же RAID допустим, складывая в образ. И подсчитывать чексумму.
Что получаете:Проблема глубины версии у вас отпадает. Можно хранить сколько угодно версий сколько угодно лет, благо CD диски очень дёшевы и запастись ими можно впрок.
Ошибки на уже записанные копии не распространяются. В то время как файлы в RAID может косить жёсткий вирус, тем более по отдельности костей потом не соберёте.
saboteur_kiev
15.09.2022 01:37Если у вас много данных, просто попробуйте стриммер
Если пару десятков терабайт - просто попробуйте винчестеры с запасом по объему, раз в 5-10 лет их просто менять
13werwolf13
15.09.2022 06:04представил как "бэкаплю" 50 тер на рейд, сколько это займёт времени, насколько это будет затратно по телодвижениям, сколько это займёт места на складе..
хороший совет, одобряю, тем кому больше в жизни нечем заняться должны отценить)))
lordleto
15.09.2022 08:43+1Серверная может сгореть, потом, взрыв и т.п. Скачок напряжение. Да что угодно. Это всё может быть с далеко ненулевой вероятностью. Да даже баг ОС.В моей практике была прецедент когда Вмварь ошиблась адресом памяти и и записала чтото своё в область памяти где был ФС, котора потом видимо благополучно сбросил это на диск, так что вся виртуалке пошла по....
Вопрос сохранности данных это вопрос денег: что дешевле заново нагенерить эти 50Tb (кстати вообще немного) или собрать резервное копирование. Да это будет стоить сильно дороже 1 переносного HDD, но думаю всё равно сильно дешевле работ по восстановлению данных из ничего. К тому же 100Tb это обычный системник на 8 HDD. даже рейд аппаратный не нужен: ZFS спасёт. не забываем про инкрементальные бекапы.
Ленточная библиотека - в целом тоже не сильно дорого, если БУ.
Но это именно если данные имеют материальную ценность.13werwolf13
15.09.2022 08:50с предложением ленточки согласен полностью (хотя и у этого решения есть недостатки, тут на хабре один уже писал что не смог восстановиться с ленточки потому что не нашёл достаточно старого стримера в продаже на замену помершему, а новые стримеры его старые ленты читать не хотели (простите не нашёл где это было, если найду дополню коммент)), а вот cd/dvd/blueray/etc болванки при таких объёмах это уже комедия.
я кстати сталкивался с ситуацией когда восстановиться из бекапа в реальные сроки невозможно (восстановление просто занимает больше времени чем время простое которое бизнес может себе позволить) а данные такие что поновой сгенерировать их просто невозможно. печальная ситуация, но не безвыходная.
lordleto
15.09.2022 15:14Ленточки держат на 2 поколения вниз совместимость. Это надо учитывать конечно. Но современные тенденции это hdd в бекапах.
Скорость восстановления бекапа надо обговаривать на берегу. По собственному опыту, подобные хотелки увеличивают цену решения сначала в разы, а потом на порядки, особенно когда начинает требоваться "магия"
holyx
15.09.2022 10:51А высока ли вероятность того, что через 30 лет будет под рукой DVD, чтобы прочитать забекапленные диски? У меня нет в этом уверенности, механика у приводов со временем портится, а будут ли выпускать в то время совместимые - далеко не факт. И будет весело, если через много лет вставляешь диск в привод, а он там из-за расбалансировки разлетается на куски или просто царапается, вот и всё, нет бекапа.)
lordleto
15.09.2022 15:15+1Так вы бекап и архив не путайте.
holyx
15.09.2022 15:26Согласен, это разные вещи, но через 30 лет они могут плавно превратиться в одну сущность.
Вот я лет 10 назад отсканировал все семейные бумажные фотографии и записал на DVD, после нескольких апгрейдов компов сканов в электронном виде на ПК не осталось, только этот DVD. И вот вопрос, смогу ли я его прочитать лет хотя бы через 15?(Правда греет то, что бумажные фотографии пока что в наличии)
YMA
15.09.2022 15:45Если сейчас купите хороший привод - думаю, сможете. У меня предыдущий внешний LG продержался 12 лет, под конец просто разучившись писать - читать мог до утилизации.
Купил на замену внешний BR-привод Verbatim (Pioneer), сейчас домашний архив пишу на блюрей - полгода полет нормальный. Когда совсем будут исчезать приводы и диски - куплю последний оптический привод, которого, надеюсь, хватит до конца жизни ;)
PS: Но кроме консервы с дисками - фото хранятся еще и на 3.5" винчестере и в облаке mail.ru (уже 9 лет - на бесплатном терабайте, за что им спасибо).
KorP
14.09.2022 21:07-2А ведь кто-то посчитал это крайне полезным и дал инвайт из песочницы?
Exosphere
15.09.2022 01:36+3Инвайты даются не только за крайне полезные статьи, и мы это сто раз объясняли. Можно посмотреть отдельно историю постов, получивших приглашение, - там есть даже глубокие отрицательные рейтинги, а есть +400.
Из Песочницы далеко не всегда выходят шедевры, и это тоже важная часть работы с авторами и сообществом - чтобы автор вроде бы нормальной статьи имел шанс увидеть себя внутри экспертного сообщества.
farafonoff
14.09.2022 21:20+2RAID вообще не имеет отношения к теме статьи. Он нужен для повышения отказоустойчивости, а не надежности хранения данных.
L-dar
15.09.2022 14:39Вот да - RAID и СРК это две параллельные технологии направленные на сохранность данные и надежность эксплуатации при заданных условиях работы. Одно другое никак не заменяет, я бы сказал они вообще не пересекаются в части использования.
alan008
15.09.2022 00:23+3Какой-то треш.
Вобщем я решил докопаться.
Поискал ту страницу, ссылка на которую удалена модератором, вот она:
volga-software.ru
Качаем программу, смотрим свойства exe-шника, а там внутреннее имя ReclaiMe.exe
Что такое, откуда?
Гуглим:
www.reclaime.com
Хм, какой похожий сайт. Есть даже страница с Testimonials и 100500 тыщ скачиваний и призов. Очередной псевдо софт? Антивирус Бабушкина?
Дальнейшее гугление завело меня на 4pda на статью аж 2013 года про программу reclaiMe:
4pda.to/forum/index.php?showtopic=486926&ysclid=l824iqp82a930538397
Т.е. такая программа вроде как реально была. Но зачем она снова пришла к нам в 2022 году, в старом обличье, но с новым (или не новым) именем, это большая загадка. Оставлю остальным немного возможности тоже побыть Шерлоками.
Teemon
15.09.2022 04:39Ладно, Шерлоки. Водичка и водичка. Подскажите лучше конкретное решение. Synology ds920, 2 диска по 4Тб в рейде 1 для хранения всего что нажито непосильным трудом. Куда и как бэкапиться? В третий слот воткнуть диск и на него? Внешний жёсткий чот как-то неудобно, да и смысл, когда есть свободный слот?
Teemon
15.09.2022 04:42Может городские провайдеры предоставляют услугу типа колокейшена для моего жёсткого диска?) Т.е. я воткнул у них диск в слот и они дали мне это место за 30р в месяц?????
13werwolf13
15.09.2022 06:12некоторых провайдеров вполне можно уговорить на колокейшн сервера, у небольших провайдеров в курилке можно договориться даже на колокейшн тауэра а не рекового или какой нибудь малинки. но далеко не все провайдеры такие хорошие. наверное больше смысла поискать ближайшего географически и/или логически хостера (даже в небольших городах часто есть небольшие хостеры), которые 100% возьмут сервер на колокейшн или выдадут nfs/sftp/s3/etc хранилку для складывания файлов, другой вопрос сколько это будет стоить.
13werwolf13
15.09.2022 06:10+1для начала хранить бекапы там же где и сами данные это плохая идея
насколько я помню в синоложи используется btrfs, так что как вариант можно поставить второй такой же в другой локации и btrfs send | btrfs receive.. дороговато и будет неплохо забивать канал, но работать будет.
более реалистично взять у амазона или хецнера (ну или яндекса, зависит от предпочтений) услугу файлового хранилища, примонтировать его как sftp/nfs/s3/etc и лить бекапы по крону rsync или tar (в зависимости от того какие данные можно и git и/или ещё много чего задействовать).
YMA
15.09.2022 09:05более реалистично взять у амазона или хецнера (ну или яндекса, зависит от предпочтений) услугу файлового хранилища, примонтировать его как sftp/nfs/s3/etc
Дорого, однако. Сам хотел предложить, но залез на странички яндекса и амазона с тарифами, подсчитал и прослезился. Для домашнего пользователя на сроке от года-двух и хотя бы одном восстановлении будет дешевле купить ещё один диск на 8-10 ТБ + малинку в едином корпусе и бэкапить данные по сети туда (разместив эту конструкцию хоть где - у родителей/друзей/на работе).
13werwolf13
15.09.2022 09:24да, сейчас тоже глянул.. раньше на хецнере имел хранилку, точно цен не помню, но стоило это для меня недорого. я отказался от неё когда появился домашний NAS, сейчас у меня зп побольше, и всё равно цены делают больно.. что-то поменялось не в лучшую сторону ценовая политика у них..
aik
15.09.2022 08:34Минимально — поставить этот диск на другой компьютер в той же квартире и бэкапиться туда.
Оптимально — и вышеупомянутый диск, и за пределами дома копию держать.
DaemonGloom
15.09.2022 10:45Поставить в другом месте (родители/родственники/дети/друзья) ещё один Synology и настроить резервное копирование туда через родные средства. Умеет инкрементальные блочные бэкапы и файловую дедупликацию. https://kb.synology.com/en-us/DSM/tutorial/How_to_back_up_your_data_to_a_remote_Synology_NAS_or_file_server_with_Hyper_Backup
bankir1980
17.09.2022 17:07У меня на синолоджи 918 raid 1 два диска по 4 тб. Разбиты на 2 раздела 3 тб и 1 тб. Как то система выдала ошибку, что на разделе 1тб какая то ошибка и раздел был заблокирован на запись системой. Пришлось копировать все данные с него на внешний диск и пересоздавать раздел заново, а потом опять туда скинул всё. Смарт показывал, что ошибок на диске нет. На этом разделе использовал btrfs. Вроде бы даже несколько файлов не смогло скопировать кстати. Деталей не помню. Т.е. наличие raid 1 это не панацея. В итоге помимо raid 1 у меня ещё в синолоджи воткнут usb hdd, на который по ночам копируется важная информация через приложение для бэкапов. Хотя есть и слот свободный. Просто диск usb оставался ещё со времён ручного бэкапа
BugM
Просто сделайте вторую реплику. При достаточном бюджете и третью сделайте.
Рейды иногда просто умирают. Вместе со всеми данными.
DikSoft
Реплика это не бакап.