Вопрос следующий: «На чём хранить архивные данные. Что будет служить максимально долго и хватит на мой век, чтобы передать детям и внукам?».
Разговор пойдет не о секретных данных разведки, не о хранении порно, говорить будем о бытовом:«Хранение семейных фото и видео».
Начну с того, что столкнулся с тем, что компакт-диски, которые были записаны нам в подарок в школе, решили открыть через 10 лет. Ииии… как многие догадались, открылся один из 20 штук… и то битый. Почему? Элементарно… Он разрушился! ОНИ разрушились…
Я всегда считал, что хранение информации на электронных носителях — самый лучший способ, самый компактный, самый надежный! Ай нет! Магнитные слои размагничиваются, электронные компоненты разряжаются, тонкие отражающие слои на компакт дисках меняют свой состав, цвет, да и попросту отслаиваются со временем. Как итог: информация «портится», а так как мы живем в цифровое, а не аналоговое время, то мы теряем не фрагмент, а, практически полностью весь блок. Конечно, многие мне возразят, что есть методики восстановления испорченных или частично утерянных данных. Что-то «дорисовывается», что-то считывается многократно, дабы уловить остаточные магнитные волнения, но это всё не серьёзно!
Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.
Кто что может посоветовать?
Интернет даёт следующие советы:
1.Писать на BD диски хорошего качества, в один проход, и как можно реже считывать данные и в принципе спрятать диск в недоступное от всех и всего место!
2.SSD диски хорошего качества, не очень высокого объема, с резервным источником питания на время хранения.
3.Увеличение резервных копий и использование облачных сервисов
4. LTO носители. Малопопулярно, дорого, но долговечнее многих других
5. Перфоленты XD ну это уже так, от меня)))
Жду резонных предложений! Вопрос простой, ситуация сложная…
Комментарии (120)
old_bear
22.10.2019 09:45+1Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.
Так не бывает. Но не переводятсяна Русив интернете охотники наединорогасамый лучший и надёжный накопитель на который можно записать всю свою самую важную информацию в одном экземпляре и ничего не бояться.
Кто что может посоветовать?
Все велосипеды уже давно изобрели: две (или более, в зависимости от степени вашего желания не потерять данные) копии на географически удалённых носителях, CRC, регулярная проверка, замена сбойного носителя сразу по выявлении.
Тип накопителя по вкусу. IMHO, внешний HDD на 2.5 дюйма в настоящий момент удобнее всего для «бытового потребителя».DrevoX Автор
22.10.2019 09:47Это понятно. Но он тоже не вечен. Даже при максимально правильном хранении в сухом, теплом и без солнечном месте приведет к необратимым последствиям и я не уверен, что он не размагнитится за длительный срок хранения. Неужели, лучший выход, регулярная ревизия и обновление носителей?
JustDont
22.10.2019 11:22Неужели, лучший выход, регулярная ревизия и обновление носителей?
Можете отлить в граните. Нет, ничего особо долговечного для записи больших объемов информации не существует. Ваш реальный выбор — между LTO и обычными хардами (эргономически удобнее на 2.5'', как правильно заметили). В первом случае ревизию можно проводить пореже (зависит от количества копий, разумеется), но вам нужно будет оборудования для чтения/записи. Во втором — ревизию проводить почаще, но считать/записать проблем не будет. Если у вас две копии, то я бы сказал, что для LTO будет разумным ревизия раз в 5 лет, для хардов — раз в год. Если больше — можно и побольше перерывы.
MMik
22.10.2019 09:46+1LTO кассеты должны сохранять данные практически без ошибок в течение 30 лет. Потом перезаписать надо будет на что-то более современное. Привод только сохраните и то, к чему его подключать.
NickViz
22.10.2019 09:46+1лента. LTO, уровень — по бюджету. раз в 10 лет — переходить на уровень доступный по бюджету в это время.
но один носитель никогда не будет надёжным. так-что:
плюс — облако или два. обновлять часто.
плюс жесткий диск в сейфе. обновлять пару раз в год.
в общем — дешево и без усилий — не получится.
AlexandreFrolov
22.10.2019 09:47+1Раз в несколько лет переписывать все архивы на современные к текущему моменту носители. Все держать как минимум в трех экземплярах. SSD теряют информацию, если долго отключены от питания.
Облака — дело хорошее, но они могут быть лишь одним из дополнительных мест хранения.
Особо ценную информацию лучше хранить не только в нескольких экземплярах, но и на носителях разных типов.
vesper-bot
22.10.2019 09:48Старые HDD (с воздухом). Никаких RAID и прочего, но при записи на диск архивировать с записью информации для восстановления в количестве 5-10% на архив. Но все равно раз лет в пять придется перезаписывать данные, ибо FAT/NTFS имеют не настолько защищенные элементы на том же диске.
GennPen
22.10.2019 10:12+1Как вариант, на HDD создавать два раздела с дублированием информации. Они физически в разных местах диска будут расположены.
A114n
22.10.2019 15:22Кстати как отличить диск с воздухом от диска с гелием?
NickViz
22.10.2019 17:10по отсутствию «Do not cover this breath hole» надписи :-)
на самом деле — по спекам, внешнему виду корпуса…A114n
23.10.2019 11:59Вооот!
А я думал там есть хотя бы какая-то метка или прямо написано типы Air или Heliumvesper-bot
23.10.2019 12:09На гелиевых, кстати, пишут (не везде). Так что отличить можно. В крайнем случае есть загугли по модели.
Vaitek
22.10.2019 09:52+1Храню важные данные:
* 2 копии на разных HDD в одном компе (права доступа к архивам на всякий случай жёстко ограничены) +
* Одна копия на внешнем HDD +
* Одно копия в облаке, зашифрована.
Недавно спасал так фотографии трехлетней давности, что побились по неизвестной причине…
Но сейчас задумываюсь чтобы перекодировать фото/видео во что-то с меньшим размером, пусть и с потерей качества, а то уже почти терабайт в основном видео и оно растёт…
Другой вопрос если со мной что-то случится (заболею и т.п.). Никто не может этим воспользоваться и если фотографии можно какие-то напечатать, то что делать с видео, не представляю. Как детям передать их детские фото-видео чтобы они могли лет через 20 их посмотреть?
dvd_com_ua
22.10.2019 09:53CD и DVD диски не лучший способ хранения. Записывал и CD и DVD диски, проверял правильность записи, диски лежали в коробочках, при комнатной температуре, никто их даже не доставал из коробок. Через несколько лет — ошибки чтения.
Пока для себя выбрал вариант записи на HDD с резервным копированием. HDD лежат «в столе» — подключаются только иногда. Регулярно диски меняю — старые продаю, а вместо них покупаю новые, большего объёма.
Serge78rus
22.10.2019 10:17А CD и DVD диски перезаписываемые или с однократной записью? У меня 20-летние CD с однократной записью вполне читаются.
dvd_com_ua
22.10.2019 10:28Однократные. Производства TDK и Verbatim.
Am0ralist
22.10.2019 11:19их подделывали активно.
в отличие от российских мирексов. но вот буду у родителей — поищу из старых запасов что ещё читается)
saege5b
23.10.2019 22:17У меня dvd(?)rw через 10+ лет прочитались без проблем. Обычные, покупал упаковку 50 штук.
livsius
22.10.2019 09:53+1Я дома использую LTO. Обещают до 30 лет гарантированного сохранения. Сейчас вполне доступны б/у приводы LTO-5 (я внешний купил за 300 евро ). Кассеты (1500 ГБ) можно найти за 10-12 евро.
DrevoX Автор
22.10.2019 09:56Посмотрел стоимость LTO на рынке… Немного в шоке. Не из дешевых удовольствие…
NickViz
22.10.2019 10:03+1а вы на топовые поколения не смотрите. скромнее надо быть. LTO-5 вот выше написали — вполне приемлимая цена…
DrevoX Автор
22.10.2019 10:06А подскажите, где можно ознакомиться с характеристиками\ценами? На порталах больших электронных магазинов информации ноль, только цена… Тут не гонка за современностью, а именно за сохранностью. Объем, установлю, условно 500 Гб… Возможно, смо временем людям потребуется 1Тб для ключевых данных. Более — это ни к чему
livsius
22.10.2019 12:56на wiki статья по LTO содержит всю техн информацию. По ценам на ebay можно заглянуть.
Кассета LTO-4 вмещает 800 ГБ
Gutt
22.10.2019 13:28Цены — на avito. Я, когда собрался продавать несколько лет назад выведенную из эксплуатации LTO-5 библиотеку от HP, был неприятно удивлён тем, что она стоит максимум 200 евро. Будьте готовы в SCSI-интерфейсу, если библиотека/стример старые. Характеристики накопителей есть даже в Википедии.
stargrave2
22.10.2019 18:42livsius правильно ответил что просто на Wikipedia все данные имеются. Добавлю, что скорость записи на LTO4/5 около 120-140 MiB/sec, а на более поздних поколениях и того выше — поэтому ещё нужно не забывать про то, что на стример с этой скоростью вы должны отдавать данные без передышки, иначе он будет останавливаться, отматывать ленту назад, дальше продолжать писать. Это существенно замедляет процесс записи и изнашивает ленту. Если 140 MiB современный жёсткий диск и может отдавать, то больше уже не каждый осилит. SSD легко обеспечит скорость, но не часто они бывают объёмом в несколько терабайт чтобы за раз записать одну ленту. Плюс не забывать что наверняка интерфейс подключения будет SAS и возможно понадобится контроллер докупать для этого.
livsius
22.10.2019 19:15не скажу про LTO-4, но LTO-5 приводы могут замедляться довольно ощутимо, подстраиваясь под «хилый» поток.
Да, SCSI или SAS контроллер необходим, в районе 40-50 евро (c PCIexpress interface) на ebay можно найти.stargrave2
22.10.2019 19:25У меня HP Ultrium LTO5 привод внешний. Не видел ни разу чтобы замедлялся. Останавливается и перематывает назад. Ну, наверное зависит от модели или ещё чего.
livsius
22.10.2019 19:40у меня внешний LTO-5 IBM FH (Full Height формат — они побольше фич имеют и чуть побыстрее, чем Half-Height).
Когда лью с обычного HDD — явно слышу как замедляется и далее останавливается в основном для смены направления вращения каждые ~1-2 мин.
IMnEpaTOP
22.10.2019 09:55Не бывает универсальных во всех смыслах носителей. Здесь как обычно работает «выберите 2 из 3х», стоимость, долговечность, объём. Если рассуждать из соображений экономии денег, то наилучший вариант следующий:
Нет необходимости в одном универсальном, великом и могучем носителе. Просто нужно делать больше копий. И чаще. Не на 1 диск с проверкой раз в 15 лет, а каждый квартал/год (сколько там гарантированная надёжность у выбранного в каждом случае носителя). Будет у вас через 15 лет 15-115 носителей разного возраста, хранившихся в разных местах и разных условиях. Ну какой-то прочитается. А когда ценность записанной информации для вас, потомков или окружающих упадёт ниже, чем стоимость копирования — вот тогда информация и будет рисковать исчезнуть совсем. Но учитывая количество созданных за это время копий — вы можете рассчитывать на шанс сохранения информации хоть на каком-то историческом промежутке.
Если у вас носитель с надёжностью 99%, то самый простой способ повысить надёжность — записать на 2-3 носителя и хранить их в разных местах. Главное учитывать сроки эксплуатации и своевременно делать дополнительные копии. Если вам или ответственным лицам лениво и дорого делать копии — значит эту информацию вовсе не следует хранить.Am0ralist
22.10.2019 11:21Не бывает универсальных во всех смыслах носителей. Здесь как обычно работает «выберите 2 из 3х», стоимость, долговечность, объём.
ленты LTO выигрывают по стоимости, долговечности и объемам как носитель.
Проигрывают по стоимости устройства записи)
M_AJ
22.10.2019 09:57+1Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.
Маловероятно. Даже если носитель это доживет, не факт что доживёт устройство чтения носителей. Так что просто положить и достать через сто лет скорее всего не выйдет, так как сложно будет найти привод, либо подключить его, так как интерфейсы поменялись. Как показала история, при соблюдении условий хранения неплохо держатся кинопленки. Из цифровых носителей можете посмотреть в сторону m-disc. Ну и ещё можно раскидать все по нескольких облачным сервиса и своевременно заменять сдохшие.
P.S. Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.
Am0ralist
22.10.2019 11:23P.S. Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.
HDD для механических воздействий уязвимы. А SSD из-за потери заряда. Так что надо оба варианта юзать)JustDont
22.10.2019 11:38Выключенный HDD уязвим для внешних воздействий всего лишь чуть большую малость, чем SSD. Если бить молотком, то HDD придёт в негодность немного раньше. Но немного.
Am0ralist
22.10.2019 11:43Ронять даже выключенный HDD сильно опаснее, чем SSD. С учетом, что уронить можете не вы, а тот, кто не понимает важности данных — вас про это могут даже не проинформировать. С другой стороны, если хранить в банковской ячейке, тогда может быть…
creat0r
22.10.2019 12:25А болванки M-disc вообще в РФ продаются?
Чуть было не купил пишущий их привод, но попробовал поискать болванки — а их нет. Ближе всего с amazon/ebay заказывать.dvd_com_ua
23.10.2019 09:27На Украине продают, хоть и не очень массово и только BD-R фирмы Verbatim. Диски ёмкостью 25 ГБ примерно по 300 рублей, диски 100 ГБ примерно по 1000 рублей.
A114n
23.10.2019 12:15Я правильно понимаю, что для записи Mdisk используется обычный BlueRay привод?
dvd_com_ua
23.10.2019 12:39В Wikipedia написано, что писать нужно на приводах совместимых с технологией M-DISK. А читать на любом приводе понимающем формат BD-R.
A114n
23.10.2019 15:58Тогда получается что отличие M-Disk, то есть их эта мега-прочность и вместимость в 100 гб, заключается только в специальном материале?
Am0ralist
23.10.2019 16:10И в этом тоже. Но не факт, что все блюрей писалки умеют в запись этих дисков.
Эти множества возможно пересекаются сильно, но не факт, что совпадаютcreat0r
23.10.2019 18:31Обычные Bluray не умеют писать M-диски точно. Там другие материалы и требуется заметно бОльшая мощность лазера во время записи.
Am0ralist
23.10.2019 21:15Ну это, видимо, как формат CD-RW 24х и 32х в своё время — не только лишь все умели их писать, надо было обязательно проверять совместимость)
Arson
22.10.2019 09:58+3У меня несколько жестких дисков в машине, самый свежий — архивный, второй и последующие — рабочие, последний — файлопомойка. Когда файлопомойка дохнет — покупаю новый и переливаю на него архив, остальные по цепочке. Плюс к этому облако.
livsius
24.10.2019 11:43А если незапланированно сдохнет архив и/или рабочий?
Arson
24.10.2019 11:55Маловероятно, в моём режиме архивный диск обновляется где-то раз в 2 года. Есть конечно шанс что он навернётся раньше времени, но таки скорее всего не мгновенно, а мониторинг смарта у меня стоит. Скажем так, мой вариант не самый надёжный из существующих, но самый надёжный из бесплатных :) Просто я один раз озаботился переназначением дисков (физических) согласно их реальному состоянию и дальше поддерживаю эту систему.
EgorZanuda
22.10.2019 09:59-1Мне по наследству достались фотографии моих родителей, смотреть их как-то уж ностальгически больно, выкинуть не могу из-за чувства уважения.
Вопрос зачем наследников обременять своей памятью? Ведь на всё мозгу нужно примерно 20 дней и 3 года.DrevoX Автор
22.10.2019 10:03Ну не скажите! Нашей семьёй были утеряны фотографии деда, многие фотографии прадедов и прапрадедов долго искались и восстанавливались моими бабушками и дедушками! Так что, как наследник, внук, правнук, скажу, что для многих это актуально и целесообразно! Куда интереснее читать свою историю, а не написанную кем-то
alexey_c
22.10.2019 15:03Здесь есть разница.
Вам было интересно раздобыть НЕСКОЛЬКО фотографий деда.
А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?
Мы для себя как-то определились, и ежегодно на новый год делаем подарки родителям — альбом (бумажный) с совместными фотографиями.
Во-первых, оно всегда доступно, лежит на полке.
А во-вторых, выбирая для этого альбома 40 снимков из того, что наснималось за год, ты очень сильно задумываешься над каждым и оцениваешь его ценность.
В процессе у меня даже было желание некоторые цифровые альбомы удалить полностью за исключением той пары снимков, которые попали в такой итоговый годовой альбом.terek_ambrosovich
23.10.2019 11:56А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?
Ценность — субъективна. Что будет полезно и интересно внукам и далее знать нам не дано, но детям нужно уж точно многое (сужу по своим наследникам, моими детскими фотографиями они интересовались очень активно, и «почему у тебя так мало!?» звучало не раз).
Я бы и сам с удовольствием посмотрел фото и видеоархив деда, и даже прадеда, если он был, конечно.
Мне интересно! Вам — нет? Причём мне хотелось бы увидеть именно максимум возможного, а уж что меня заинтересует, а что я отложу — решать лучше мне, а не деду, который может и хочет оставить себя только «в парадном виде, при сабле и медалях» — но как раз это спустя годы и становится скучным, а вот бытовые вроде бы материалы — так играют!
Так что пусть потомки сами решают, что хранить, а что отложить-удалить.
Моё дело — дать им в будущем возможность выбора.
Бумажные копии хотя и «классический вариант», но крайне грустное качество, зависимость от формата, да и время, увы, издевается над ними безжалостно.
Хороший структурированный по датам и тегам цифровой архив оставить после себя не будет лишним. Он много места в будущем вряд ли займёт, наши терабайты они наверняка уместят на кончике иглы. Главное, чтобы наши архивы смогли прочитать и восстановить.
KorP
22.10.2019 10:01+1ИМХО надо рассматривать вариант с удалённым хранением данных. Тут вариант или облако, или какой-нибудь НАС у родителей/друзей/бабушки.
Диски, ссд и прочее это хорошо, если у вас дома есть сейф, который спасёт их, например, в случае пожара, потопа, etc.
Но главное — любой бекап всегда нужно проверять на работоспособность!
VBKesha
22.10.2019 10:20мои мысли но они не дешевые:
1. Копий должно быть несколько в разных местах.
2. Копии должны быть на разных носителях HDD/SDcard/BD/Облако.
3. Время от времени нужно мониторить состояние носителей и обновлять.
4. Менять носители на актуальные, например сейчас глядя на «разнообразие» и «доступность» оптических приводов можно сказать что свои они отжили.
PS. В общем ситуация как обычно в IT индустрии чтобы оставаться на месте надо бежать.
NAI
22.10.2019 10:59Мне кажется, что Amazon Glacier и NAS является самым оптимальным по соотношению цена\объем\затраты. Надо только разделять архивирование и резервирование информации. Т.е. на NAS складывается информация которую жалко потерять (но ничего страшного в целом не произойдет) + критичная (за восстановление которой вы готовы заплатить любые деньги — фото, видео). В облако уходит только критичная. В идеале, должна быть настроена односторонняя синхронизация — NAS мог писать данные в облако, но не мог изменять\удалять данные. А то коллеги столкнулись лет 7 назад, когда шифровальщик прошелся по данным и они отреплецировались на бэкап-сервер.
justhabrauser
22.10.2019 10:59Идеальный вариант (с точки зрения именно долговечности) — запись в микросхемы PROM.
Это однократно записываемое ПЗУ. То есть совсем-совсем однократно.
И никогда ничем не стираемое (кроме как молотком).
Будет как вылито в граните (tm).
Но за цену вопроса даже не спрашивайте (кстати интересно узнать какова она на сегодня).mmMike
22.10.2019 12:25Неа… иногда пережженные перемычки востанавливаются.
justhabrauser
22.10.2019 12:28Пруфы.
Этого не может быть, потому что не может быть никогда.
Разве что недоспали транзистор (там не перемычки, а транзисторы, насколько я помню)mmMike
22.10.2019 12:36Сам лично сталкивался. В одной из схем Спектрума использовалась однократно "прожигаемая" ПЛМ. Через год взяла и перестала работать. Анализ показал (благо на панельке стояла), что одна перемычка востановилась. Как выяснилось, к таким же эфектам склонны и просто PROM (технология та же в принципе).
А так с ходу… wiki/PROM
Программирование заключается в пропускании через соответствующую перемычку тока, который её расплавляет или испаряет. Восстановление расплавленных перемычек невозможно.
Несмотря на кажущуюся надежность такого решения, эта технология оказалась весьма капризной. Металлические перемычки при программировании образовывали капли и пары металла, которые оседали обратно на кристалл в самых неожиданных местах с соответствующими неприятными последствиями. Поликремниевые перемычки имеют способность к самовосстановлению за счет миграции атомов.justhabrauser
22.10.2019 12:41Ааа…
Ну тогда осталась только перфолента.
Или перфокарты из титаниума :-)mmMike
22.10.2019 12:44Золотая пластинка «Вояджера»
justhabrauser
22.10.2019 12:49Золото более инертно, но и более пластично.
Но если надо сохранить своё селфи для далеких потомков — то да, на золотых перфокартах. И в хранилище ядерных отходов.
naviastro
22.10.2019 11:07С архивами/бэкапами есть золотые правила:
0. Делать бэкап (архив)
1. Иметь несколько копий, минимум — три
2 Иметь инструменты проверки целостности (минимум — хэши) и восстановления
3 Регулярно проверять копии (как просто целостность архива, так и возможность восстановиться из него)
4. Хранить копии в разных местах
5. Шифровать копии для защиты от несанкционированного доступа, ключи — бэкапить усиленно
6. Выбирать надёжные носители
7. Помнить, что RAID — не есть создание нескольких копий
8. Стоимость создания и хранения архивов не должна превышать стоимости хранимых данных
Самое главное — ранжировать данные по важности и актуальности, отсюда автоматически получаем:
— сколько копий необходимо
— требуемый объём
— срок хранения
— необходимость шифрования или иной защиты
— регулярность проверки
— нужно ли географически разносить копии
— стоимость самих данных
На мой взгляд, ленты стоит использовать при суммарных объёмах архивов от нескольких десятков терабайт, при меньших объёмах обычные HDD выходят проще, дешевле, удобнее и компактнее.
Если решено использовать ленточные носители, то очень рекомендую иметь два привода (!), ибо может так оказаться, что записанное на одном ничто другое не прочитает…
Если решено использовать HDD или SSD, то лучше не использовать только одну модель и тем более из одной партии. Иные носители — скорее опасная экзотика))
Несколько копий, хранящихся на одной машине лучше считать одной копией, даже если они на разных носителях. Аналогично — ленты в одной библиотеке, ибо они все могут быть повреждены самой библиотекой или неисправным приводом.
Облако не является каким-либо особо надёжным долговременным хранилищем, к сожалению. Были прецеденты, когда провайдеры услуг ставили клиентов перед свершившимся печальным фактом. Тем не менее, пренебрегать облаком тоже не стоит, если это экономически выгодно.
Наконец, нужно помнить, что три копии — это самый минимум, а без контроля целостности сложно оценивать состояние архива, используйте хеши файлов как минимум, а лучше — полноценные системы.
Viacheslav01
22.10.2019 11:59Про SSD валялся на полке OCZ Vertex не включавшийся с 12 года, год назад включил, нужен был диск для компа, а он живее всех живых, 8 лет без питания и все данные целы.
Я понимаю, что это скорее исключение, но все равно был приятно удивлен.JerleShannara
22.10.2019 18:27У вас там SLC или MLC, где на одну ячейку 1 или 2 бита. Соответственно утекание заряда там менее критично, а вот с QLC и прочими всё хуже.
doz10us
22.10.2019 13:14Если знание английского позволяет, есть /r/DataHoarder, где встречаются подобные обсуждения.
alexs963
22.10.2019 14:09+1DrevoX Автор
22.10.2019 14:09Вы ещё QR коды посоветуйте))
dvd_com_ua
22.10.2019 14:45Отличный вариант! А дальше хоть на бумаге печатай, хоть гравировка на металле или стекле. А можно с помощью 3D принтера сделать пластиковую копию.
Tachyon
22.10.2019 14:31Разные типы носителей(флешка, SSD, HDD, DVD,CD) каждого типа по нескольку штук от разных производителей. И если не надо хранить террабайты архивов, то выйдет относительно не дорого
mm3
22.10.2019 14:34Есть ещё возможность распечатать на бумаге в машиночитаемом формате и использовать все существующие методы сохранения бумажных носителей.
Самым перспективным из недоступных простым смертным сейчас выглядит лазерная гравировка в толще кристалла.
A114n
22.10.2019 15:25Похоже что пока человечество ничего лучше бумаги (и ответвлений типа «пластиковые / деревянные / металлические книги) в плане хранения информации не придумало.
force
22.10.2019 19:11+1А потом окажется, что бумагу пожрал хомяк, чернила окислились и испарились, из-за повышенной влажности листы слиплись, пластик разложился от ультрафиолета, дерево пожрали жучки, а металл заржавел. А ещё бумага иногда горит.
С бумагой множество проблем на самом деле, поэтому создают специальные архивы. И если прикинуть, сколько на всё это тратится, то окажется, что долговечность гораздо проще соблюдать реплицированием.A114n
23.10.2019 12:01Хомяк может пожрать и магнитные ленты, окислиться они тоже могут, ну и сгореть может всё тем более.
То есть, скажем так, все негативные эффекты времени сказываются на других носителях ЕЩЁ сильнее, чем на бумаге.
Но насчёт реплицирования вы совершенно правы, средневековые монахи веками занимались именно этим — переписывали с древних книг в новые, так и сохранили большинство древних текстов.
JerleShannara
22.10.2019 18:33+1Ответ один: самые ценные фотографии — распечатать на качественном бумажном носителе, положить в упаковку, которая за 100+ лет не устроит какой-либо химической реакции (бумажный конверт например), и убрать туда, где нет прямого солнечного света и влажность не стремится приблизиться к тропическому лесу. Сохранность будет исчисляться веками, доказано рукописями и прочими бумажными аналоговыми носителями и фотографиями девятнадцатого века.
stargrave2
22.10.2019 18:36У меня следующие выводы по жизни с хранением данных вышли:
* компакт-диски отпадают — самый ненадёжный вариант. В лабораторных условиях или с хорошо сделанными дисками возможно проблем и не так много, но на практике все они паршивейшего качества
* SSD/флешки не вариант — заряд утекает по определению: нужно постоянно перезаписывать данные, регенерировать заряд. Дорого
* HDD один из лучших вариантов, но тоже надо перезаписывать данные время от времени (например просто dd-ой с одного диска на другой переливать). Массив мне кажется излишен — проще просто по две копии (хоть dd-ой) делать, ведь всё-равно они не в подключённом виде лежат
* Для себя для долговременного хранения использую LTO (4/5) ленты. По две географически разделённые копии. Плюс особо важные данные и на HDD внешних
А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены), иметь по две копии всегда.vis_inet
22.10.2019 18:48+1А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены)
Архивация (возможно, и без сжатия) с определённым процентом избыточности не лучше, чем checksum-ы?stargrave2
22.10.2019 19:49Во-первых, на накопителях типа HDD и лент и так заложено немало избыточности. Добавление избыточности каким-нибудь par2 не будет ощутимым изменением. Если накопитель уж начнёт сыпаться (ошибки будут доходить до уровня ОС), то (на моей практике), несколько процентов par2 избыточности редко помогут.
Во-вторых, если накопитель уже начинает сыпаться, то нужно задумываться о смене носителя, записью на новый. Избыточность уровня par2 всё-равно не отменяет надобность наличия второй резервной копии. Checksum-а хороша тем, что просто отвечает на вопрос всё ли хорошо. Если нет, то в любом случае идём за второй резервной копией и делаем новую, так как первая уже сыпется (или диск размагничивается от и требует перезаписи). В случае с par2 мы может и прочитаем все данные без помех, но всё-равно получим сигнал о том, что всё-равно надо менять/перезаписывать сыпящийся накопитель.
Хуже от избыточности не будет, если она подразумевает сильную проверку целостности (криптографический хэш например), но по моему это сильныхй overhead для HDD и лент. Безусловно подразумевается наличие ещё одной резервной копии (второй ленты/HDD/whatever). А если второй копии нет, то её надо сделать, а не надеяться на избыточность уровня par2.Am0ralist
22.10.2019 20:50Но что делать, если сыпаться начнут обе версии?
*точно помню, что недавно уже обсуждали под похожей статьей с кем-то этот вопрос, что хорошо бы добавить функционал восстановления данных из нескольких разных побитых копий архивов с избыточностьюstargrave2
22.10.2019 21:12Вторая копия это +100% к избыточности. Если её не хватило, то значит иметь ещё копию дополнительно. par2-like избыточность это всего-лишь доли (как правило), а тут сразу 100/200 процентов.
То самое правило 3-2-1 (три копии, два носителя, одна за пределами) как-раз тут хорошо применимо. Вероятность что два разных носителя (особенно разного типа), да ещё и все копии «полетят» крайне низка. Если пожар всё уничтожает, то хотя бы за пределами копия должна выжить.Am0ralist
22.10.2019 21:56Это правило хорошо для бекапов, за которыми следят постоянно и проверяют все копии, каждые пару дней новые создавая. То есть для бизнес процессов.
В противном случае как раз таки вероятность то не особо маленькая, особенно с учетом что со временем все копии полетят, считай. Нельзя записать диск и быть уверенным, что через 10-15 лет он не посыпится, а уж на интервалах больше по времени — можно считать обратные случаи за редкость.stargrave2
22.10.2019 22:06Ну так конечно следить и обслуживать надо. Если без этого, то это на авось, как повезёт. Или на ленты надеяться, что они действительно столько времени могут пролежать и ничего не будет, или просто на удачу.
Am0ralist
22.10.2019 22:14Так ведь большая часть людей не понимает в IT и не будут подобного делать. Записали на диск и норм, чё с ним может пойти не так? Ок, в лучшем случае ещё куда запишут. Вот и хочется более простых и интуитивно понятных вариантов.
MonkeyD
22.10.2019 19:45Откопал CD диск 20летней давности. И он офигенски работает. Так что, диск это мой выбор. CD надежнее (легче востановить), dvd больше инфы.
vis_inet
23.10.2019 05:38Думается, что это ошибка выжившего.
Имею примеры нечитаемости дисков SONY и TDK записанных 10 лет назад и хранящихся в шкафу в закрытой корообке.psycho-coder
23.10.2019 12:11Аналогичная ситуация. Читая этот пост решил проверить свои диски записанные, посмотреть что сдохло и пора на свалку.
kuza2000
22.10.2019 19:47Замечательная статья-вопрос!
Тоже об этом думаю. С обывательско-прикладной стороны — как сохранить архивы, фотки, и т.д.
А еще и другие мысли приходят. Наша цивилизация достигла немалых высот, в значительной мере благодаря накопленным знаниям. Научные исследования, технологии, произведения исскуства, наконец. Но… сейчас почти все это хранится на магнитиках, которые и в микроскоп не разглядишь. А в последнее время так вообще, на заряженных статикой пылинках. Как все это хрупко… Прилетит большой метеорит, обесточатся дата-центры лет на пять. Заряженные пылинки разрядятся, и вуаля, нет всего этого нашего наследия, привет средние века…Am0ralist
22.10.2019 20:54Вы недооцениваете количество знаний на бумагах. Только в любом случае, потерянные знания зачастую придётся переизобретать, потому что принципиальное знание как что-то сделать и практическое — это тоже две больших разницы и в описываемом вами случае будет потеряно больше именно последнее, несмотря на то, что его далеко не всегда хранят на магнитиках.
s-n-ushakov
23.10.2019 03:16На мой взгляд вообще вряд ли стоит ставить задачу по выбору наилучшего носителя на длительный срок.
Перфоркарты вот наверно неплохо сохраняются, только вот что с ними делать сейчас, если вдруг надо будет сегодня прочитать какой-нибудь архив на перфокартах? :) А случаи такие бывают, как рассказывают…
Я бы подходил к задаче архивирования на длительный срок в первую очередь как к периодическому процессу, который включал бы в себя регулярный анализ сохранности данных, повторный выбор технологии хранения и перезаписывание всей информации.
Ну и все остальные соображения про избыточность, независимое хранение различных экземпляров и т.п. тоже, конечно, играют...alexs963
23.10.2019 07:23Считыватель перфокарт можно соорудить на коленке за пару часов.
s-n-ushakov
23.10.2019 08:48:) Перфокарты были только для примера. Да и с ними не всё так просто. Ну, допустим, прочитали мы поток байтов с перфокарт. А дальше что? Там ведь когда-то раньше для этого наверняка какой-то софт был предназначен, со своей трудоёмкостью создания...
Ну а если что-то более технологичное себе представить? Ну, любой носитель для ленточного накопителя лет через 30… Устройств для чтения нет, элементная база для них — только в музеях, и спецификацию на формат данных тоже надо искать где-то, а потом ещё и реализовывать...
professor88888
23.10.2019 08:40Боги сделали проще:
— создали ДНК;
— запихнули в самовосстанавливающийся носитель;
— дали ему пинка и сказали: «Плодись и размножайся» (самобэкап)!
… ходят клоны ДНК и думают: «На чём бы ещё сохраниться? Керамика, золото, бумага...»
Кристаллы!!! Будущая форма для длительного хранения… Или… (продолжение во второй части этой статьи)
semennikov
23.10.2019 10:31Самое надежно, емкое и проверенное временем — грампластинки :-) Правда не очень понимаю как их писать…
qw1
23.10.2019 10:45Насчёт ёмкого стоит поспорить. Сколько там выйдет, килобайт 400 на сторону?
Кассета для ZX-Spectrum имела примерно такие показатели на 1 сторону (45 минут).
Temmokan
23.10.2019 10:53Похоже, что (факультативно: ламинированная) бумага с напечатанной на ней информацией может дать существенную фору всем остальным. Понятно, что бумага должна быть качественная, которая лет через десять не обратится в труху. Плюс должна быть защита от сырости и нагрева.
См. программу PaperBack. Подана как шутка, но вполне себе решение для такого случая.
У Hi-Tech носителей (диски, включая флэшки, в т.ч. оптические и пр.) есть один ма-а-аленький недостаток: пройдёт относительно немного времени, и считать данные будет попросту нечем. Вот и придётся постоянно переносить с носителя на носитель.IMnEpaTOP
23.10.2019 11:03Что если я скажу вам, что очень многие древние «знания», дошедшие до наших дней, это результат многократного копирования, перезаписи не только с одного носителя (типа носителя) на другой, но даже с одной кодировки (языка) на другую. А иногда даже просто множественные следы (цитаты у других авторов), по которым специалисты восстанавливают исходное произведение.
Почему вам (я сейчас не про вас лично, а про тех, кто разделяет вашу точку зрения) так не хочется признать, что банальная практика перезаписи на носители с низкой абсолютной надёжностью и низкой ценой может быть проще и эффективнее, чем попытка найти универсальный и великолепный во всех отношениях носитель?
trapwalker
23.10.2019 11:39+1Перезапись хороша, если будет кому этим заниматься. А этим будет кому заниматься, если речь о данных, имеющих долгосрочную ценность для неограниченного круга лиц (например, порно-фильмы).
А вот если речь о семейном фото-архиве, то можно, конечно, воспитывать детей и внуков в собственной семейной коммуне так, чтобы хранение и перезапись семейного архива стали своего рода культом, но… хм...
Я бы сконцентрировался на разработке дешевого метода производства мелких стеклянных шариков с записью в них инфы лазером формируя пузырьки. Схема такая:
Берём песочек и делаем полностью автоматический завод по производству из него стеклянных бусин с данными внутри, закодированными положением пузырей от лазера внутри.
В каждую такую гранулу поместится немного данных, но мы же делаем действительно "холодное" хранилище и вопрос лишь в аккуратной индексации.
Размер и инертность гранул позволит им быть механически и химически устойчивыми к повреждениям. Слой стекла на поверхности позволит им пережить полировку. Запись осуществляется лазерами, а фокусировать их человечество умеет неплохо. Чтение можно делать многоракурсной фотосъёмкой через микроскоп. Можно добиться огромной избыточности. Легко делать конвейерные линии для автоматической обработки таких гранул. Легко параллелить любые процессы с ними.
Можно даже делать автоматические репликаторы таких данных, которые на входе принимают песочек (или стеклотару) и солнышко (всего этого полно на пляжах или в пустыне), а на выходе несметное число гранул с данными, которые даже экологию не портят.
A114n
23.10.2019 12:05А почему шариков, а не параллелепипедов? Мне кажется, их позиционировать проще: например, всегда ставить на широкую грань, минимальной гранью сверху. Конечно, уголки могут отколоться со временем, но если задать определённую глубину записи пузырьков, то это не очень страшно.
trapwalker
23.10.2019 12:08Капельки легче делать, они прочнее, позиционировать слишком точно не нужно, нужно просто снимать с кучи ракурсов и все делать программно
kuza2000
23.10.2019 13:46Стеклянные шарики отпадают. С ними тоже засада — они текут. Оконное стекло за сотню лет весьма сильно стекает вниз.
vlivyur
23.10.2019 14:42Это миф. Никто никуда не стекает за сотню лет.
JustDont
23.10.2019 14:55Про стекла в домах — да, миф. Но стекло всё-таки аморфное тело и всё-таки течет. Впрочем, весьма медленно. Если не греть.
trapwalker
23.10.2019 16:55Значит надо делать робота репликатора, который будет кроме этих капелек еще и самого себя реплицировать=)
qw1
23.10.2019 15:35В ситуации с капельками, сколько нужно капелек для записи терабайта? Если по мегабайту на каждую, то миллион капелек. Тут информация больше будет храниться не в сколько в самих капельках, сколько в порядке их считывания. И вот эту информацию легко потерять, как и отдельные капельки из миллионов.
trapwalker
23.10.2019 16:58Решается нумерацией капелек и бешеной избыточностью. Ну и сами данные лучше не сжимать и не шифровать.
qw1
23.10.2019 17:42Нумерацией не особо решается, т.к. те же номера могут пересекаться для разных архивов или у разных людей.
trapwalker
24.10.2019 10:21Нет, это простая и тысячу раз решенная задача. В торрентах, например. Начиная с некоторого количества бит даже случайная генерация ключа становится уже достаточно надёжной в плане коллизий, а если использовать uuid с учетом времени и мак-адреса, то и вовсе вероятность коллизии сводится практически к нулю.
Temmokan
23.10.2019 12:09Оптимальный вариант — прибегать ко множественным носителям (той же бумаге). Я лично храню свои репозитории в виде множества зеркал, плюс переписываю на флэш-карты, плюс самое важное периодически на ту же бумагу.
Как-то так. По мне, оптимальный подход — чтобы при самом неблагоприятном развитии сохранилось хоть что-нибудь.
trapwalker
23.10.2019 11:21Действительно, избыточность и регулярное восстановление утерянного — это очевидный подход.
Однако многие забывают (хотя, пардон, вот Vaitek упомянул), что резервировать нужно и самого себя, в чьей голове хранится информация о том, что где лежит и как это обслуживать.
Это я к тому, что в первую очередь нужно разрабатывать стандарты хранения и регулярного восстановления и данных. Стандарты и алгоритмы следует публиковать в научных журналах и патентовать под открытой лицензией.
Лично я вижу пути решения вопроса долгосрочного хранения данных в первую очередь в программной плоскости. Аппаратные носители постоянно совершенствуются (иногда не в сторону увеличения надежности) и теряют обратную совместимость, но концепции потока цифровых данных, файловой системы, инкрементального хранения изменений, мне кажется, переживут нашу цивилизацию.
Нужно формировать стандарты хранения метаданных, стандарты версионирования, стандарты документирования и самодокументирования форматов, стандарты репрезентации данных (это когда мы формируем новую структуру хранения и представления данных, но при этом сохраняем старую и описываем в метаданных все связи и методы преобразования старой структуры в новую).
Придётся, блин, писать-таки на эту тему статью. Эх. Давно в загашниках тема статьи о вариантах реализации правильного Датахранилища Судного Дня.
trir
глиняные таблички