Накопители с магнитной лентой могут показаться какими-то динозаврами из эпохи дискет, чудом дожившими до наших дней. Информацию на такие записывали еще наши деды — вспомним советские аудиокассеты МК-44, которые нужно было проматывать, вставив карандаш. Собственно, кто-то еще помнит само слово «магнитофон», и откуда оно появилось?
Магнитные ленты постепенно отходили на второй план, вытесняемые SSD, HDD и так далее. Олдскульный формат хранения данных находился в упадке. Отгрузки накопителей снизились с 800 000 единиц в 2008 году до 400 000 единиц в 2010 году. И менее чем до 250 000 единиц к концу 2016 года.
И правда, кому он нужен, этот формат прошлого века, если у нас для всего сейчас есть флешки и облака?
Но с 2016 года всё начинает меняться. Производство накопителей с магнитной пленкой в мире начинает расти на 30-40% в год. Сейчас каждый год отгружается уже под 150 эксабайт (миллионов терабайт) таких накопителей. Для сравнения, HDD в мире в год продается примерно на 1000 эксабайт. То есть, две индустрии отличаются меньше чем на порядок. При этом продажи HDD продолжают падать со своего пика в 2010 году уже двенадцатый год подряд. А продажи устройств на магнитных лентах, наоборот, очень быстро растут. Последние годы — рекордными темпами для индустрии.
Что вообще происходит?
Данные на ленте
Существуют системы хранения на основе магнитных лент, восходящие еще к первым коммерческим ПК 50-х годов. Но те накопители, которые активно используются сегодня, это Linear Tape-Open (LTO). Они появились чуть позже, в 90-х. По сути, это открытый стандарт для хранения данных, созданный межотраслевым консорциумом и выпускаемый сегодня такими компаниями, как HP Enterprise, IBM и Quantum Corporation.
Картриджи LTO с виду довольно похожи на жесткие диски, они примерно такие же по размерам и сравнимы по стоимости. Только внутри — одна магнитная пленка на большой катушке.
Прошлый год был особенно звездным для LTO. Согласно отчету о продажах, основанному на данных компаний, ответственных за производство лент LTO, в 2021 году было отгружено 148 экзабайт общей емкости лент. Это намного больше, чем в 2020-м, когда было отгружено 105 экзабайт (на фоне пандемии). Или в предыдущем рекордном году, 2019-м, когда емкость составила 114 эксабайт. Такого роста индустрия не видела 15 лет. И, по всей видимости, нет причин думать, что он остановится.
Развитие индустрии
Всё больше важной информации в мире хранится на лентах. Научные данные о физике частиц, астрономические данные, национальные архивы, культурное наследие, банковские данные и так далее. Google сообщал, что записывает резервные копии на пленку, в том числе даже для всех наших Gmail. И в Azure тоже говорят, что используют плёночное оборудование для дополнительной защиты своих пользователей.
Всё последнее десятилетие индустрия очень тихо, но стабильно развивалась, в основном усилиями IBM. Казалось бы, только в 2015-м появился картридж LTO-7, способный хранить 6 ТБ данных. А сейчас все активно переходят уже на LTO-9 с емкостью 18 ТБ. Ожидается, что один картридж стандарта LTO-12 будет хранить до 144 ТБ данных, что находится за пределами всех остальных носителей.
Два года назад IBM с Fujifilm в качестве эксперимента даже создали ленточный накопитель объемом 580 ТБ — рекорд среди любых носителей информации. Максимальная емкость SSD, например, не превышает 100 ТБ, а жестких дисков — около 30 ТБ.
В плане характеристик LTO сейчас развиваются куда быстрее чем HDD. Даже скорости считывания и записи данных за последние шесть лет у магнитных лет тоже повысились в три с лишним раза (до 1000 МБ/с). Они у лент теперь выше, чем у HDD. Проблема осталась только в скорости поиска данных: листать ленту долго, это может занять вплоть до минуты (вместо 10-20 миллисекунд у конкурентов). Но постепенно это время сокращается.
Начиная с пятого поколения LTO также поддерживают разбитие на разделы. Это, в частности, позволяет использовать файловую систему LTFS от IBM, позволяющую просматривать содержимое ленты в привычном формате дерева каталогов с файлами. Постепенно магнитные ленты становятся довольно продвинутыми и удобными.
Но главное, что картриджи LTO считаются очень надежными. Сроки хранения данных на пленке — от 15 до 30 лет. Причем этот срок можно удвоить, если при каждом плановом резервном копировании записывать только 50% емкости ленты. Скорость потоковой передачи данных тоже уже превышает скорость передачи данных на диске. То есть, если нужно именно копировать большие объемы информации, а не выискивать точечный файл, LTO по скорости значительно превосходит альтернативы. Кроме того, картриджи легко транспортировать, а последнее поколение уже может хранить больше данных, чем другие форматы съемных хранилищ.
Легко заметить, что лента не очень-то подходит для частного пользователя. В игру с картриджей не поиграешь, в виде флешки тоже использовать так себе. А главная проблема в том, что наши ПК, а тем более ноутбуки — не имеют никаких слотов для считывания данных с пленки. Таких слотов в них просто не может быть. Поэтому чтобы распознавать данные нужно купить специальное устройство, стример. И для любой небольшой емкости выходит так, что стоимость нового стримера + стоимость картриджа LTO — намного выше, чем цена нового жесткого диска. Какой-то смысл покупать стример появляется только если вам нужно считывать данные с десяти и более картриджей.
Но большинство новых ленточных картриджей сами по себе уже имеют более низкую цену за гигабайт, чем жесткие диски. И при этом могут лучше хранить сжатую информацию. Поэтому при большой емкости подсистем общая стоимость ленточного хранилища может быть ниже, чем хранилища на основе жестких дисков. Особенно если учитывать более высокие эксплуатационные расходы HDD. Пленка же лишних денег не тратит: если данные уже записаны, ей не нужно питание для их хранения.
К тому же начиная с 19 года, а особенно с развитием криптовалют вроде Chia, использующих HDD для майнинга, цены на жесткие диски начинают расти. Но на магнитных лентах пока что майнить никто не догадался! Цены здесь адекватные и прогнозируемые. Пленка ничтожно дешевая, и дешевеет со временем. Для неё все еще действует закон Мура. Темпы уплотнения записи на квадратный сантиметр не спадают, а сохраняются в районе 33% в год. Жесткие диски сейчас «уплотняются» только на 10-15% ежегодно.
Если данные нужно хранить десятилетиями, ленточные библиотеки являются лучшей альтернативой облачному хранилищу или жестким дискам — в итоге их стоимость выходит на 20-30% дешевле. Преимущество очень солидное. Но стандартизация цифрового формата и удобство быстрого доступа к данным всё-таки делает жесткие диски однозначными лидерами. Конечно, пользователям, желающим получить доступ к сайту, не хочется ждать по минуте, пока какие-то данные будут найдены.
Поэтому резкий рост популярности LTO все-таки обусловлен другим. А именно — попыткой компаний защититься от разгулявшихся киберпреступников.
Защита от программ-вымогателей
Самое популярное использование накопителей с лентой — в качестве офлайновой копии данных. Попросту говоря, создается воздушный зазор. И из LTO собирается отдельное хранилище данных, которое находится в автономном режиме и недоступно без физического доступа к нему.
Это оказывается эффективной (и единственной 100%-й) защитой от программ-вымогателей. Если информацию зашифровали или удалили — из дальнего угла достается блок LTO, на которые периодически копировали данные. И вот уже, ценой малых потерь, не приходится платить вымогателям сто биткоинов. В 2019 году, на фоне роста количества таких хакерских атак, многие компании начали использовать ленты для резервного копирования и архивирования.
По сути, ленточные накопители сами по себе не является каким-то уникальным решением для защиты от вредоносных программ. Просто они мало стоят, обладают большой емкостью и могут очень долго храниться в автономном режиме. Именно поэтому их используют Google, Microsoft, Amazon, а также другие, менее крупные хостинг-провайдеры. В последние годы, начиная с 2015-го, LTO для обеспечения сохранности данных начинают закупать и небольшие компании со своими серверами, создающие дополнительный спрос.
В последнее время кибератаки стали довольно частым явлением. Самая нашумевшая случилась в конце марта. Она была совершена группой Lapsus$, которая взяла на себя ответственность за взломы серверов Microsoft, Nvidia, Samsung и других компаний. Хакерская группа (предположительно, из Великобритании) украла логины и пароли более 71 000 сотрудников Nvidia. И это всего лишь капля в море.
Количество успешных атак на компании с использованием программ-вымогателей в прошлом году удвоилось. В 2021 году их засекли 2690 штук — по сравнению с 1389 атаками в 2020 году. Интересно, если старейший формат, пришедший к нам еще из 1950-х годов, поможет нам со всем этим бороться.
Промокод для читателей нашего блога!
— 15% на все тарифы VDS (кроме тарифа Прогрев) — по промокоду HabrFIRSTVDS.
50 тысяч активных серверов и 10 тысяч клиентов, которые с нами больше 5 лет.
Комментарии (63)
svpcom
25.05.2022 16:48+5Используйте blue-ray (обычные или m-disc) диски. От ленты одни проблемы:
Плохая совместимость между поколениями LTO (вроде только на два назад гаранируют)
Дикая цена привода (если покупать б/у, то никто не гарантирует что бы потом второй такой же сможете купить)
Низкий ресурс ленты - ее можно перезаписать всего несколько раз (по собственному опыту эксплуатации LTO одного из первых поколений), а потом вероятность ее прочитать будет сильно падать
Необходимость наличия БД с индексом бекапа (что бы не читать десятки лент в поисках нужного файла).
Приводы только со SCSI-интерфейсом - забудьте про usb и ноутбуки.
TL;DR - если вы не банк или CERN, то лента вам не нужна.
screwer
25.05.2022 17:25+2Это отличная совместимость.
Купите более нового поколения бу, они как раз в цене упадут к тому времени.
"Несколько раз" - Ultrium media is certified for 1 million passes or 260 full back ups (головка за раз читает пачку треков, но далеко не все, полное считывание это полсотни и более проходов "змейкой"). Кстати, привод одновременно с записью производит чтение записанных данных. Т.е.успешная запись означает что они уже были однократно и успешно прочитаны.
LTFS закрывает эту проблему. Либо внешняя бд софтины бекапа.
Интерфейс FC или SAS. К последнему существуют переходники в USB3.0. Сам не юзал, бо без надобности - не люблю ноутбуки, и не использую их.
если вы не банк или CERN, то лента вам не нужна.
Окупаемость по-обьему, в современных реалиях, наступает с цифры в 30-50тб. За бу ленточное оборудование. При этом ленты надёжнее современных хдд.
gaidukav
25.05.2022 18:05совместимость - только два поколения, причём "второе" только читает.
цена привода - ну совсем "не домашняя"
В "суровом ынтерпрайзе" в библиотеке MSL-2024 с двумя FC приводами LTO-6 библиотековый робот показывает что некоторые кассеты уже более 7000 раз загружались в привод. Хотя бывает, что и за 200 прогонов лента сыпется.
есть полноценные приложения для бэкапа, с библиотекой часто такие бесплатно идут.
интерфейсы - SAS или FC. SAS будет дешевле, на нём привод разгонялся до 400МБ/сек, упираясь в скорость массива с которого читал.
screwer
25.05.2022 18:28БУ приводы стоят адекватных денег, и чем старее поколение - тем дешевле.
SAS не будет дешевле. Только патчкорд стоит 1000 руб. Плюс HBA (а нужен с поддержкой IT, для прямого проброса) ещё от 3000 руб. Плюс геморис перепрошивкой. Тогда как 4гбит FC HBA я находил на Авито за 500 (пятьсот) рублей. Привод, кстати, может и больше прокачать, зависит от сжимаемости данных. Лично видел цифры 500+ в ходе тестов IBMовских LTO5 приводов, на FC 8gbit HBA. Ещё из преимуществ оптики - легче "скручивается", в отличие от толстенного жёсткого САС, может быть длинной, гальваническая развязка.
ursaa
25.05.2022 17:27+3Используйте blue-ray
Который фиг прочитаешь через 5 лет. Да и емкость не фонтан. Упаковка «нормальных вербатимов» это подтверждает. Либо отдельный диск и на полку, либо лента.
Нормальный «кровавый» энтерпрайз уж как всю жизнь только ленты и пользует. Для дома купить что-то еще поддерживаемое (LTO текущее минус 3, это производители всегда советовали) или HDD
vicsoftware
25.05.2022 19:04+4Недавно проверял свой архив видеофайлов, сформированный году так в 2008-2010. Записывалось всё на DVD+-R диски производства Verbatim (серебряные и цветные), а также TDK (голубая поверхность). Условия хранения - сумки под диски. Температурный режим - обычная комната.
Всего проверено 361+17+129 = 507 дисков.
Из них полностью прочиталось 506 дисков. Один диск (Verbatim Silver) прочитался неполностью - несколько сбойных секторов.
Так что в качестве договременного хранения компакт-диски DVD подходят вполне. Но допускаю, что с Blue-ray ситуация иная.screwer
25.05.2022 20:32Лично у меня данных, подлежащих бекапам, около 50 террабайт. Причем 70% из них обновляется. Понемногу,, но постоянно и довольно хаотичным образом. Это больше 10тысяч болванок, правильно ? А записывать их придётся несколько лет ?
svpcom
25.05.2022 21:26m-disc blue-ray xl -- 100 ГБайт на диск. Это 500 дисков. Я сомневаюсь, что вы для домашнего использования производите столько данных, которые нужно навечно сохранять
screwer
25.05.2022 22:39m-disc blue-ray xl -- 100 ГБайт на диск. Это 500 дисков
А можно теперь в рублях и времени записи ? LTO-5 привод я купил за 18тр, 96 картриджей по 1,5тб за 27тр. Т.е. 50тб стоили мне где-то 10тр. HBA и патчкорд ещё тысяча. Скорость записи 140мб-сек, данные уже сжаты до предела. Бекап полностью перезаписываю примерно раз в 2 месяца.
Я сомневаюсь, что вы для домашнего использования производите столько данных
А их не я произвожу. И использование не совсем домашнее (использую для работы).
svpcom
26.05.2022 11:47Так изначально вопрос был для домашнего использования максимально просто. Собирать компьютер что бы туда воткнуть SCSI адаптер и потом вести базу данных содержимого лент нисколько не просто для обычного пользователя.
AlexanderS
25.05.2022 21:59+1Методика прочитался или не прочитался немного неверна: потеря одного диска за 12 лет ещё ничего не значит и за следующие 12 вы можете потерять больше. Вот если бы после записи каждого диска сделали бы эталонный образ ошибок на каждый диск, а сейчас бы прогнали свою полтысячу дисков и далее сравнили образы, то можно было бы сделать вывод о том насколько всё плохо или хорошо. Потому что у одного диска BLER зашкалило и он у вас еле прочитался, а у других может быть значения просто ещё немного докритические и поэтому приводы-то справились и ошибки блоков исправили на аппаратном уровне, а через 12 лет уже не смогут.
svpcom
25.05.2022 21:25m-disc https://www.mdisc.com/ обещают вроде как 1000 лет. Даже если 100 лет пролежит, то уже отлично. Я вот могу прочитать cdrom (стандарт вышел в начале 80-х), а вот ленту 1988 года не могу - некуда ее вставлять (хотя привод есть, но его уже лет 20 не включали). А вот попробуйте прочитать ленту от ЕС'ок или CM'ок (соответственно IBM и DEC).
Привод новый который может писать m-disc стоит 7k рублей (а прочитать диск можно везде). А вот с лентой все будет стоить на порядки дороже.
AlexanderS
25.05.2022 21:52+1Главное через 100 лет найти переходник для универсального интерфейса 100500, чтобы подключить к старому разъёму интерфейса 1050, чтобы подключить к плате, которая бы эмулировала SATA, к которой подключить BD ридер в надежде на то, что его микропрограмма стартанёт с NAND-Flash, данные в которой, по заверению производителя, гарантированно сохраняются «не менее 10 лет», а далее уже толком никто сказать не может (или не хочет) за какое время произойдёт критическое рассасывание заряда в транзисторах с изолированным затвором.
Вот неплохо было бы заставлять производителей оставлять возможность аппаратного обновления прошивки подручными методами (UART/USART) и выкладывать эту самую прошивку в открытый доступ хотя бы после снятия модели с производства.Oval
26.05.2022 07:10+3я вот думаю мой правнук, максимум, положит диск на подложку туннельного сканирующего микроскопа подаренного на день рождение и подключенного по USB-18. Сосканирует RAW файлом все неровности питов и составит на Питон-77 скрипт который развернет это по геометрии диска в структуру файлов.
romxx
26.05.2022 13:43Нормальный «кровавый» энтерпрайз уж как всю жизнь только ленты и пользует.
Вы в плену карго-культа (рассказываю как вот тот самый кровавый энтерпрайз в прошлом).
Они используюь потому, что хотели бы отказаться десять-двадцать лет назад, но уже накопленное легаси не дает, а вовсе не потому, что так уж хотят это дерьмо тащить в новое тысячелетие.
Была бы возможность выкинуть это все - выкинули бы не задумываясь.ursaa
26.05.2022 16:37Крутые библиотеки с роботами обеспечивают прекрасную автоматизацию процесса смены картриджей. И да, это безмерно дешевле на единицу емкости записи. А вот тут энтерпрайз как раз бабло и считает. И да, я тоже в курсе, как там устроено «изнутри»
romxx
26.05.2022 16:43Все это круто выглядит и "лох цепенеет", разумеется. Но сегодня существуют разнообразные существенно более эффективно работающие и более выгодные на длинном интервале затрат решения на дисках.
Я знаю буквально единицы внедрений ленточных библиотек, в случаях когда это не ради легаси, не ради "политики" и не ради коррупционной составляющей.
И сотни - с использованием дисков.ursaa
26.05.2022 17:08У диска есть ресурс, который более ограничен, чем тупая лента. 3 года и барабан, а лента при правильном использовании переживет считывающе-записывающее на нее устройство, которое можно сменить. Я не агитирую «против» дисков, я к тому, что все должно просчитываться наперед и все имеет свою цену. Если это финданные, это критично, если личный порноархив — тоже может быть очень, но всякие инсталляшки-образы — врядли.
svpcom
26.05.2022 17:15Как расходуется ресурс у диска, который лежит в шкафу? Диск в отличииот ленты самодостаточен (стоимость usb-sata или usb-ide переходника не считаем). Новый диск можно купить в магазине около дома. А сколько понадобится времени, чтобы купить новую ленту или привод под нее? Сейчас вот ebay в РФ ничего не доставляет, а на aliexpress я что-то лент не видел
romxx
26.05.2022 17:32А сколько понадобится времени, чтобы купить новую ленту или привод под нее?
О, я вам еще веселее историю сейчас расскажу. В 2019-м году насмерть сцепились в судебном процессе вокруг лицензий Fuji и Sony, два основных производителя лент LTO, владеющих, в сумме, почти всеми патентами на технологию.
В результате - судебный запрет на производство картриджей LTO-8 и отсутствие их в продаже.
То есть вы такой нарядный и шикарный энтерпрайз покупаете себе в датацентр библиотеку LTO-8, самую распоследнюю, а ленточек для нее в продаже, хоба, и нет. И не было их почти год. Все бегали по потолку, покупали у каких-то барыг, чуть ли не на ебэе. Весь, my ass, мир!
Процессы и регуляторные требования-то к хранению архивов и резервных копий не остановишь.
Sony and Fujifilm settle LTO-8 tape media patent dispute – Blocks and Files
LTO-8 tape media patent lawsuit cripples supply as Sony and Fujifilm face off in court • The Register
ursaa
26.05.2022 17:32По диску есть личный опыт хранения «в шкафу». На него иногда сохранялся дубль бекапов. Включений у него было раз 20 за 7 лет (по смарту и по факту)
без рекламы вд-грин. В момент очередного копирования контроллер сдох так, что не определяется вообще никак теперь. Контора по восстановлению сказала «починке не подлежит», ибо старое и данные достать будет стоить как авианосец. Ленту я бы вставил в другой считывающее устройство и прочитал. Благо это не критичный диск, ибо второй.
И да, правило 3-2-1 никто не отменял. Данные живут на диске? Значит их надо на другой носитель, какой угодно, но не диск. Хоть флешка (в нашем холиваре лента), но другой.romxx
26.05.2022 17:41Не повезло. Конкретно вам и конкретному диску. Но выводить из одного случая некое правило, да и еще писать это на Хабре - смело, да-с. :)
ursaa
26.05.2022 17:433-2-1 придумал не я, потому стараюсь ему следовать. А так да, никто не застрахован вообще ни от чего. Потому я за бекапы, которые еще и восстановить можно, а не для галочки.
romxx
26.05.2022 17:26У диска есть ресурс, который более ограничен, чем тупая лента. 3 года и барабан, а лента при правильном использовании переживет считывающе-записывающее на нее устройство
Это неправда.
corvair
26.05.2022 15:34Blue-Ray LTH наверное не читались через 5 лет? С их склонностью к деградации по моему для серьезных задач, в том числе и бытовых, не годятся. Себе беру только обычные HTL, да и мой неновый привод поддерживает только их.
ursaa
26.05.2022 16:34Про технологию не скажу, но да, 5 лет и не читаются, все прошли через шредер в конце концов. 10 дисков пачка была.
speshuric
25.05.2022 17:54В игру с картриджей не поиграешь
Накрыло двумя волнами ностальгии: по загрузке игр с магнитофона (1989-1992 годы) и по загрузке игр Денди с картриджа (те же годы, но редко - всё-таки компьютер интереснее).
AlexanderS
25.05.2022 21:42Это оказывается эффективной (и единственной 100%-й) защитой от программ-вымогателей. Если информацию зашифровали или удалили — из дальнего угла достается блок LTO, на которые периодически копировали данные. И вот уже, ценой малых потерь, не приходится платить вымогателям сто биткоинов. В 2019 году, на фоне роста количества таких хакерских атак, многие компании начали использовать ленты для резервного копирования и архивирования.
Чего это сразу «единственной 100%-й» защитой? А какие проблемы собрать здоровенный NAS и включать его эпизодически? Смахнули пыль, нажали кнопку, по сети перекинули бекапы и отключили на год. Можно даже сетевой кабель выдернуть) Это в любом случае дешевле, удобнее и быстрее эквивалентной библиотеки на лентах, с учётом того что раз в 10 лет всё равно что то, что другое менять надо иначе через 30 лет можно попасть в неприятную ситуацию, когда данные на ленте есть, а рабочий привод сломался, резервный не включился из-за порчи прошивки, расположенной на flash-памяти в которой в ячейках рассосался заряд. И мы идём в контору по восстановлению, которая за восстановление с ленты допотопного времени ещё ценник умножит.
С сохранностью цифровых данных, к сожалению, есть технический парадокс. Ну или я так ситуацию вижу. Манускрипты на пергаменте вот из глубины веков доходят, а уверенности в том, что «на цифре» данные доживут хотя бы до середины этого века как-то не складывается. Поэтому если что-то реально важно нужно раз в 10 лет перетаскивать данные на новые носители.dimsoft
25.05.2022 22:07Манускрипты сохранились - это ошибка выжившего :)
Если очень надо, то генерируем QR-CODE с 30% избыточностью и из титановой пластинки делаем
dfgwer
26.05.2022 10:28Не надо титан, её сдадут на лом. Глиняные таблички, 4000 лет подтвержденного срока службы.
AlexanderS
26.05.2022 12:30Титан, боюсь может быть в опасности из-за своей ценности, которая будет только расти.
В хранилище поколений, где-то в Европе кажется, в прошлом году вроде статья на хабре было, информацию сохраняют на керамические плитки. Так там целое исследование было какой состав, как их изготавливать, технология нанесения…
screwer
25.05.2022 22:41Это в любом случае дешевле, удобнее и быстрее эквивалентной библиотеки на лентах,
Выделенное ещё надо доказать. Учитывая что бу лента для домашнего использования вполне себе отличный вариант
screwer
25.05.2022 22:45резервный не включился из-за порчи прошивки, расположенной на flash-памяти в которой в ячейках рассосался заряд.
Что мешает перепрошить ? Пусть даже отпаяв флешку феном, и залив через программатор.
AlexanderS
25.05.2022 22:55Тут нужен скилл, инструменты и прошивкой где-то заранее озаботиться. Это несколько повышает требования к, так скажем, «хранителям данных») А ведь не все представляют себе проблемы и масштабы окружения нас флеш-памятью.
Заставить бы вендоров лепить какой-нибудь универсальный интерфейс и прошивки выкладывать — это проблему кардинально бы убрало.
key08rus
26.05.2022 05:57+2Удивительно синхронно — Ленточные накопители: фантастические твари мира архивирования
romxx
26.05.2022 11:26+3Не покупают. Надо продавать. Поднимают хайп на Хабре. Нубы клюют, начинают покупать. Все как обычно.
Hlad
26.05.2022 08:43Забавляет упоминание CHIA: она в настоящее время скатилась с тысячи до 30 баксов, и продолжает бодрое скатывание к нулю.
RStarun
26.05.2022 12:07+1Тем не менее она вызвала значительное повышение цен на носители, как hdd, так и ssd. Год, полгода. А цены это такая штука которая обратно с трудом откатывается на некоторых рынках с малой конкуренцией.
Firz
26.05.2022 20:51+1Тут даже не в цене вопрос, а в не понимании упоминающими(«Но на магнитных лентах пока что майнить никто не догадался!») алгоритма работы «майнинга на жестких дисках».
У майнера в CHIA есть всего ~30 секунд чтобы сгенерировать блок и получить награду с момента появления предыдущего блока. Нужно посчитать надо ли ему сходить на диск и считать информацию(грубо говоря, первый этап лотереи майнинга, банально получается из сети случайное число от 1 до 512 и выбираются блоки(плоты) данных, которые начинаются с этого случайного числа, сделано чтобы уменьшить нагрузку на диски и обращаться за раз только к 1/512 от количества блоков данных), если есть блоки с подходящими ID, то сходить в нужное место этого блока данных, считать оттуда данные, закинуть их в алгоритм, посмотреть что получилось на выходе, если удовлетворило условиям сложности сети, сгенерировать блок и получить награду.
Причем стандартный клиент начинает ругаться когда это время уже превышает 10 секунд, потому что появляется шанс не успеть получить награду за блок. Соответственно, про ленты можно даже не думать для такого алгоритма майнинга.
vagon333
Пользовался ArVid, и давно поглядываю в сторону домашнего хранилища для бэкапов.
Вчерашняя и сегодняшняя статьи подбили на решение. :)
Для меня польза ленты, в отличии от дисков - проще хранить, дешевле добавлять.
Планирую б/у стриммер или Tape Library для дома.
Требования:
1. простота в обслуживании (чтоб члены семьи разобрались в архивах)
2. надежность носителей и железа (10+ лет для ленты, в водонепроницаемой коробочке)
3. удобство софта, чтоб можно бэкапить HDD/VM image
У кого есть опыт - что посоветуете из софта и железа?
romxx
Не советую. Ничего из желаемого вами за сравнимые с более современными решениями деньги вы не получите.
screwer
LTO5 или более новый. (Потому что LTFS). Приводы от HP показались мне более дружелюбными, чем IBM (заработали с обеими FC картами).
Подключение - по FC (оптика, Fiber Channel) или SAS. В компьютер надо будет добавить соотв. PCIe карту, благо их полно на рынке бу железа. Я голосую за FC.
Линукс видит накопители как родные.
vagon333
Тоже в сторону LTO5 смотрю - цена и объем адекватны. Картриджи тоже доступны.
Насчет интерфейса - да, FC современнее. Тем более, дома постепенно перехожу на FC и планирую расширять.
Не знаком с подходящим софтом и слабо понимаю, как софт будет работать с железом через FC <-> Ethernet.
Варианты железа:
https://www.ebay.com/itm/125293258928 (SAS)
Ленты:
https://www.ebay.com/itm/224992655576 ($17 за ленту)
https://www.ebay.com/itm/265686373002 ($15 за ленту)
screwer
FC <-> Ethernet - не связывайтесь. Или FC, или SAS.
Цены - норм.
AlexanderS
Три года назад LTO-5 выбирал. Читал. Думал. Читал. Думал. В итоге решили NAS сделать с CoW файловой системой (ZFS) и периодической проверкой данных (scrubbing), чтобы ни один бит «не протух». Всё не так сложно как звучит, если на обычный комп поставить TrueNAS и потратить недельку на расслабленное чтение статей)
vagon333
Вопрос к надежности NAS.
Одна из причин поиска ленточного накопителя - воостановление NAS: RAID6, Synology.
На прошлой неделе крашнулся крупный volume на NAS, востановление невозможно без бэкапа и содержимое невозможно перегрузить на мелкие носители.
До этого работал с 2014 без проблем, только мертвые диски менял.
Повторюсь, RAID6, 2 диска могут умереть без потери данных. И все равно создал проблему.
Сделал вывод: редко-используемые данные и бэкапы лучше сливать на ленту и в сейф.
Проще восстанавливать. :)
AlexanderS
Я рейды кроме как зеркало не воспринимаю, поэтому мне менее критично. В таких как у вас случаях всё попроще получается. Хотя это, конечно, дико избыточно выходит)
А много дисков у вас посыпалось за эти 8 лет?
RStarun
В зеркале и в R10 тоже есть вариант потерять всё ) К тому же эти конфигурации в качестве емкости для бэкапов очень редко встречаются. Разве что в домашних системах.
AlexanderS
Понятное дело, что холодные бэкапы никто не отменяет) Просто если выбирать оборудование дня него, то выбор ленты несколько холиварен. Я же ведь тоже очень хотел. Стриммер, картриджи… что-то ламповое такое. Но всё же склонился к тому, что проще будет NAS + хард на полку. По цене получается всё равно порядок такой же, а доступность сильно проще. А через 10 лет что хард, что стриммер менять всё равно надо.
Zolg
Но зачем ?
Цены на S3 Glacier (судя по всему хранящийся как раз на лентах) около полуцента за гигабайт в месяц.
Для защиты от внезапного санкционного бана берите два от разных поставщиков. При итоговой стоимости 1$ за 100Gb в месяц вы очень долго будете свой ретро-стример окупать при домашнем применении
При гораздо большем удобстве да и в общем-то и надёжности.
Anrikigai
100Gb - ни о чем, мне кажется. При таких объемах проще старый мелкий уже не сильно востребованный диск записать и заныкать в физически другой локации.
А вот восстановление терабайта из Glacier выльется в копеечку, мне кажется.
Zolg
Поделите "о чем" на 100Gb получите цену в долларах в месяц.
Ну и данных, которые (при домашнем использовании) реально стоит бэкапить offsite не так уж и много: основное по объему - личные фото и видеоархивы. Для коллекции шедевров мирового кинематографа вполне достаточно уровня избыточности, обеспечиваемого raid-0 )
Как минимум у scaleway тарифицируется, как доступ к "обычному" S3, т.е. копейки.
Anrikigai
Когда-то я смотрел Glacier, и мне показалось, что заслать терабайт на хранение - копейки, а вот вытащить терабайт обратно - весьма ощутимо. Возможно сейчас тоже не сильно дорого.
В любом случае я плачу за Office 365 Family. Туда входит 1TB для каждого из 5 (или 6, не помню) аккаунтов. Вот в 1TB аккаунт я и бэкаплю с NAS как свои видюшки (дите, свадьба, какие-то поездки и т.п.), так и видеокурсы (купленные и которые быстро не найти).
diogen4212
сколько не пытался понять их расценки, так и не понял… Отдельная цена за загрузку, отдельная за передачу, отдельная за выгрузку? Что такое «запрос на извлечение данных» — скачивание одного файла, или запросы как-то разбиваются по количеству байт? И оплатить всё равно не получится с российских карт.
vagon333
Не выгодно. Хранить нужно годами.
У меня домашняя лаба на 5 ESXi серверов, каждый с 1TB.
Вдобавок, личные проекты в дата центре на 2х серверах, по 8TB на каждом.
Как-то так.
Sergeant101
А ещё лента - это последовательный (очень очень медленный) доступ к данным.
Почему все упускают этот момент?
Firz
Учитывая что все равно ленты рассматриваются для бэкапов, не выглядит как проблема. Последовательно записали бэкап на ленту, про необходимости последовательно обратно с ленты восстановили.
vagon333
Это понятно.
Но еще лента - это наиболее компактная укладка данных на магнитном носителе на объем места.
Понятно, что плотность не как у HDD, но решение подкупает компактностью, ценой за тб и простотой хранения.