Фото — Don DeBold — CC BY
Высокая ёмкость
Это — одно из главных преимуществ магнитных лент. Когда в середине девяностых на прилавках магазинов появились коммерческие винчестеры объёмом в 1 ГБ, ленточные картриджи модели DDS-3 уже вмещали в двенадцать раз больше информации.
В наше время сложилась аналогичная ситуация. Современные картриджи содержат почти километр ленты шириной в 12,6 миллиметра. На неё можно записать до 30 ТБ сжатых данных. При этом объём жёстких дисков для enterprise-сегмента лишь недавно приблизилсяк отметке в 16 ТБ.
Низкая стоимость хранения данных
Стоимость хранения данных на магнитной ленте значительно ниже, чем у любых других накопителей. Один гигабайт на жёстком диске обходится примерно в $0,025. Для ленты этот показатель составляет $0,008. Известен случай с одной крупной генетической лабораторией, когда переход на магнитную ленту сократил расходы на хранение данных с $800 тысяч всего до $7 тысяч.
При этом крупные ИТ-компании сегодня продолжают разрабатывать технологии, расширяющие возможности магнитных лент. Например, в 2017 году инженеры из IBM представили метод записи, который позволит сохранить 330 ТБ несжатых данных в картридже LTOразмером с ладонь.
Долговечность
Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD. При правильном хранении картриджи могут прослужить около 30 лет. Это больше, чем любые другие популярные сегодня накопители — HDD или SSD. Согласно статистике одного из крупных облачных провайдеров средний срок службы жёстких дисков редко превышает четыре года. Что касается твердотельных накопителей, по некоторым данным, они проживут порядка десяти лет, но только если устройствами регулярно пользоваться.
ИТ-компании по-прежнему разрабатывают технологии, задача которых — продлить срок жизни магнитной ленты. Два года назад IBM совместно с Sony представили плёнку, покрытую дополнительным смазочным слоем. Он защищает поверхность ленты от повреждения при её движении на скорости десять метров в секунду во время чтения.
Технологический прогресс
Одной из главных причин «ренессанса» магнитной ленты является тот факт, что многие недостатки, которыми она обладала в свои ранние годы, сегодня удалось исправить. Ранее накопитель подразумевал лишь последовательный доступ к данным, поэтому на поиск и чтение информации уходило 50–60 секунд. Для сравнения, у жёсткого диска этот показатель равен 5–10 миллисекундам.
Современные технологии нивелировали влияние этого недостатка. Новые картриджи поддерживают файловую систему LTFS Она индексирует содержимое ленты, что ускоряет чтение данных и создаёт иллюзию произвольного доступа к ним.
Более того, ленточные хранилища, устанавливаемые в дата-центрах, автоматизированы. Масштабные роботизированные библиотеки могут занимать целый машинный зал. Особые манипуляторы выполняют автоматический поиск необходимых картриджей и оперативно загружают их в считывающие устройства.
Фото — USDA — PD
Кто использует магнитную ленту
Компании, которым необходимо обрабатывать (и архивировать) большое количество данных. В первую очередь — ИТ-гиганты и облачные провайдеры. Ленты хранят бэкапы и другие редко используемые данные. К примеру, в 2011 году баг в системе привёл к удалению писем пользователей Gmail. Тогда компания Google восстановила данные именно с магнитных лент.
Магнитными лентами пользуются и исследовательские организации, например CERN. Каждую секунду Большой адронный коллайдер генерирует один гигабайт данных. Суммарный объём информации, собранной институтом по сей день, превышает 330 петабайт.
Для их хранения организация использует систему CASTOR на магнитной ленте, разработанную инженерами CERN. Её регулярно обновляют и переводят на более совершенные типы картриджей, чтобы увеличить ёмкость, надёжность и скорость работы. Вышедшие из эксплуатации накопители организация отдаёт инвесторам в качестве сувениров.
Также среди пользователей магнитной ленты можно выделить ИТ-компании, которые работают в области Big Data и разрабатывают системы искусственного интеллекта. Накопитель используют для хранения данных, генерируемых IoT-устройствами. К примеру, всего один беспилотный автомобиль может собирать до 30 ТБ данных в день.
Каждый год количество данных, которые генерирует человечество, экспоненциально растёт. Распространение IoT-устройств, систем искусственного интеллекта это только усугубляет. Количество компаний, использующих решения на основе магнитной ленты, будет расти вместе с этими рынками. Есть технологии вроде ДНК-хранилищ, которые в перспективе заменят магнитную ленту на посту «холодного хранилища», но об их практической реализации в крупных масштабах пока говорить не приходится.
Другие практические материалы про ИТ-инфраструктуру:
Комментарии (36)
AlexanderS
24.04.2019 21:47Ёмкость, километры ленты, надёжность долговечность. Это всё так. Только вот на «высоких» LTO, поколения этак восьмого или девятого, если привод ломается, то потом вычитать этот картридж может стать неожиданной проблемой — другие приводы просто не читают данные с него. Об этом нюансе почему мало кто упоминает, а ведь это потом может обернуться нетривиальной задачей.
zaq1xsw2cde3vfr4
24.04.2019 23:00+1Мне однажды довелось попользоваться стримером. Оборудование было ОЧЕНЬ дорогим, но на его покупке настояло начальство из головной конторы. Я понятное дело был не против, все-таки опыт работы с новым оборудованием, плюс в то время у стримеров был такой себе ареол крутости.
Буквально через пару месяцев я понял, что это всего лишь несправедливо разрекламированное оборудование. Выяснилось, что новая кассета может не прочитаться не то что после каких то проблем с оборудованием или лентой, а просто так. Причём пишешь с верификацией и следом она уже читается со сбоями. Согласитесь, что сомнительное средство для хранения информации.
Возможно мне досталось устройство с заводским браком, но больше я подобными устройствами не пользовался.
AMDmi3
25.04.2019 00:04+1На неё можно записать до 30 ТБ сжатых данных
А при чём тут вообще сжатие?
Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD.
Во-первых, какого рода ошибки? Во-вторых, относительно какой величины считается частота? Реже на TB прочитанных данных? На час непрерывного чтения? На год лежания на полке?
При правильном хранении картриджи могут прослужить около 30 лет. Это больше, чем любые другие популярные сегодня накопители — HDD или SSD. Согласно статистике одного из крупных облачных провайдеров средний срок службы жёстких дисков редко превышает четыре года.
Как странно вы сравниваете ленту "при правильном хранении" и "одного из крупных облачных провайдеров", у которого диски нагружены 24/7.
Один гигабайт на жёстком диске обходится примерно в $0,025. Для ленты этот показатель составляет $0,008. Известен случай с одной крупной генетической лабораторией, когда переход на магнитную ленту сократил расходы на хранение данных с $800 тысяч всего до $7 тысяч.
Это как-то слабо вяжется, тут 3 раза, там больше 100. Давайте лучше так: какого объёма должна быть библиотека, чтобы использовать ленту стало выгоднее. С учётом стоимости оборудования, разумеется.
berez
25.04.2019 09:03А при чём тут вообще сжатие?
Почти во всех ленточных накопителях есть поддержка встроенного сжатия. Считается, что оно способно сжать «обычные» данные в среднем в два раза, что дает производителю право указывать вдвое большие объемы хранимых данных на ленте. :)AlexanderS
25.04.2019 10:27Ну, тут они лукавят, т.к. обычный текст будет сжиматься очень хорошо, а архивы — почти не будут. Так что сколько там терабайт — зависит исключительно от того что на ленту записываться будет.
mediaman
25.04.2019 10:39Стандарт LTO поддерживает запись как сжатых данных, так и неупакованных. При необходимости система автоматически может включить компрессию. Например, тот же LTO-6 может сохранить 2,5 ТБ несжатых и 6,25 ТБ сжатых данных.
Про частоту ошибок на магнитной ленте пишут авторы из IEEE, и не доверять их экспертизе как-то сложно.
Что касается сроков службы, то Fujifilm говорят о 30 лет под нагрузкой – они проводили контрольные испытания.
Инженеры из суперкомпьютерного центра в Сан Диего посчитали ежегодную стоимость хранения одного ТБ данных на диске или ленте (таблица на стр. 2). Да, разница в три раза, но все же это средняя температура по больнице. Разумеется, будут кейсы, как с генлабораторией, когда цифры будут в несколько раз больше – скорее всего им удалось значительно сократить какие-то из расходов.
Am0ralist
25.04.2019 12:19Давайте лучше так: какого объёма должна быть библиотека, чтобы использовать ленту стало выгоднее. С учётом стоимости оборудования, разумеется.
Эм… На любом. При определенных требованиях к сохранности данных, количеству бекапов и т.п.
Именно поэтому есть и просто стримеры, и библиотеки с разным количеством лент в магазине.
Например, у вас задача ежедневно брать кассету с бекапом и везти её на удаленный склад, забирая оттуда каждые пару недель старые кассеты обратно для того чтоб их повторно использовать. С жесткими это труднее сделать)
dbalabanov
25.04.2019 07:28с лентами, как на заглавной картинке, последний раз работал 30 лет назад. По-моему это был ИЗОТ.
MikeVC
25.04.2019 07:52Обычному пользователю для совсем «лежачих» архивов доступны BD диски и приводы.
Ну а для файло помойки — халявные винты с ремаплеными бэдами.berez
25.04.2019 09:37Записанные дивидюки начинают сбоить уже через пару лет хранения на полочке. Не все, но какой-то отличный от нуля процент. Там запись ведется на слой органики, которая постепенно окисляется. Думаю, BD не сильно лучше в этом плане.
MikeVC
25.04.2019 09:43Мой опыт показывает, что все хорошо.
Такое может быть при неправильном хранении или изначально очень плохих дисках.
Думаю с лентой аналогичная ситуация. При неправильном хранении она долго не пролежит.
Вот только стоимость оборудования в разы больше и данных больше пропадет.
AlexanderS
25.04.2019 10:33Можно использовать носители с неорганическим слоем. Их стойкость и надёжно, по идее, выше. Для M-DISC вообще 1000 лет заявляют.
andrey_aksamentov
25.04.2019 09:36Интересно, в России уже ктото использует пленку, для bigdata или хранение данных сотовых операторов?
Shapeshifter
25.04.2019 10:05Согласно статистике одного из крупных облачных провайдеров средний срок службы жёстких дисков редко превышает четыре года.
Нет. Там написано, что за 4 года суммарно выходят со строя около 20% дисков. При интенсивной работе 24/7/365.
HiMem-74
26.04.2019 11:39Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD.
Имелось в виду гуманитарный порядок, т.е. «в 4-5 раз» или таки технический, 10^4-10^5?
В обоих случаях неодходимо пояснить, почему именно такая величина.
berez
Ну все, убедили! Бегу покупать стример LTO и ящик картриджей.
Всего каких-то 100 тысяч и он мой...
Эээээх, а еще они все подключаются по SCSI или SAS. Т. е. простому потребителю придется не только потратиться, но и заморочиться с подключением. Ну и куда архивы сливать?
Zalechi
Исходя из названия статьи и её содержимого не понимаю вашу претензию.
berez
Где вы видите претензию?
Меня печалит, что ленточных накопителей для обычных пользователей нет от слова «вообще». А ведь это неплохая, в общем-то, рыночная ниша.
JerleShannara
Кхм, для обычных потребителей нет от слова «вообще» только LTO. Есть DAT/DDS, у него даже есть USB варианты, но вот вам точно не понравится его объём
berez
Судя по википедии, стандарт DAT/DDS уже все — не развивается.
Да-а-а уж… Посмотрел, приценился… Нашел картридж DAT-72 за 10898 рублей — ну так себе вложение капитала. :) Надеюсь, там все-таки пачка картриджей, а не один.
И главное, ни одного стримера с подключением по USB. Все на SCSI. А если уж морочиться со SCSI-контроллером, то проще LTO купить, благо стоит он ненамного дороже.
JerleShannara
Ээээ…
Все SCSI/SAS www.allbackup.ru/catalog/lentochnye-nakopiteli/4mm-dat-dds/dat-320/3624-dat.html
10000р за DAT-72 www.allbackup.ru/catalog/nakopiteli/4mm-dat-dds/dds7-dat320/dgdat320n.html
berez
Да, действительно, не углядел — есть и USB. Возможно, потому, что по Питеру искал. Один вопрос снимается (заморочки с подключением). Остается вопрос цены: 71280 руб. за саму игрушку плюс 6660 за один (!) картридж на 160 гигов — это очень, очень дорого для потребительского сегмента.
AlexanderS
Лента сейчас применяется в энетрпрайзе или где реально нужны дикие объёмы, в учреждениях типа CERN. Для домашнего архива лучше купите обычные SATA диски. На деньги LTO не самого последнего поколения (самые последние уж совсем нехило стоят) проще взять четырёх или шеститерабатные (6Tb у WD ещё не гелиевые) накопители, организовать на них «горячий» архив, а ещё пару накопителей отвести под «холодные» бэкапы. Если вы педант — один «холодный» бэкап храните физически в другом месте — у родственников, на работе, в банковской ячейке и т.д. — раз в год обновить копию труда не составит. Для обычного пользователя всё это полюбому будет удобнее заморочек с лентой! Не исключаю, что ещё и надёжнее всё может быть получится)
khim
А в чём проблема с гелиевыми накопителями? Сам я большого опыта не имею, но вроде все производители «бьют себя пяткой в грудь» и заверяют всех в том, что даже если гелий «вытечет», то прочитать диск будет возможно — но станет невозможной запись…
AlexanderS
По гелию толком нет никакой статистики. Да и цены соответствуют объемам. Стоит подождать. SSD когда появились некоторые тоже радовались в плане увеличения надежности, т.к. отсутствует механика, не нужен гермобокс и все такое. А потом выяснилось, что под «длинные» бэкапы их надо использовать думая — в отсутствии питания данные могут теряться. Да и цена у них до сих пор велика.
Вот раньше, лет 15 назад, все было проще. Купил пару дисков. Если на одном контроллер сломался, то взял отвертку торекс и просто контроллер переставил с другого. С современными дисками так уже давно не прокатывает. А тут еще и гелий какой-то выдумали!)
Dioxin
Всего каких-то 100 тысяч и он мой...
Возмите Арвид, он подешевле :)
Эээээх, а еще они все подключаются по SCSI или SAS
САС-контроллер на али недорогой видел.
SCSI можно на вторичке поискать если домой надо.
berez
А к нему — антикварный IBM PC с шиной ISA, чтобы было куда вставлять плату? Добрый вы человек. :)
Это и называется «заморочиться с подключением».
Dioxin
НЕ вижу большой заморочки ни с шиной ISA, ни с САС/СКАЗИ.
berez
Ну под скази, допустим, контроллер можно купить. Видел на вторичке рублей за 600 — правда, не факт, что заработает. Дело за малым — найти под него свободный слот PCI. При том, что во всех компах, что у меня есть, имеется только PCIe, который со старым PCI несовместим. :)
А как вы легко и без заморочек отыщете в современных компьютерах шину ISA? Или вы имели в виду, что надо сходить на барахолку, купить старый компьютер на intel 80386, поставить на него какой-нибудь windows 95, как-нибудь подключить его к локальной сети (да еще и чтоб его десятка увидела), и настанет счастье? Воистину, не вижу на сем славном пути заморочек, да…
Dioxin
Обязательно это в свой рабочий комп пихать?
Для бэкапа можно и отдельный собрать.
Контроллер для арвида возможно и PCI был, хотя без разницы, объем у него так себе по нынешним меркам.
Про ISA — они были даже на пентиум-2,3, вин 2000/ХР спокойно встанет.
berez
Идея с отдельным компом для ленточных бэкапов — это прям апофеоз «не заморачиваться», да. :)
Тогда уж проще серверную стойку купить и воткнуть в нее нормальное серверное оборудование, а не городить огород с древностями. По крайней мере, не придется некромантией занимтаься.
Am0ralist
У нас в серверной стоит AS/400. Хотите поговорить про некромантию? )))
DmitryAnatolich
bash.im/quote/346463
UA3MQJ
Так же периодически, раз в пару лет задаюсь тем же вопросом: не стало ли доступно дома бекапиться на LTO? И каждый раз прихожу к одинаковому выводу: выгоднее купить HDD.
JerleShannara
Я к этому вопросу подошел со стороны «А в бюджете 40тр я смогу LTO4 или LTO5 в варианте б/у с рук». В итоге библиотека на 8 кассет c LTO5 стримером(б/у), двадцать кассет(новые) и контроллер(самый гемор был) влезли в эту сумму и работают нормально.
Am0ralist
Жалко, что LTO никак не завести через USB 3.0
В противном случае как раз один раз заморочиться с стримером и потом брать невскрытые ленты с рук — таки вполне могло дешевле получиться, чем наворачивать жесткие.
Так-то нас из микросервера 8-го и два 6 тб диска — уже, знаете ли, лично мне обошлись до 30к с учетом всяких скидок и баллов (а без оных должно было тысяч в 45). Плюс проц и оперативку бу с рук взятые… И это при том, что всё равно надо бекапить ещё куда-то во вне. А так, ленты периодически родственникам отвозить в другую квартиру не особо опасаясь, что кто-нибудь стукнет или уронит…