За последнее десятилетие данные стали чрезвычайно ценным активом. Это побудило правительства, защитников конфиденциальности и различные некоммерческие организации обратить более пристальное внимание на то, как крупные компании собирают, хранят и обмениваются информацией о клиентах.
Развилась целая индустрия утилизации данных — большая отрасль, в которой компании разрабатывают специальные процессы, обеспечивая надлежащую утилизацию устаревшего оборудования без утечки конфиденциальных данных третьим сторонам. Крупнейшие в мире технологические компании ежегодно уничтожают миллионы устройств хранения данных, а в сумме затраты идут на миллиарды долларов. Это огромная индустрия со своими отдельными правилами.
По данным Financial Times, и Amazon, и Microsoft (два главных оператора центров обработки данных в мире) сейчас предпочитают физически уничтожать все свои устройства, несущие данные, которые они больше не собираются использовать. Одной очистки данных с дисков для них недостаточно. Уничтожение миллионов девайсов каждый год в их случае предпочтительнее, чем наличие любого риска утечки информации. В то же время некоторые активисты и гос. организации пытаются изменить эту парадигму и призывают компании переходить просто на очистку своих использованных дисков и их последующую продажу на вторичном рынке.
Ежегодно компании в мире закупают порядка 19 млн SSD и 180 млн HDD для хранения данных. Цифры, на самом деле, гигантские. И при этом как минимум четверть от этого числа каждый год приходится уничтожать — из-за того, что устройства отслужили свое, морально устарели, или в них обнаружились опасные дефекты. Такие компании, как Google, Amazon и Microsoft, а также банки, правоохранительные органы и правительственные учреждения ежегодно уничтожают диски на десятки миллиардов долларов. Причем большая часть из этого отправляется прямо на мусорки, даже без попыток извлечь ценные материалы и компоненты.
Сейчас только в одних Соединенных Штатах ежегодно уничтожается от 20 до 70 миллионов жестких дисков. Большинство из них собирается в ЦОДах и измельчается на мелкие кусочки. Общая сентенция — лучше уничтожить пару тысяч лишних HDD, чем потерять кусочек данных и рисковать PR-скандалом.
Если хоть один корпоративный файл сохранится после очистки диска и попадет на черный рынок — восстановить доверие клиентов потом будет очень сложно. В результате каждый год миллиарды долларов в буквальном смысле перемалываются, причем по мере роста объема данных в интернете масштабы этого действа растут.
Так ли важно физически уничтожать диски?
Консалтинговая фирма Gartner прогнозирует, что в течение следующих трех лет по всему миру будет построено еще около 700 центров обработки данных. Становится всё более актуальным вопрос о том, что компаниям делать с миллионами тонн устаревшего оборудования. Сейчас большинство просто превращается в труху, а потом идет на свалку. Десятки тысяч тонн покрошенного железа каждый год уходят в землю. Те, кто видит это своими глазами, обычно в шоке от масштабов потерь.
Большинство компаний, занимающихся ЦОДами, выбрасывают диски через несколько лет, хотя, по мнению нескольких отраслевых экспертов, устройства еще могут прослужить годы или даже десятилетия. Согласно исследованиям, более 90% накопителей уничтожаются во время их планового вывода из эксплуатации, хотя большая часть из них все еще нормально функционирует. К сожалению, мало у кого есть время индивидуально проверять каждый диск. Часто инженерам просто дается общая установка, и после трех-пяти лет оборудование считается устаревшим и уходит в утиль, даже если физически с ним всё нормально.
Компании, конечно, пытаются уничтожать меньше устройств. Так, в прошлом году Google заявила, что продлит срок службы оборудования в своих облачных серверах с трех до четырех лет. Amazon Web Services в феврале продлили свой срок с четырех до пяти лет. А месяц назад Microsoft объявила о продлении срока службы своих серверов и сетевого оборудования с четырех сразу до шести лет.
Постепенно процент материалов, успешно восстанавливаемых из уничтоженных накопителей данных, тоже растет. Модели показывают, что если сегодняшние тенденции сохранятся до 2050 года, 68% материалов в новых жестких дисках будут состоять из переработанных и измельченных дисков б/у. Это порядка $20-$25 млрд дополнительной экономии на материалах ежегодно. Около $12 «бонусных» миллиардов в одних только США.
Вывод из эксплуатации оборудования ЦОД уже превратился в полноценную индустрию, этим занимаются десятки крупных фирм. Многие предлагают полноценную очистку накопителей с последующей их продажей на вторичных рынках. Они говорят, что отремонтированное и хорошо очищенное оборудование ничем не уступает по производительности новому, плюс это дешевле для компаний и куда «зеленее». Некоторые материалы, используемые для создания жестких дисков, довольно редки, и на Земле их осталось не так много (палладий, например, встречается в 30 раз реже, чем золото).
По крайней мере, у IT-гигантов есть какие-то финансовые резоны реже избавляться от накопителей и искать способы их эффективной переработки. Но не только операторы центров обработки данных используют миллионы SSD/HDD. Огромные объемы устройств находятся в разных госкомпаниях, министерствах, полицейских управлениях, налоговых службах и так далее. У них почти нет финансовых стимулов экономить на новых дисках, а вот попадания данных в чужие руки нужно избежать любой ценой. Поэтому они почти всегда выбирают полное физическое уничтожение оборудования, чтобы снизить свои риски. Изменить их подход будет гораздо сложнее. Никто не хочет оказаться в таком положении, как Morgan Stanley.
Фейл Morgan Stanley
Почему компании и разные организации продолжают тоннами перемалывать диски? Потому что мало кто хочет прослыть источником утечки данных. Никакому руководителю такой скандал не нужен. Лишние тысячи долларов трат на безвозвратную утилизацию — ладно (эти же траты и так всю жизнь были). А вот если ты пошел по другому пути, и в результате получил PR-провал на весь мир — тут можно и своего поста лишиться. Тогда зачем рисковать?
Хрестоматийный пример того, к чему всё это может привести — Morgan Stanley. Вторая по величине коммерческая транснациональная корпорация США, крупнейший банк, 70 тысяч сотрудников и сотни серверов. Недавно в рамках мирового соглашения её обязали заплатить $35 миллионов — за то, что она не смогла «должным образом защитить конфиденциальные данные клиентов». Такой штраф на банк наложила Комиссия по ценным бумагам и биржам США (SEC). При этом компания официально не признает себя виновной, но заявила, что не станет оспаривать выводы SEC.
Комиссия по ценным бумагам и биржам обнаружила, что Morgan Stanley не смогла защитить данные клиентов, плохо справившись с выводом из эксплуатации некоторых своих облачных хранилищ. В 2015 году она наняла для утилизации компанию по перемещению и хранению данных, «не имеющую опыта в услугах по их уничтожению». Этой компании банк поручил вывести из эксплуатации тысячи своих жестких дисков и серверов, которые содержали незашифрованную личную информацию о финансовых расходах миллионов клиентов Morgan Stanley.
Вместо того, чтобы должным образом избавиться от оборудования, компания якобы продала его третьей стороне за несколько миллионов. А эта третья сторона, в конце концов, выставила технику на интернет-аукцион. Откуда об утечке и узнала комиссия SEC. В сумме таким образом было «утеряно» несколько сотен отдельных жестких дисков и 42 сервера.
Конечно, продавать железо, да еще и содержащее такую уникальную информацию, — куда выгоднее, чем заниматься его утилизацией. Morgan Stanley сама отдает тебе оборудование, да ещё и платит за это! Профит-профит.
Что будет с этой контрактной фирмой — в деле не говорится. Скорее всего, её владельцев ждет срок. Но Morgan Stanley от этого не легче. Отмыться от скандала в ближайшее время будет сложно, а все конкуренты смогут пропиариться на теме «храним ваши данные бережно, не то что некоторые».
Гурбир С. Гревал, один из руководителей SEC, сказал по поводу произошедшего:
Клиенты доверяют свою личную информацию профессионалам, в данном случае в сфере финансов, понимая и ожидая, что она будет защищена. Эта компания в данном случае, к большому сожалению, не справилась с этим. Часть данных даже не была зашифрована.
Если конфиденциальная информация не будет должным образом защищена, она может попасть в чужие руки, и результатом становятся катастрофические последствия для инвесторов. Сегодняшние наши действия дают четкий сигнал финансовым учреждениям о том, что они должны серьезно отнестись к своим обязательствам по защите данных пользователей.
В общем, учитывая разгоревшийся скандал, вряд ли переход на продажу или очистку старых дисков будет ускоряться. Несмотря на потери для конкретных компаний и для экологии, несмотря на некоторое давление со стороны общества, изменения в этой сфере происходят очень медленно; все двигаются с чрезвычайной осторожностью. До сих пор считается, что проще и безопаснее дробить устройства на мелкие кусочки, а потом заказывать новые. Как максимум — это уничтожение дисков откладывают на пару лет, как в случае с Google и Microsoft.
Кстати, если интересно, у нас в FirstVDS расклад тоже пока такой. Диски проходят полную очистку, проверяются с помощью специализированного ПО и отправляются в утилизирующую компанию, или утилизируются собственными силами на мощных шредерах размером с полкомнаты.
Промокод для читателей нашего блога!
— 15% на все тарифы VDS (кроме тарифа Прогрев) — по промокоду HabrFIRSTVDS.
50 тысяч активных серверов и 10 тысяч клиентов, которые с нами больше 5 лет.
Комментарии (35)
skhida
26.10.2022 14:48+4Да никого, по большому счету, не интересует сохранность данных. Даже случай Морган Стенли это подтверждает, потому что им проще кинуть мелочь (35М) и забыть, чем бодаться с комиссией.
Физически уничтожать их просто дешевле. Скидать диски в шредер может любая обезьяна с лопатой, а чтобы почистить такое количество дисков нужно огромное количество достаточно высококвалифицированной рабочей силы, которая сама становится возможным источником утечки информации.
Mishootk
26.10.2022 14:52+1Мне как дилетанту интересен такой вопрос. Почему не применяется очевидная и простая на мой взгляд технология? Любой компьютер (рабочая станция или сервер) - это аппаратно шифруемый RAID. Условно даже компьютер секретарши на стойке при входе тоже. Вместо плановой смены оборудования получаем замену по сигнализации самодиагностики. Автоматически получаем увеличение надежности (дисковый массив начинает применяться там где раньше не применялся), увеличение срока службы (работает до отказа, что может быть в несколько раз дольше плановой замены), отсутствие проблем при утилизации по отказу (изьятый диск из массива без ключа бесполезен). Даже неподготовленный локальный воришка уже просто так не может утащить домой на ночь диск из своего компьютера, чтобы слить оттуда информацию - диск расшифровывается только при наличии аппаратного ключа и, возможно, только при доступе еще и к сетевому ресурсу (то есть упереть системник с поставленным аппаратным ключом тоже не получится).
Это все наивные вопросы узнать, не получится ли на круг выгоднее такая технология вместо всех этих ззаморочек с плановой утилизацией?
skhida
26.10.2022 15:02Потому что через 3-4 года всё равно придется менять, чтобы в тот же физический объем стойки затолкать в несколько раз больше бит.
Exchan-ge
26.10.2022 22:27Даже неподготовленный локальный воришка уже просто так не может утащить домой на ночь диск из своего компьютера, чтобы слить оттуда информацию — диск расшифровывается только при наличии аппаратного ключа
«Этой компании банк поручил вывести из эксплуатации тысячи своих жестких дисков и серверов, которые содержали незашифрованную личную информацию о финансовых расходах миллионов клиентов Morgan Stanley» (с)
Показательный подход к шифрованию…
WhiteWhiteWalker
26.10.2022 15:11А в чем скандал с Morgan Stanley? В том, что на дисках теоретически могла остаться важная информация, которую теоретически могли бы восстановить с вероятностью N%? Обычно важные данные утекают при взломе без физического доступа к железу.
Аппаратное шифрование можно было бы встроить в сам диск: хранить ключ во встроенной флешке с возможностью сгенерировать новый по специальной команде или труднодоступной кнопке на самом диске, таким образом избавляясь от необходимости перезаписывать диск перед продажей. Чтобы нажать кнопку при поданном питании не нужен специалист с ВО.
glycol
26.10.2022 15:46Были умельцы, скупающие отслужившие диски крупных компаний на ебей именно с целью добычи данных с них. Где-то была статься, что некоторые диски даже не форматировали перед продажей, не говоря уж о форматировании с многократным затиранием данных. И таким путем часть данных попала на продажу в даркнет
screwer
26.10.2022 15:56с многократным затиранием данных.
Посчитайте, сколько времени нужно чтобы многократно (пусть N=5) перезаписать один диск на 10тб.
Didimus
27.10.2022 09:05Что мешает производителю предусмотреть это в корп моделях? Диск получает сигнал, выводится из массива и самоочищается.
screwer
27.10.2022 11:40Это не ускорит процесс, и не уменьшит сожранное при перезаписи электричество.
А вот уничтожение ключа - дело мгновенное и околобесплатное.
Didimus
27.10.2022 14:00Есть риски иметь такой ключ, который легко и бесповоротно уничтожает данные. Плюс шифрование тоже снижает скорость и ест электричество. Опять же требуется выше квалификация, больше точек отказа.
screwer
27.10.2022 15:08При уничтожении восстановить из шифрованного бекапа. При уничтожении ещё и бекапа - это уже саботаж.
Аппаратное шифрование и скорость не снижает и электричество почти не ест. А главное - почти везде УЖЕ реализовано. Просто не используется, или используется другим образом (SSD шифрует все данные, но по-дефолту своим внутренним ключом).
Зато имеем весьма существенный бонус - данные украсть гораздо сложнее. Даже при наличии свободного физического доступа к ним.
Vitaly83vvp
26.10.2022 16:29-1При желании и наличии средств, можно восстановить всю информацию с дисков (ну, или почти всю). Зашифрованная она или нет, сейчас не рассматриваю. Если да, то расшифровать тоже можно.
Хорошо понимаю, что просто продать мало кто захочет. Неизвестно в чьи руки попадут эти данные. Но мне непонятен другой вопрос: почему нельзя всё "чинно" сделать? Разобрать и утилизировать по отдельности. Хотя, тут утилизировать только сами блины. Остальное можно отдать в ремонтные мастерские или на переработку, но без полного перемалывания.
Это дороже? Может, да, а может и нет. Сейчас же, техно-гиганты, дата-центы во всю кричат, что переходят на 0 выбросов в атмосферу. Это тоже дорого, между прочим. А тут и экономия и адекватная переработка.
miga
26.10.2022 18:21+3расшифровать тоже можно.
Не можно.
Vitaly83vvp
27.10.2022 08:04Зависит от того, как и чем зашифровано и того, кто и чем расшифровывает. Опять же всё зависит от желания и средств, вкладываемых в процесс. Конечно, вероятность не 100%, но она есть.
miga
27.10.2022 08:22Не говорите глупостей и не путайте читателей - полнодисковое шифрование настраивается тривиально, использует в том числе и AES-256 (и нет никаких сведений о том что даже АНБ может его взломать).
Другое дело что правильное управление секретами, особенно на большом масштабе - не совсем тривиальная задача. Да и вообще, грамотных безопасников (и также сотрудников, прилежно выполняющих их требования) себе мало какая контора может позволить, так что возможно Морган Стенли и другие просто трезво смотрят на вещи и решают что перемолоть диски в труху надежнее :)
Didimus
27.10.2022 09:32Вопрос, если штраф меньше, чем стоимость перемалывания, то выгоднее продавать на вторичном рынке. Там за каждый диск штрафа несколько долларов
13werwolf13
27.10.2022 09:58расшифровать тоже можно
имеется у моих знакомых диск с обычным банальным всем знакомым luks который сейчас везде от десктопов до серверов включается при установке системы не думая. на этом диске битковый кошель с приличной суммой. проблема одна - владелец не вернулся из больнички, и не вернётся уже никогда. и вот даже пароль от кошелька в его записях нашли, и "суперпрофи по расшифровкам и восстановлению" за большие деньги дамп диска давали, и через знакомых в фсб помочь просили.. а воз и ныне там.
это я к тому что расшифровать информацию с диска В РЕАЛЬНЫЕ СРОКИ поможет только терморектальный криптоанализ что в данном случае (как в моём примере так и по сути статьи) невозможно. Конечно в теории можно сбрутфорсить его лет этак за 100500, или просто подождать когда через 100500 лет суперквантовые компы будут счёлкать такие задачи в минуты или секунды.. да вот только не доживём мы возможно до этого.
BigBeerman
26.10.2022 16:45Я бы не купил диск, работавшей в серверах Гугл или Амазона, раз его заменили, то ему хана или почти хана. Это всё равно что видеокарты после майнинга покупать
Exchan-ge
26.10.2022 22:38Это всё равно что видеокарты после майнинга покупать
Боюсь, что карты после майнинга будут надежнее механики, выработавшей заложенный при проектировании ресурс.
JediPhilosopher
27.10.2022 08:44Нет, там все несколько иначе. Диски и прочее железо обычно работают до окончания гарантийного срока. Они могут быть еще не изношены, просто компании выгоднее избавиться от него, чтобы не париться потом с ремонтом и убытками в случае неисправностей самостоятельно.
А по небольшой цене и для не самых важных данных я бы купил. Иногда вообще чуть ли не бесплатно готовы отдавать. В одной из контор, где я работал, сотрудничали с Одноклассниками. И те нам как-то прислали целую газель (буквально) таких вот серверов-блейдов. В хорошем состоянии, мы их потом еще несколько лет без проблем использовали. Бесплатно. Просто так. Им не жалко было, все равно иначе их в переработку бы сдали. А для маленькой конторы большое подспорье.
Didimus
27.10.2022 09:36Раньше на Авито было полно списанных офисных машин. Вариант гораздо лучше и надёжнее самосбора или покупки нового нефирменного
Exchan-ge
26.10.2022 22:36выбрасывают диски через несколько лет, хотя, по мнению нескольких отраслевых экспертов, устройства еще могут прослужить годы или даже десятилетия.
Десятилетия… двадцать лет назад в ходу были диски на 20 Гб.
У меня они все еще хранятся, причем в рабочем состоянии.
Годные, но совершенно бесполезные.
А с дисками из дата-центров вообще сложно: у каждой модели есть заложенный при проектировании ресурс. Когда он выработан, изделие может продолжать работать, но уже без малейшей гарантии на то, что оно не выйдет из строя в любой момент.
Ну и проблема «выбросили на свалку» таким образом не решается — все равно 99,9% процентов накопителей в конечном итоге попадут на свалку, рано или поздно. За исключением тех, что останутся в музеях :)
Toshykan
27.10.2022 10:49Ресурс дисков из ДЦ тот еще вопрос - ,ИМХО, с ними обращаются в разы правильнее, чем обычный пользователь, у которого ПК аварийно выключается 2-3 раза в месяц. Вот такой диск - хз. А так - посмотрел смарт и принял решение...
screwer
27.10.2022 11:50Самое главное - температура. Нагрев резко снижает ресурс. Несложно понять, где дискам живётся лучше. В кондиционированным ЦОДе при +19, или в забитой пылью коробке у геймера, при +50-60
DenisPantushev
28.10.2022 11:07Вообще не понимаю, в чем проблема. Кому нужны бэушные диски с гугловских дата? Они же крутились 24на7. Это металлолом. Вопрос в том, как грамотно разобрать и разделить компоненты на железо/алюминий/пластик.Ну тысячи и тысячи тонн. Везите на НЛМК и все. Что за кретинизм железо закапывать в землю?
ПС. И да, в нашей стране каждое предприятие декларирует, сколько образуется мусора и металлолома и ОБЯЗАНО заключать договора на утилизацию металлолома.
Exchan-ge
28.10.2022 11:47Вопрос в том, как грамотно разобрать и разделить компоненты на железо/алюминий/пластик
Вопрос в стоимости такой разборки.
screwer
Зачем очищать данные, если достаточно уничтожить ключ для их расшифровки ?
nikolas78
А как подтвердить уничтожение ключа? А вот ниже уже ответили…
screwer
Да вариантов масса. Включая выдачу ключа диску во время каждой инициализации. При снятии питания ключ пропадает.
nikolas78
Есть же вероятность ошибочного уничтожения ключа.
screwer
При уничтожении восстановить из шифрованного бекапа. При уничтожении ещё и бекапа - это уже саботаж.
nikolas78
В любом случае, шифрование будет приводить или к ложно-положительным, или к ложно-отрицательным ошибкам. Тогда как физическое уничтожение ненужных HDD свободно от ошибок любого из этих классов.
Я вижу шифрование как страховку для срочных ситуаций.