Фирма Backblaze регулярно публикует статистику по отказам своих жёстких дисков, и даже выложила в свободный доступ полный архов со статистикой S.M.A.R.T параметров всех своих накопителей.

В этой статье я покажу как с помощью при помощи лома и какой-то матери с помощью научных методов рассчитывать надёжность накопителей.

Анализ выживаемости

В статистике, анализом выживаемости или надёжности занимается раздел под названием “survival analysis”.

В кратце, это набор методов позволяющих сравнивать и рассчитывать как различные факторы влияют на продолжительность жизни (в медицине), времени наработки на отказ (в механике) и т.д. В общем случае, это анализ времени до наступления некоторого события. Т.е ответить на вопрос, типа: “какова будет доля выживших среди пациентов спустя некоторое время после применённых техник лечения?” или “какой процент накопителей выйдет из строя в следующем году?”.

При этом, ответы на такие вопросы надо искать когда время наблюдения за состоянием больных (или накопителей) ограничено и не возможно определить время жизни всех пациентов.

Термины

• “Событие” — смерть пациента, первая поломка и т.д, время до которого мы можем или хотим измерить
• “Время” — собственно время от начала наблюдения до наступления события, либо до того момента когда мы не способны продолжать наблюдение (пациент уехал, накопитель отключили, и т.д)
• “Цензурирование” — прекращение наблюдения за пациентом до наступления “События”. Не имеет отношения к системе государственного надзора за содержанием и распространением информации.
• “Функция выживания”, обычно обозначается как S(t) — вероятность что пациент доживёт до времени t, обычно предполагается что S(0)=100% и с течением времени функция не увеличивается.
• “Функция риска” (“Hazard function” ) — h(t) — вероятность того что пациент умрёт в момент времени t, за единицу времени. Т.е первая производная функции выживания со знаком минус.

Данные

Компания backblaze выложила в открытый доступ базу данных со всеми параметрами S.M.A.R.T всех своих жёстких дисков, в формате .csv разбитую на файлы по дням. Если все эти файлы импортировать в базу данных ( они предлагают свои собственные скрипты для импорта в sqlite3) то получится таблица с 90126570 записями, занимает она примерно 19Гб и описывает 122619 накопителей. Я сделал небольшой скрипт, который вытаскивает в одну таблицу следующие данные о каждом накопителе: производитель, модель, серийный номер, ёмкость, дата начала службы, время работы либо до окончания наблюдения ( параметр S.M.A.R.T 9), либо до события и признак события. CSV файл с этой информацией можно загрузить тут:

График 0: Распределение накопителей по обьёму и дате вводе в строй.

Статистика

Для обработки буду использовать R с пакетами tidyverse, survival, survminer, zoo
Для начала, пример как принято представлять функцию выживания :

График 1: Функция выживания для накопителя ST31500341AS.

Смотрим на график 1: Это пример графика выживания по методологии Каплана — Мейера, по вертикальной оси отложены проценты выживших устройств, по горизонтальной — количество дней. Крестики показывают отцензурированные устройства (т.е они дожили как минимум до момента X, а дальше следы теряются). Пунктирные линии показывают 95% доверительные интервалы. Методология Каплана — Мейера (K-M) появилась ещё в 58 году и с тех пор активно используется для описания функции выживания, надо заметить что это непараметрический метод, и использует кусочно-линейную функцию для аппроксимации функции выживания (т.е с небольшим количеством данных хорошо видны ступеньки). В пакете survival это делается следующим образом:

survfit(Surv(age_days, status) ~ 1, ...)

Где в качестве аргумента сначала идёт формула где слева специальная функция Surv показывает что мы имеем дело с данными и событиях, а потом источник данных: age_days — время, status — код для события (1 — события произошло, 0 — данные отцензурированы). Результат можно красиво нарисовать с помощью survminer.

Метод K-M позволяет сравнивать функции выживания между собой, чтобы определить есть-ли между ними статистически-значимая разница, для примера взял данные о двух моделях накопителей: ST31500341AS и ST31500541AS:

survfit(Surv(age_days, status) ~ model, ...)

График 2: Функции выживания для накопителей ST31500341AS и ST31500541AS

Для сравнения распределений используем функцию survdiff:

survdiff(Surv(age_days, status) ~ model, ...)

                      N Observed Expected (O-E)^2/E (O-E)^2/V
model=ST31500341AS  787      216      125      66.4      84.3
model=ST31500541AS 2188      397      488      17.0      84.3

 Chisq= 84.3  on 1 degrees of freedom, p= 0 

Для нас самое главное — последняя строчка, со значением p, оно показывает вероятность того что распределения не значительно отличаются, в данном случае даже на глаз видно что быть такого не может.

Стоит заметить, что таким способом можно только сказать — есть разница или её нет, т.е не возможно сказать что страта A умирает на XX% быстрее страты Б.

Ещё один интересный график, посмотрим как живучесть самого популярного в backblaze накопителя (ST4000DM000 ) изменялась со временем установки:

survdiff(Surv(age_days, status) ~ start_quarter, ...)

График 3: Функции выживания для накопителей ST4000DM000, в зависимости от даты начала работы.

Видно что разница есть (p<0.0001) но интересно узнать, насколько она большая.

Модель пропорциональных рисков Кокса

И тут нам на помощь приходит модель пропорциональных рисков Кокса, она позволяет оценивать относительные риски между разными стратами, но исходит из предположения что все они отличаются друг-от-друга строго пропорционально.

Для расчета используется функция coxph:

model_coxph<-coxph(Surv(age_days, status) ~ make + capacity + year, ...)

График 4: Относительные коэффициенты риска (т.е скорость умирания) для ST4000DM000 в зависимости от квартала установки. Звёздочки показывают кварталы, когда скорость умирания существенно отличается от базовой ( в первом квартале 2013г).

Теперь сравним 4 самых популярных моделей больших накопителей: 8Тб: ST8000NM0055,ST8000DM002 10Тб ST10000NM0086 и 12Тб ST12000NM0007

График 5: Функции выживания для больших накопителей.

Метод K-M показывает, что разницы между ними нет, несмотря на странный скачок для модели ST12000NM0007

График 6: Модель кокса для больших накопителей, статистической разницы нет.

Если мы захотим сравнить десять самых популярных накопителей получается следующая картина:

График 7: Функции выживания для топ 10 накопителей

График 8: Модель кокса для 10 самых популярных накопителей

Самые надёжные: HDS5C3030ALA630, HMS5C4040ALE640, HDS5C4040ALE630, HDS722020ALA330, HMS5C4040BLE640, можно сделать попарное сравнение ( функция pairwise_survdiff, если интересно есть-ли между ними разница.

Параметрические модели

Если нам интересно не просто сравнивать разные модели накопителей, а ответить на более конкретный вопрос типа: через какой промежуток времени скорее всего выйдет из строя один из двадцати дисков в моём файл сервере, то на помощь приходят параметрические модели.

Простейший случай — модель с постоянным риском, она предпологает что на всём протяжении жизни накопителя шанс умереть в данный промежуток времени — примерно одинаковый. Например, эта модель описывает процесс распада радиоизотопов. В литературе она называется экспоненциальной моделью, потому-что функции выживания описывается формулой

$$

Когда вы рассчитываете % выхода из строя накопителей за год, то вы неявным способом используете эту модель.

На практике, известно что механические системы лучше описываются функцией Вейбулла, с формулой

$$

если p<1, то вероятность отказов со временем уменьшается, p=1 — имеем экспоненциальную модель и p>1 — вероятность отказов со временем увеличивается.

В пакете survival для построения этой модели используется функция survreg:
Например, попробуем построить модель Вейбулла по 10 популярным накопителям:

fit_model_weibull<-survreg(Surv(age_days, status) ~ model, data=hdd_common)

Сравним с экспоненциальной моделью

fit_model_exp<-survreg(Surv(age_days, status) ~ model, data=hdd_common,dist='exponential')

И посмотрим как предсказанная функция распределения совпадает с непараметрической K-M, на примере ST4000DM000.

График 9: Сравнение двух параметрических моделей с непараметрической на примере ST4000DM000

Видно, что модель Вейбулла лучше описывает процесс выхода накопителей из строя.
Можно сравнить модели статистически, с помощью информационного критерия Акаике:

    AIC(fit_model_weibull,fit_model_exp)
                 df      AIC
fit_model_weibull 11 112208.8
fit_model_exp     10 112951.3

Модель с меньшим значением AIC — лучше описывает наблюдаемые данные.

И посмотрим ожидаемое время выхода из строя 10% накопителей:

График 10: Оценка срока выхода из строя 10 самых популярных накопителей

На оценки видно, что модель Вейбула даёт более раннюю оценку выхода накопителей из строя. Кстати, если просто рассчитывать %% выхода накопителей из строя каждый год, то получается приближение экспоненциальной модели, которая в данном случаё даёт завышенный результат.

Заключение

Вот так, с помощью свободно выложенных данных по поломкам накопителей можно заниматься предсказанием будущих трат на замену дисков.

В массиве данных от backblaze есть ещё куча интересной информации, например можно посмотреть как температурный режим (параметр SMART 194 ) во время работы накопителя повлиял на срок его службы, или как количество циклов записи (параметр 241)

Скрипты и .csv файл для расчетов доступен на github.

Если есть интерес, можно куда-нибудь загрузить sqlite базу данных со всей базой данных backblaze ( 2.7ГБ после упаковки XZ)

Использованная литература

• Wikipedia: Survival analysis
• survminer: Survival Analysis and Visualization
• Michael J. Crawley. The R Book, 2nd edition ISBN: 978-0-470-97392-9