В марте прошлого года в результате пожара во французском ЦОДе SBG2 пострадали 3,6 млн сайтов. Наконец вышел официальный отчет о происшествии, и в этом материале мы разберем, как бизнесу научиться доверять дата-центрам, а также поговорим о лучших практиках пожарной безопасности.
Что случилось с SBG2
В ходе расследования были установлены множественные нарушения правил пожарной безопасности, допущенные еще на стадии проектирования.
Деревянные перекрытия без должной огнезащитной пропитки и неправильная конструкция вентиляции помогли огню быстро распространиться по зданию из энергоотсека. Первое, что нужно сделать в такой ситуации — обесточить оборудование. На это ушло порядка трех часов, поскольку конструкция не предполагала централизованного отключения систем. Возможно, автоматическая система пожаротушения смогла бы победить огонь или хотя бы минимизировать урон оборудованию, но ее не оказалось вовсе. В большинстве стран Евросоюза собственник здания может взять на себя подобные риски, поэтому отсутствие автоматики не противоречит нормам.
Пожарные прибыли на место через 40 минут и столкнулись с неочевидной проблемой: компания не внесла ЦОД в список объектов повышенной важности, поэтому рядом оказался только один гидрант, не обеспечивающий нужный расход и напор воды.
Тем временем огонь перекинулся на соседний ЦОД SBG1. Объект пострадал настолько, что позже компания примет решение не восстанавливать его. Стоит заметить, что хранение резервных копий осуществлялось на этом же объекте.
После таких потрясений бизнес задается вопросом: как убедиться, что выбранный провайдер не допустит таких же ошибок?
Что делать бизнесу
Перед размещением данных в ЦОДе можно ознакомиться с описанием систем безопасности, которые используются на объекте. Узнать, прекращает ли работу поддержка, в случае эвакуации сотрудников из дата-центра. Спойлер: саппорт следует разместить в другом здании.
Полезно получить информацию о самих зданиях, в которых находятся дата-центры.
Здесь преимущество часто оказывается за компаниями, которые сами строят ЦОДы и понимают потенциал определенных конфигураций. Например, хорошей практикой является разнесение серверных друг от друга и поддержка герметичности помещений. В серверных также не должно быть каких-либо инструментов или шкафов с материалами, чтобы не увеличивать пожарную нагрузку.
Неправильная вентиляция может буквально раздуть пожар. Система не должна быть единой для всего объекта, иначе будет сложно локализовать возгорание. Вместе с системой вентиляции также должна быть установлена система дымоудаления.
Интерес вызывает сам способ пожаротушения. Спор часто ведется между технологией газового подавления горения и тонкораспыленной водой. У каждого из этих способов есть особенности.
В отдельных случаях клиентам можно записаться на личную экскурсию. В Selectel гостей проводят по серверным зонам, показывают аккумуляторную и систему пожаротушения. В соответствии с требованиями СНиПов и федеральных законов, система оповещения на объектах срабатывает автоматически. То есть дежурному не нужно звонить в службу и сообщать о проблеме. Службы сами видят сигнал и приезжают на место. Когда персонал получает подтверждение, что все сотрудники эвакуированы (расчетное время 4 мин), запускается герметизация помещений. Через минуту они заполняются газом, не поддерживающим горение.
Серверные и распределительные помещения для оптики дополнительно оборудованы системой аспирации. Она выявляет в воздухе продукты горения еще до того, как сработает пожарная автоматика.
Если бы экскурсия в ЦОД была текстом:
→ О том, как работает система мониторинга в дата-центрах, можно узнать здесь.
→ Как мы прошли через терни и создали DCIM-систему Racks для контроля оборудования на разных объектах.
Безопасная и стабильная работа ЦОДов — это не только надежное оборудование, но и высокая экспертиза сотрудников и подрядчиков.
Человеческий фактор
Самая продуманная и защищенная система бессильна перед человеческим фактором.
Каждый сотрудник ИТО, перед тем как выйти на первую смену в дата-центр, проходит обучение от 4 до 9 месяцев в зависимости от квалификации специалиста.
Поскольку ЦОДы обслуживаются круглосуточно, необходимо всегда иметь «скамейку запасных». В этом смысле у опытных инженеров на объектах существует практика не есть одинаковую еду.
Даже если мониторинг показывает, что все хорошо, каждые 3 часа на объектах осуществляется полный обход. Обход проходит по определенному маршруту, чтобы отследить тренды оборудования. По любым изменениям показателей формируется прогноз, регламентирующий порядок мер реагирования.
Опыт OVH поучителен во многих смыслах. Стоит больше интересоваться тем, как хранятся данные. Запрашивать документы и изучать открытую информацию о ЦОДах. Для провайдеров — это красная тряпка и сигнал о том, что наравне с пожарной автоматикой стоит инвестировать в развитие команд обслуживания.
Комментарии (21)
13werwolf13
11.04.2022 13:00+3в плане пожаротушения подводные ДЦ мелкософта выглядят конечно выигрышно))
а вообще много вопросов к OVH. деревянные перекрытия, ну камон
а хранение бекапов "в одной корзине" с тем что бекапится? любой провинциальный админ с завода за ЗП в 10к скажет вам что так делать не надо.. куда смотрели 100500 сотрудников OVH? да и собственно всё остальное тут "прекрасно".
dimka11
12.04.2022 12:33Каким образом тушить подводный дц? Залить солёной водой?
burst
13.04.2022 05:38+1Если подводный ЦОД заполнить не воздухом, а например недорогим CO2, то и тушить ничего не надо...
vikarti
14.04.2022 06:09Вопрос скорее в том, где находятся обслуживающие его инженеры.
Все же оборудование для обитаемых подводных станций не такое дешевое и есть требования к персоналу.
Если инженеры не на объекте — то зачем вообще на этом объекте кислород?
OOOTehnologiiBezopasnosti
11.04.2022 13:24+2Кстати, удивлен весьма, ибо сам работаю в конторе, строящей и обслуживающей системы безопасности одного из иностранных табачных предприятий, работающих в РФ. Приходится возиться в том числе и с системами водяного\газового пожаротушения и оповещения, хотя моя основная специализация больше админить охранку, наблюдение и контроль доступа, а также сети, которые это все объединяют, но нередко помогаю коллегам из нашей же конторы по пожарке, в том числе и по воде.
Так вот. Во-первых, удивлен, что такой бардак с проектом и системами. Видимо, сам род объекта не повышенной пожароопасности, нет, к примеру, горюче- и взрывоопасной пыли. И скорее всего на страховке сэкономили - любая международная страховая провела бы аудит систем пожаротушения, оповещения мер по пожарной безопасности и вообще, как спроектировано и построено здание, и предложила бы по результатам проверки такую стоимость страховки, что хозяева сразу бы отказались. А скорее всего так и было.
Во-вторых, насчет спора по поводу систем тушения - странно, ибо вроде как давно ясно, что в закрытых серверных, где не предполагается постоянное нахождение людей, ставят газ. Тушение помещений с электроустановками водой - занятие сложное, требующее обесточивание оборудования во время пожарной тревоги. С газом проще, баллон опустошается за считанные секунды, тяжелый газ быстро вытесняет воздух наверх в систему вентиляции. А во время нахождения людей автоматика обычно отключается. Но баллоны страшные, давление там большое, может и убить)
В-третьих, удивлен бардаку такому в целом. На нашем заводе как раз за пожарной безопасностью следит страховая, проводя аудиты, посему завод вообще не экономит на средствах пожарной безопасности. После страховой следят менеджеры по безопасности - некоторые дерут в хвост и в гриву даже вообще по всяким мелочам типа чуть-чуть криво наклеенной наклейки, ибо если что - выдерут их.
Ну и плюс "В большинстве стран Евросоюза собственник здания может взять на себя подобные риски" - тут тоже удивлен, ибо хоть и не знаю тамошних особенностей, но думал, что риски же есть не только имущественные, но и в виде "гибели больших человеческих жертв")). То есть не пойму, в ЕС что ли допускаются ситуации вроде нашей "Зимней вишни" и прочих всяких "Хромых лошадей"? Или это от типа объекта зависит?
anthtml
11.04.2022 13:40Думаю, как и у нас от типа объекта все пляски и исходят, написали же "компания не внесла ЦОД в список объектов повышенной важности", отсюда естественно и уровень/условия контроля со стороны регуляторов. А у проверяющих тоже какой указ "не душите бизнес", тем более что ЦОД не настолько проходной двор как вишни/лошади и не химзавод от которого, в прямом смысле, может поплохеть всему городу.
OOOTehnologiiBezopasnosti
11.04.2022 15:30ну да, наверное так. Обидно, конечно, ибо на отрасль тоже не очень положительно повлияло.
little-brother
11.04.2022 16:41>>Во-вторых, насчет спора по поводу систем тушения - странно, ибо вроде как давно ясно, что в закрытых серверных, где не предполагается постоянное нахождение людей, ставят газ. Тушение помещений с электроустановками водой - занятие сложное, требующее обесточивание оборудования во время пожарной тревоги.
---
Кому-что ясно? По нашим нормам: в серверных менее 24 кв. м можно ничего не ставить, кроме сигнализации.
Проклятые буржуи вместо газа временами используют тонко-распыленную воду. Conteg любил возить в ЦОД Касабланка - их партнер - так там ТРВ и было. Видимо умеют проклятые буржуи деньги считать.
При ложной сработке газового пожаротушения - сразу потеря кучи денег, а при качестве монтажных работ по пожаротушению и самого электротехнического оборудования - имхо, нормальная эксплуатация переводит установки в ручной режим.
BorisStratula
11.04.2022 19:08+2Я совсем не в теме цодов и пожаротушения. Объясните, пожалйста, почему ложное срабатывание газового пожаротушения ведёт к потере куче денег и насколько эта куча денег отличается от той, что будет при ложном срабатывании водяной системы? После газовой недостаточно проветрить помещение и заправить баллоны? После водяной разве не море возни со всей этой разлитой водой?
little-brother
12.04.2022 11:36ТРВ (отличается от водяного) - не для мелких помещений, скорее для ЦОД. Перезаправка - 3 копейки, но стоимость самой системы кусается. С газом перезаправка достаточно дорогое удовольствие.
burst
13.04.2022 05:10А как себя будет чувствовать оборудование от облака воды? Газ намного безопасней для оборудования. Газ явно дешевле чем защищаемое оборудование.
И если в ЦОДе присутствует дежурный персонал, то в случае ложной тревоги он сможет остановить запуск пожаротушения.
OOOTehnologiiBezopasnosti
11.04.2022 22:24Ну тут не скажу. У нас на обоих заводах с автоматикой газа ни разу проблем не было - всё на Болиде. Но на заводах постоянный штат сотрудников. На большом заводе 6 человек: 3 на пожарные системы\оповещение и 3 на охранку\скуд\наблюдение. На малом заводе хватает двух человек на пожарку с оповещением и одного меня на остальное. Пожарка постоянно проверяется, гоняется, раз в неделю дизель и основной с резервным электронасосы, взвешиваются пару раз в год огнетушители и перекатываются рукава, тестируются спринклерные системы под давлением, и так далее. Видимо, при эксплуатации с контролем разная дичь исключена максимально. Но далеко не все предприятия себе такое удовольствие могут позволить.
little-brother
12.04.2022 11:39+1Можно только порадоваться за прилежную организацию контроля пожаротушения (буржуйский завод?). Обычно приходишь в серверную - а там никто и не знает, работает ли установка или нет. Вся панель в алертах, аккумуляторы неизвестной даты установки и т.п.
NikaLapka
12.04.2022 13:53У нас на обоих заводах с автоматикой газа ни разу проблем не было - всё на Болиде
Вот и ответ. Болид это довольно бюджетное и спорное оборудование. Посмотрите на качество и стоимость готовых решений на Болиде и например на Esser. Видимо аналогично и в OVH, существует не одна технология обработки деревянных перекрытий, но видимо был выбран оптимальный по цене контракт - самый дешёвый.
qbertych
11.04.2022 14:39+7Астрологи объявили неделю OVH. Количество корпоративных постов о пожаре увеличилось вдвое.
Совет выбирать хорошие ЦОДы, а плохие не выбирать — в подарок.
vladvul
11.04.2022 15:13ДЦ постоянно горят, обесточиваются и лишаются связности по разным причинам.
Нужно арендовать сервера в трех разных ДЦ, при этом сами сервера, учитывая ненадежность ДЦ , могут быть тоже ненадежными и дешевыми (например без RAID)
little-brother
11.04.2022 16:44+1Какие сервера?! Вы о чем, сейчас это непотребно дорого. Все должно быть собрано из бушных комплектующих с авито и смонтировано в коробках из-под этих же самых комплектующих.
Tyusha
Really?! Эко-био-датацентр?
selenzorn Автор
Пожароустойчивость материала, который использовался для напольного покрытия, составляла всего 1 час. Поэтому к моменту приезда пожарных, ситуация была уже очень трудной
burst
Обычно нормы по пожарной безопасности рассчитываются с целью защиты людей, а не оборудования. А одного часа более чем достаточно всем покинуть помещение. Другое дело, почему не было пожаротушения?!