Здание дата-центра SBG2 вспыхнуло 10 марта 2021 года, но пострадал и соседний ЦОД SBG1, который потом решили не восстанавливать. Изначально компания не раскрыла причину пожара, заявив, что ей нужно дождаться официальных отчётов. И вот, дождались.
В конце марта пожарная служба департамента Нижний Рейн опубликовала официальный отчёт (скачать PDF), согласно которому причиной столь тяжёлых для компании последствий стали грубейшие нарушения противопожарных требований. Грубо говоря, сгоревший объект не соответствовал многим требованиям к безопасности подобного типа помещений. Из-за этого пострадали почти 3,6 млн сайтов, в том числе сайты банков, интернет-магазинов, правительств.
По данным местных экспертов, которые приводит DataCenter Dynamics, в энергоотсеке на первом этаже, где произошло возгорание, были стены из шлакоблоков, но деревянные перекрытия с интумесцентным покрытием со степенью огнестойкости всего 1 час. В системе же вентиляции использовались неизолированные технические воздуховоды, «благодаря» которым огонь распространялся гораздо быстрее, чем должен был. Ещё одной проблемой для пожарных стало наличие в горящем здании электрических дуг протяжённостью более метра, вспыхивавших на пути в энергоотсек.
Больше фото
Первоначальная причина возгорания дата-центра SBG2 так и не была установлена. По версии пожарных, загорелись два инвертора, один из которых накануне ремонтировался.
«Вспышки были впечатляющими, а шум — оглушительным», — утверждается в отчёте, составленном пожарной службой. Возгорание в SBG2 заметили в 00:40, местная коммунальная служба Electricité de Strasbourg прибыла на место происшествия в 1:20, но сотрудники «столкнулись с трудностями при отключении электричества» и не могли обесточить объект вплоть до 03:28, так как не было способа отключить от энергосети сразу весь ЦОД. Забавно, что до этого времени в инверторы подавалось электричество и некоторые клиенты почти три часа после начала возгорания пользовались серверами, даже не подозревая о нависшей угрозе.
Как только огонь вырвался из энергоотсека, он быстро разросся. В отчёте говорится, это произошло из-за неудачной конструкции системы вентиляции, обеспечивающей приток свежего воздуха для охлаждения серверов. Фактически система фрикулинга стала своего рода дымоходом, усилившим тягу.
Отсутствие независимого питания у соседних дата-центров, хранение резервных копий на одном и том же объекте, деревянные полы в пятиэтажном здании, и, прежде всего, отсутствие автоматической системы пожаротушения считают основными нарушениями правил безопасности. Косвенной причиной проблем стало ещё и то, что руководство OVH не зарегистрировало дата-центр как объект повышенной важности, а в этом районе Страсбурга оказался всего один пожарный гидрант.
Официального заявления от руководства OVH о причинах случившегося до сих пор нет. Даже после публикации отчёта пожарных в компании ссылаются на юридические моменты и «вовлеченность в вопрос французских властей и страховщиков».
Какой из этого следует вывод? Аккуратнее выбирайте подрядчиков и не ленитесь уточнять, как обстоят дела с пожаротушением в дата-центре облачного провайдера.
Что ещё интересного есть в блоге Cloud4Y
→ Вирусу Микеланджело — 30 лет
→ Сделайте Linux похожим на Windows 95
→ Как не позволить техническому долгу одолеть вас
→ WD-40: средство, которое может почти всё
→ Игры для MS-DOS с открытым исходным кодом
Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем только по делу.
Комментарии (38)
Paul_Arakelyan
04.04.2022 18:29+7"Как вы решите вопрос надёжности хранения данных?" - "Мы купим надёжный жёсткий диск!" (диалог на защите курсового). Статья о случае из той же категории.
По-моему все помешались на волшебном слове "облачный", хотя по факту это просто куча виртуалок запущенных на куче железа, с ограниченной возможностью их перетащить на лету с одного сервера на другой. А результат - надежда на "очень надёжно", "само починится" и прочие весёлости.
Нужно просто изначально закладываться в то, что "ДЦ с вашими серверами перестанет существовать" - не важно, почему именно. Какая разница - пожар, наводнение, толпа фанатиков на апрещённую букву, НЛО или просто злобный сисадмин, напшикавший вам в сервер едкой токопроводящей химии и разрядивший внутрь него статику. Важно лишь одно - если у вас нет реально географически распределённой архитектуры, устойчивой к выпадению её частей - вам КРЫШКА. И вопросы сводятся к "а нужно ли? есть ли смысл вообще и по деньгам?"
Пожар - это лишь одна из многих бед, которые приключались с ДЦ. Есть ведь и финансовые проблемы, и катаклизмы, и "социальные потрясения". Если ваш бизнес - не продажа пирожков посреди пустыни возле этого самого ДЦ, где находится ваш сайт - есть смысл задуматься о том, чтоб иметь такой же в другом ДЦ, далеко и с другим владельцем.
selivanov_pavel
05.04.2022 22:53все помешались на волшебном слове "облачный"
"Облачный" означает возможность быстро выделить дополнительные ресурсы, быстро перекинуть диски между машинами в одной зоне, просто накрутить правила фаервола, ну и заодно кучу доступных по одному клику всяких балансировщиков/DNS/<whatever_service_name>.
Надёжность к облачности штука абсолютно перпендикулярная.
TheLynx
06.04.2022 09:39Думаю речь о обывательском понимании облачности, т.е. всё моё где-то там в большом ДЦ, с охраной и резервированием, а не у меня в промзоне среди сотни складов со скачками напряжения от 170В до 280В, ADSL-инетом и периодическими рейдами на мигрантов.
isden
04.04.2022 18:44+5электрических дуг протяжённостью более метра
У них там 2-3 мегавольта было подведено? О_О
Vsevo10d
04.04.2022 20:26+2У них как-то в принципе электричество осталось подведено и не вырубалось. Вот собственно и причина того, что все дотла выгорело - ни один начальник штаба тушения никого к очагу и близко не подпустит без отмашки энергетиков, что все обесточено.
amarao
04.04.2022 20:34+5для дуги в метр нужно:
напряжение в мегавольты в сухом воздухе
совсем чуть-чуть вольт в плазме. Огонь - плазма.
isden
04.04.2022 21:06Я бы не сказал что "совсем чуть чуть". Плазма бывает разная.
Обычный огонь ну может раза в 2-3 увеличивает длину дуги (пробовал на газовой горелке когда-то давно).
Но все равно, "электрических дуг протяжённостью более метра" — ну как-то не очень верится.amarao
04.04.2022 21:08Ближайшая лампа дневного света - полтора метра.
isden
04.04.2022 21:09Начнем с того, что там совсем не воздух внутри.
amarao
04.04.2022 22:04+2...а пары ртути, в которых очень хорошо летать разряду через плазму.
Мой поинт, что в хорошем пламени и молнии хорошие.
isden
04.04.2022 22:15+2Ну в лампе же не пламя. Там пары ртути при очень низком давлении инертного газа.
Про пламя я не спорю, но в разряды длиной метр с лишним на обычном пожаре мне не очень верится.
Или там пламя было тысячи градусов сплошной стеной, или у них подвод на сотни киловольт О_о
ddboy
04.04.2022 21:54+4Огонь - сильно лучше проводит ток чем воздух, поэтому при наличии активного возгорания не обязательно иметь мегавольты для больших дуговых разрядов. https://www.youtube.com/watch?v=a7_8Gc_Llr8
SIMPLicity
04.04.2022 18:48+9Получается, что если "датацентр объявлен экологичным",- надо держаться от него подальше.
Деревянные потолки - это экологически круто! [сарказм]
Stas911
05.04.2022 03:44+2У серьезных облачных провайдеров можно запросить результаты аудита их датацентров независимым аудитом. А тут какой-то "черкизон", похоже, из говна и палок был, неудивительно вообще. Буду показывать эту статью всем, кто еще будет ныть про "ой, да я лучше возьму в аренду виртуалку за три копейки" - за что заплатил, то и получишь.
Stas911
05.04.2022 18:59Для интереса посмотел, что там у Амазона. Они недавно начали строить новый регион в Канаде в Калгари. Регион - это обычно 3 AZ, а стало быть три датацентра, разнесенных географически. В статье приведена общая стоимость 4.3 миллиарда долларов. То есть там суммы порядка миллиарда долларов за один DC (очень грубо). Сравните это с конюшней на фото выше.
JerleShannara
05.04.2022 21:41У меня есть некоторые подозрения, что у Амазона один ДЦ будет несколько крупнее, чем все эти SGB у OVH
madcatdev
05.04.2022 11:41> деревянные перекрытия с интумесцентным покрытием со степенью огнестойкости всего 1 час
Деревянные перекрытия в дата-центре? Как-то это в голове не укладывается, зачем так делать?
JerleShannara
05.04.2022 15:151)Дешего
2)Быстро
3)ВыгодноБыло выгодно, а может и будет…
Можете посмотреть в предыдущих темах про этот пожар фотографии со строительства близнеца сгоревшего ДЦ.
rzerda
05.04.2022 13:23+1Тот неловкий момент, когда облака должны были предоставить пользователям абстракцию над бренным железом, а один облачный провайдер рекомендует этим самым пользователям узнавать детали системы пожаротушения в дата-центре другого провайдера, и в комментариях кокетливо деформируется на тему «ну если Вы серьёзный мужчина, то мы Вам свою покажем, так уж и быть [потому что кругом враги]».
Ребята, вам самим вот не стрёмно это писать? Ну я понимаю, что маркетинг, как не позлорадствовать, вот это всё, но дисциплина у вас там должна какая-то быть?
erley
05.04.2022 13:31Моё мнение об этом хостинге сильно поменялось за этот год.
Отчёт показывает насколько всё запущено было в плане качества ДЦ как инженерного сооружения.
У них были очень толковые специалисты несколько лет назад, которые поднимали компанию в первые годы. Но сейчас мои знакомые инсайдеры сообщают что "власть сменилась" и компания часто пытается выдать желаемое за действительное, экономят на всём, а главная цель - максимум выплат акционерам после IPO.
Добавляет интригу их политика вокруг проекта Gaia-X (aka суверенный cloud-провайдер Европы).
Как хостинг - дешёвый, вроде работает. Но как говорится не держите все яйца в одной корзине.
alekssamos
05.04.2022 18:37Да,говорили, что это дешёвый хостинг, я тоже много раз про него слышал подобное. Ну так вот и результат, действительно. Если строительство будет сложным, тогда денег будет вкладываться больше, тогда хостинг будет дороже. А в принципе всё логично
Tiriet
Предположим, что я захотел прикупить себе стоечку в датацентре облачного провайдера HVO где-нибудь в районе Верхнего Рейна. Я прочитал вывод Вашей статьи и теперь меня мучает вопрос- как я могу узнать состояние дел с пожаротушением на этом объекте?
Cloud4Y Автор
Если вы точно прочитали статью, то наверняка увидели, что состояние дел с пожаротушением там весьма печальное ¯\_(ツ)_/¯
alexxz
А давайте попробуем. Как можно ознакомиться с упомянутыми документами для Cloud4Y?
Cloud4Y Автор
Рекомендую обратиться с запросом к менеджерам (8 (499) 877-12-34). Клиентам мы предоставляем нужную документацию.
arozhankov
А если я не клиент, а планирую им стать? При условии "что компания может предоставить на тему пожарной безопасности своего ЦОДа декларацию по пожбезопасности, информацию об используемых системах пожаротушения, как оборудованы технологические помещения серверных (машзалов) и т.д."
Такую информацию может получить НЕ действующий клиент?
Cloud4Y Автор
Если не действующий, но потенциальный клиент с серьёзными намерениями — мы напрямую заинтересованы в том, чтобы у него была вся информация. Созвонимся, обсудим детали, дадим нужные сведения. Разве это плохо?
Megakazbek
Если напрямую заинтересованы, то почему считаете, что данная информация не должна быть публично доступной всем желающим безо всяких запросов?
Tiriet
Я частник. Из России. Хочу стойку у HVO из Верхнего Рейна. Как в верхнем рейне называется декларация пожарной безопасности? Вот OVH не внесли свою шарагу в какой-то список важных зданий и как-то жили с одним гидрантом на квартал. Мог ли клиент OVH до отчета пожарных получить такую информацию? Нет. На любой запрос они прислали бы очень убедительные отчеты аудитов, классные проекты и кучу гарантий. Реальное положение дел без качественного инсайда узнать невозможно. А качественного инсайда ни у кого нет. Поэтому я и написал Вам свой саркастический комментарий. Я работал в провайдере, предоставлявшем стойки и сервисы, и примерно представляю разницу между сказкой и былью, и трудности получения ревльной картинки. Для примера- проектная серверная с бумагами и сертификатами, обвешанная упсами и охлаждением летом падала от перегрева- солнце светило на крышу, перегревало ее в период с 16 до 19 в ясный день и охлаждайка не вывозила поток тепла от крыши. Но знали об этом только пять человек. И летом дежурили- окрывали в жаркую погоду окошко в серверной и ставили в него карлсона, с открытой двкрью корридора это давало вытяжку, которая справлялась с крышей. :-). Но никто и никак снаружи об этом не мог узнать- по документам все было типтоп. Запасы мощности, резервы и все такое.
rzerda
А иногда подлое солнце светит прямо через окошко и нагревает чёрные морды серверов непосредственно. Но больше всего меня обрадовал вентилятор верхом на дохлой ленточной библиотеке HP, дующий в электрощит, чтобы тот не отключался по перегреву. Воистину у российских ЦОДов есть только два союзника - форточка и вентилятор.
13werwolf13
саня это ты?)))
Tiriet
Не, я не Саня. Я Сане замок кодовый на кружке ломал.
arozhankov
Почему вы спрашиваете плохо или хорошо? Я не просил давать оценку.
zhabr
полученную документацию отдать в экспертизу?
Paul_Arakelyan
Без сверки того, что в доках, с реальностью - смысл экспертизы будет в "грамотно/не грамотно написано". А ещё это всё должно быть регулярным... Не пахнет ещё "спиртом для протирки оптических осей" ? Бизнес люто ненавидит все эти инспекции, цель которых, зачастую, вставить палки в колёса и выписать штраф, а не помочь что-то исправить. Да и исправлять дефекты, заложенные со старта (5 этажей, деревянные перекрытия?) - нередко между "безумно дорого" и "невозможно". Все понимают, что бизнес живёт с разницы между доходами и затратами. А значит, затраты будут минимизировать - и где грань, когда уже недопустимо экономить, каждый бизнес решает сам.
Реальность такова, что всегда нужно иметь "план Б", максимально не связанный с "планом А". А бумаги... Они нужны для прикрытия лица, которым на крыльцо садятся, от ответственности. Но в случае провала - бизнесу от этого не легче. Просто ты или всё время тратишься на "план Б", когда конкуренты тратятся на "яхты, виллы, и...", или твой "план Б" - это быстро подняться с какими-то издержками или же просто закрыться.