По статистике Uptime Institute, с 1994 по 2020 годы в зданиях ЦОД зарегистрировано всего 11 пожаров. Все они были успешно локализованы и не повлекли за собой значимых последствий.

Если говорить о причинах, то 80% из них возникли вне помещений с IT-оборудованием (производственных, складских, административно-бытовых, офисных) и были связаны с человеческим фактором.

Малое количество пожаров и их незначительные последствия вовсе не говорит о том, что пожарной безопасностью в зданиях ЦОД можно пренебречь. Наоборот, учитывая, что центры обработки данных отличаются высокой концентрацией инженерных систем и дорогого оборудования, противовопожарная система является их неотъемлемой и важной частью. Только представьте объем убытков, если работа дата-центра прервется на 5-7 часов или данные пользователей будут безвозвратно потеряны, как это произошло после пожара в одном из дата-центров компании OVH.

За предотвращение, сверхраннее обнаружение или ликвидацию пожаров на начальной стадии отвечает раздел проектной документации 9 “Мероприятия по обеспечению пожарной безопасности” (МОПБ). В этой статье я расскажу, чем отличается МОПБ для ЦОД и какие мероприятия необходимо предусмотреть для обеспечения пожарной безопасности многоэтажных и модульных дата-центров.

Для начала немного теории. Несмотря на то, что МОПБ входит в состав проектной документации стадии П, активная работа разработчика этого раздела, начинается уже при создании эскизного проекта, когда определяются основные параметры и характеристики здания, перечень необходимых систем и место расположения на участке.

Раздел МОПБ тесно связан со смежными разделами и содержит перечень решений в области пожарной безопасности, в числе которых:

  • требования к планировке земельного участка, включая расположение зданий, сооружений и инженерных сетей на территории объекта, противопожарные расстояния, проезды для пожарной техники;

  • обоснование объемно-планировочных и конструктивных решений объекта, расположения и функционирования инженерного оборудования и коммуникаций в нём;

  • перечень систем противопожарной защиты, их характеристики и параметры взаимодействия с другими системами объекта;

  • другие мероприятия, направленные на предотвращение пожара и обеспечение требуемого уровня безопасности людей.

МОПБ для ЦОД

Кроме высокой концентрации и стоимости оборудования, к характерным особенностям дата-центров также относятся режим функционирования, бесперебойность работы, высокая потребляемая мощность и температурный режим. При этом количество находящегося в здании персонала иногда может составлять не более 10 человек, а в некоторых ЦОД присутствия людей и вовсе не требуется. Эту специфику обязательно нужно учитывать при разработке раздела проектной документации МОПБ для дата-центров.

Комплекс средств по обеспечению пожарной безопасности здания ЦОД должен быть выстроен так, чтобы гармонично вписываться в общую систему, взаимодействуя с необходимым количеством её компонентов. Если все сделано верно, то при пожаре он не только работает по принципу «не навреди!», но и приносит реальную пользу, минимизируя время простоя оборудования.

Одной из важнейших задач является выявление нештатной работы и перегрева элементов IT-оборудования в машинном зале ЦОД до того, как это приведет пожару и срабатыванию систем пожаротушения со всеми вытекающими последствиями, включая отключение энергоснабжения, вентиляции и IT‑стоек.

Для этих целей в составе системы пожарной сигнализации предусмотрены аспирационные извещатели, направленные на сверхраннее обнаружение пожара. При нагревании одного метра кабеля свыше 250°С выделяются частицы, которые вызывают срабатывание аспирационного извещателя. Они не видны человеческому глазу и не уловимы для обычных точечных извещателей. Персонал ЦОД оперативно получает информацию о перегреве оборудования, отключает и ремонтирует вышедший из строя элемент.

При проектировании такой системы, не забываем, что

  • система обнаружения дыма должна быть адаптирована к конкретной концепции охлаждения в машинных залах ЦОД, будь то «холодные» и «горячие» коридоры, охлаждение через фальшпол или герметичных шкафов

  • трубы с воздухозаборными отверстиями располагаться с учетом геометрии защищаемого пространства, выбранной концепции охлаждения и параметров воздушных потоков

Существенно повысить скорость реагирования помогают сетевые карты на SNMP-протоколе (простой протокол сетевого управления), которые позволяют осуществлять мониторинг, запись и визуализацию всех показателей работы аспирационной системы, таких как уровень задымлённости, воздушные потоки и т.д.

Разделение помещений ЦОД

Для разработки системы противопожарной защиты дата-центра важно понимание алгоритма обеспечения отказоустойчивости при различных сценариях пожара.

Вертикальный разрез коммерческого ЦОД, 20 МВт. Деление здания на пожарные отсеки, а также места размещения отдельных элементов оборудования (вентиляционное оборудование на кровле) и инженерных систем (например АУПТ).
Вертикальный разрез коммерческого ЦОД, 20 МВт. Деление здания на пожарные отсеки, а также места размещения отдельных элементов оборудования (вентиляционное оборудование на кровле) и инженерных систем (например АУПТ).

Комплекс проектных решений должен обеспечивать надёжное и безотказное функционирование ЦОД в режиме 24х7. Большинство современных дата-центров стремятся к уровню надёжности не ниже Tier III по классификации Uptime Institute, предполагающей, что при единичной аварии или отказе элемента ЦОД работа не должна останавливаться. Поэтому в здании, помимо машинных залов и серверных, как правило, размещаются ИБП, ДГУ, трансформаторные, помещения для сборки оборудования, административно-бытовые и далее по списку.

При разработке МОПБ для ЦОД нужно обязательно иметь это в виду, так как для ограничения распространения пожара элементы должны быть изолированы друг от друга.

Размещение объектов модульного дата-центра  (15 МВт) на земельном учатске. В центре изображения – три модуля ЦОД.
Размещение объектов модульного дата-центра  (15 МВт) на земельном учатске. В центре изображения – три модуля ЦОД.
Оборудование, размещаемое в модуле дата-центра  на 15 МВт. Зональное деление здания под различные группы инженерного оборудования и систем, в частности, серверные стойки, вентиляционное и климатическое оборудование, элементы энергоснабжения.
Оборудование, размещаемое в модуле дата-центра  на 15 МВт. Зональное деление здания под различные группы инженерного оборудования и систем, в частности, серверные стойки, вентиляционное и климатическое оборудование, элементы энергоснабжения.

Естественно, оптимальный вариант – когда вспомогательные помещения находятся в отдельных зданиях или сооружениях. Но в случае, если сделать это невозможно, помещения должны быть оптимально распределены по площади здания и выделены противопожарными преградами с заполнением, а при необходимости включены в отдельные пожарные отсеки, секции, части здания.

При реализации такого подхода стоит помнить о принципе «достаточности мероприятий», так как при чрезмерном усердии стоимость строительства самого здания может вырасти в разы.

Нормы в области пожарной безопасности в нашей стране предусматривают разделение помещений с разным функциональным назначением противопожарными преградами с пределом огнестойкости не менее 45 минут. Для дата-центров, претендующих на сертификацию не ниже уровня Tier III по классификации Uptime Institute, этот показатель должен составлять 60 и более минут.  

Отдельно стоит позаботиться об обеспечении непрерывного функционирования ЦОД. Для этого установки бесперебойного питания лучше рассредоточить таким образом, чтобы возгорание и тушение одной из них не влияло на работу другой и все энергоснабжение дата-центра. Отследить выполнение данного условия можно в том числе с помощью CFD-моделирования пожара или расчета пожарного риска.

CFD‑моделирование пожара в здании ЦОД (15 МВт) с расположением очага пожара в помещении ДГУ.
CFD‑моделирование пожара в здании ЦОД (15 МВт) с расположением очага пожара в помещении ДГУ.

Системы противопожарной защиты для ЦОД

Здание ЦОД, как и любое другое, может быть оборудовано полным спектром систем противопожарной защиты:

  • система пожарной сигнализации;

  • система сверхраннего обнаружения возгорания;

  • автоматические установки пожаротушения;

  • система оповещения и управления эвакуацией людей при пожаре;

  • система противодымной защиты;

  • внутренний противопожарный водопровод;

  • аварийное эвакуационное освещение.

Система газового пожаротушения коммерческого ЦОД на 20 МВт (модель Revit)
Система газового пожаротушения коммерческого ЦОД на 20 МВт (модель Revit)

Наиболее частый вариант, когда при проектировании противопожарной защиты в дата-центрах используются системы газового пожаротушения. Однако для тушения машинных залов могут применяться также системы тонкораспыленного водяного пожаротушения или понижающие уровень кислорода. Вместе с этим стоит помнить, что газовое пожаротушение все же более предпочтительно по цене и эффективности, так как оказывает меньше вредного воздействия на IT-оборудование. К примеру, газ Хладон 227еа не проводит электричество и не вызывает коррозии металлов, а ФК-5-1-12 не вредит окружающей среде и является безопасным для человека.

МОПБ для многоэтажного дата-центра

Теперь на примерах разберем, как те или иные параметры ЦОД будут влиять на МОПБ. Остановимся на двух недавних проектах, подготовленных отделом проектирования инженерных систем STEP LOGIC для крупных IT-компаний.

В первом случае при проектировании ЦОД на 20 МВт мы были ограничены площадью земельного участка, на котором располагалось относительно высокое (35,5 м) и многоэтажное (7 этажей) здание общей площадью почти 24 тыс.м².

Потребляемая мощность ЦОД предполагала наличие в машинных залах 4 тыс. IT-шкафов, а значит и большого количества ДГУ, которые должны быть размещены вне здания.

Так как общий объем запаса топлива, необходимого для работы, составил 250 м³, а площадь для размещения комплекса дизель-генераторных установок и распределительных подстанций – всего 1,5 тыс.м², мы расположили оборудование в два яруса.

Коммерческий ЦОД, 20 МВт с прилегающей территорией.
Коммерческий ЦОД, 20 МВт с прилегающей территорией.

Такая планировка потребовала разработки специальных технических условий в области пожарной безопасности (СТУ), которые задали параметры устройства проездов и ряд индивидуальных требований к объёмно-планировочным решениям и системам противопожарной защиты.

В первую очередь, были исключены сценарии с проливом большого объема топлива на территории дата-центра, распространением пожара на всю площадь комплекса ДГУ и за его пределы, а также негативное воздействие на инженерную инфраструктуру ЦОД.

Были разработаны индивидуальные решения в части фундамента и каркаса комплекса, способов и объемов размещения топлива в нём, параметров наполнения резервуаров, аварийного слива топлива, критериев размещения площадки для АЦ, минимального количества проездов для пожарной техники к комплексу ДГУ и зданию ЦОД с учетом высоты. Так, объем резервуаров топлива в каждом ДГУ был ограничен до 3 м³.

Предусмотрены системы газоанализа, автоматизированного контроля по одновременному наполнению только одного резервуара и уровня наполняемости, мероприятия по аварийному сливу, устройства для предотвращения распространения пламени через топливные трубопроводы. А конструкции колодцев инженерных сооружений были спроектированы так, чтобы исключить попадание в них дизельного топлива при проливе.

Были разработаны мероприятия, исключающие систему водяного спринклерного пожаротушения в помещениях общего назначения в технической зоне ЦОД (холлы, коридоры), что снизило риски порчи имущества.

В качестве нестандартных решений в рамках СТУ также были предусмотрены лестничные клетки без естественного освещения, параметры размещения многосветного пространства и «open space» в административно‑бытовой части ЦОД.

Наша команда провела численное моделирование различных сценариев пожара. С помощью вычислительной гидродинамической модели (CFD) мы рассчитали тепломассоперенос при горении и пожарный риск, подтвердив эффективность проектных решений в части обеспечения пожарной безопасности и эвакуации людей при пожаре. Кроме этого, мы определили оптимальное расположение помещений с различными технологическими процессами для исключения негативного влияния на оборудование.

В рамках расчета пожарного риска моделируются наиболее неблагоприятные сценарии пожара и фиксируются параметры его распространения, а также эвакуация людей, благодаря чему можно, во-первых, отследить как распространяется пожар в том или ином случае, а во-вторых – дать числовую оценку риска гибели человека при пожаре.

CFD‑моделирование пожара в здании ЦОД (15 МВт) с полями температур.
CFD‑моделирование пожара в здании ЦОД (15 МВт) с полями температур.

МОПБ для модульного дата-центра

При проектировании модульного ЦОД на 15 МВт мы, наоборот, имели в распоряжении территорию почти 5 га, на которой предполагалось построить три одноэтажных модуля по 5 МВт каждый, был запроектирован склад и уже располагалось административно-бытовое здание, которое позже адаптировали под нужды дата-центра.

Заказчик принял решение разместить трансформаторные и ДГУ в здании ЦОД, поэтому при разработке МОПБ было предусмотрено их отделение противопожарными преградами и оснащение системами противопожарной защиты и системой сбора протечек топлива из ДГУ в авариный резервуар. При этом, запас топлива располагался в расходных резервуарах на территории ЦОД вне здания.

Размещение объектов модульного дата-центра  (15 МВт) на земельном участке. В центре изображения – три модуля ЦОД.
Размещение объектов модульного дата-центра  (15 МВт) на земельном участке. В центре изображения – три модуля ЦОД.

Исходя из этих требований, мы пришли к выводу, что в здании ЦОД должны быть предусмотрены системы пожаротушения двух типов: порошковая – для защиты технического пространства и помещений трансформаторных, газовая – для защиты остальных площадей дата-центра.

Вертикальный разрез модуля ЦОД на 15 МВт - зональное деление здания под различные группы инженерного оборудования и систем.
Вертикальный разрез модуля ЦОД на 15 МВт - зональное деление здания под различные группы инженерного оборудования и систем.

Для снабжения топливом ДГУ на территории были размещены расходные резервуары общим объемом до 100 м³ и площадка для АЦ, а также топливные трубопроводы.

Учитывая отсутствие источников воды, для нужд наружного пожаротушения на территории были расположены подземные резервуары, насосная станция и сеть наружного противопожарного водопровода с 7 гидрантами.

Площадь участка позволила разместить все здания, сооружения и коммуникации без отступлений от норм пожарной безопасности и обеспечить соблюдение требований по противопожарным расстояниям, проездам и водоснабжению.

Складское помещение (с высотным стеллажным хранением), выделенное в пожарный отсек.
Складское помещение (с высотным стеллажным хранением), выделенное в пожарный отсек.

Здание склада площадью около 1,5 тыс. м² разделено на три пожарных отсека: склады с высотным стеллажным хранением и без него, а также административно-бытовую часть.

Так как назначение этого здания – хранение серверного оборудования, заказчик потребовал запроектировать его без автоматических установок пожаротушения, обеспечив при этом безопасность людей при пожаре.

Несмотря на то, что это решение сопряжено с риском для имущества, задача была выполнена: мы запроектировали здание без автоматических систем пожаротушения. Но при этом внесли в проект систему пожарной сигнализации с аспирационными пожарными извещателями для сверхраннего обнаружения. Таким образом удалось выполнить требования в части обеспечения пожарной безопасности объекта и регламентов, и заказчика.

Расчет пожарного риска. CFD-моделирование пожара в складском помещении (с высотным стеллажным хранением), выделенном в пожарный отсек. 64-я секунда пожара.
Расчет пожарного риска. CFD-моделирование пожара в складском помещении (с высотным стеллажным хранением), выделенном в пожарный отсек. 64-я секунда пожара.

Особенности МОПБ для дата-центров

Примеры, приведенные выше, доказывают, что проектирование ЦОД и необходимой для него инфраструктуры на большой площади даёт больше комбинаций для размещения объектов. Можно расположить рабочие места в отдельном административно-бытовом здании, а склад и другие вспомогательные помещения, элементы топливного хозяйства – вне ЦОД, оградив дата-центр от возможных пожароопасных ситуаций.

На большей территории участка мы можем разместить элементы инфраструктуры ЦОД строго по нормам пожарной безопасности, уменьшить этажность зданий и разделить их функции. Как следствие – в здании ЦОД не нужно предусматривать постоянные рабочие места и административно-бытовую часть, системы противодымной защиты, лифты с режимом перевозки пожарных подразделений, незадымляемые лестничные клетки.

Если же говорить об особенностях разработки раздела МОПБ для дата-центра в целом, то при создании системы пожарной безопасности необходимо учесть множество факторов. Ключевыми здесь являются объемно-планировочные решения здания, так как вектор для других параметров обеспечения пожарной безопасности в большей степени задают именно они. Кроме того, важны параметры размещения и взаимодействия инженерного оборудования и систем друг с другом и средствами противопожарной защиты.

Каждый дата-центр индивидуален, но качественно выстроенная система пожарной безопасности всегда обеспечивает достижение одних и тех же целей: безопасность персонала, предупреждение пожара, минимизация ущерба при его возникновении, и, безусловно, непрерывность функционирования ЦОД.

Комментарии (3)


  1. MountainGoat
    00.00.0000 00:00
    +2

    Все они были успешно локализованы и не повлекли за собой значимых последствий.

    То есть когда зал весь сгорел и сервера сдохли вместе с бекапами - это не значимые последствия? Потому что так было как минимум дважды за указанный период.


    1. AADogov
      00.00.0000 00:00

      Хранить бекапы вместе с серверами, это мягко говоря не по правилам обеспечения надежности.


    1. npb-01
      00.00.0000 00:00

      Если Вы храните информацию в одном месте, значит она Вам не нужна. (с)