Привет!

Я работаю в строительстве ЦОД вот уже 13 лет. Одна из главных моих задач — обеспечить ЦОД необходимыми средствами защиты от разных напастей. Ситуации случаются разные, о самых распространенных я уже недавно писал.

Продуманная система физической безопасности ЦОД — это целое искусство. Примерно, как каратэ киокушинкай или айкидо. Чтобы получить черный пояс в строительстве дата-центров, нужно читать Хабр на обеде много практиковаться.

В этом посте я рассказываю о системах, которые должны быть в каждом защищенном дата-центре, и объясняю, почему некоторые из них ставят только 10 % заказчиков.

Штатная защита ЦОД

«Сила рождает уверенность

Не свернуть ветру бамбуковую рощу

Блистает дата-центр в красках заката»

Хокку 20:14, трактат «Искусство ЦОДообороны»

Дата-центры нашпигованы оборудованием, которое постоянно работает и выделяет тепло. Чтобы сервисы не останавливались, необходимо, чтобы в ЦОД были установлены защитные системы на все случаи жизни. Я говорю о системах физической безопасности и не упоминаю системы информационной безопасности, так как это — отдельная большая тема для разговора.

Существует ряд основных систем, которые отвечают за физическую безопасность и поддержание работы дата-центра. Но не все они используются при строительстве ЦОД: по нашей статистике, только семь из них устанавливаются всегда, еще одна — в 90 случаях из 100. А две из них мы ставили за свои 150 проектов только однажды.

Таблица. Частота установки различных систем, которые отвечают за безопасность и поддержание работы ЦОД. Данные «Инфосистемы Джет».

Почему какие-то системы применяют всегда, а какие-то — нет, попробую объяснить ниже. Да и вообще, рассказать о системах чуть подробнее.

Система пожарной сигнализации — ставят всегда.

Комплекс оборудования, которое с помощью датчиков обнаруживает возгорание внутри дата-центра. Этот комплекс состоит из приемно-контрольных приборов, извещателей, системы раннего обнаружения, светозвуковых оповещателей и оборудования для централизованного управления.

Система раннего обнаружения дыма имеет сеть из труб, через которые в постоянном режиме внутри ЦОД проводится отбор воздуха и его анализ. Эта система одна из первых может идентифицировать возгорание внутри центра обработки данных.

Существует еще несколько видов извещателей ― специальных датчиков, которые обнаруживают признаки горения. Один из таких извещателей ― термокабель. Он укладывается в труднодоступных местах и сигнализирует о резком повышении температуры рядом с ним.

Когда датчики фиксируют признаки возгорания, сигнал об этом сразу передается системе пожаротушения и оператору, ответственному за пожарную безопасность.

Вещь нужная. Конечно, никто не рискнет ее у себя в ЦОД не поставить :)

Система автоматического пожаротушения — ставят всегда.

В зависимости от используемого огнетушащего вещества такие системы классифицируются на несколько групп: водяные, пенные, газовые, аэрозольные, порошковые и комбинированные.

Чаще всего в ЦОД используется автоматическая система газового пожаротушения. При возникновении возгорания внутри дата-центра через специальные форсунки подается газ (чаще всего это хладон 125), который вытесняет кислород, тем самым устраняя очаги возгорания. Форсунки, которые подают газ, расположены над стойками с оборудованием и под фальшполом.

После того, как открытые очаги возгорания потушены, газ удаляется через систему вентиляции.

В центрах обработки данных лучше всего использовать газовую систему пожаротушения, потому что попадание воды или пены на работающее серверное оборудование приведет к его неисправности и, как следствие, к потере данных.

Система бесперебойного электроснабжения (СБЭ) — ставят всегда.

Комплекс состоит из источников бесперебойного питания (ИБП), которые будут поддерживать работу оборудования дата-центра определенное время, пока отсутствует основное электроснабжение.

Также СБЭ включает в себя несколько других элементов:

• силовые щиты с блоком автоматического ввода резерва;

• распределительные щиты бесперебойного питания;

• распределительную и силовую электросети.

Время работы такой системы зависит от времени, необходимого для завершения работы внутренних систем ЦОД без потери информации, а при наличии системы гарантированного электроснабжения — от времени для запуска дизельной генераторной установкой (ДГУ).

Система охранной сигнализации (СОС) — ставят всегда.

Система обнаруживает проникновение третьих лиц на охраняемую территорию и подает сигналы оповещения. Она состоит из специальных датчиков, которые фиксируют проникновение нарушителя внутрь объекта. В случае фиксации проникновения СОС может передавать сигнал тревоги как оператору ЦОД, так и службе охраны.

Система контроля и управления доступом (СКУД) — ставят всегда.

СКУД нужна для ограничения и регистрации входа-выхода на заданной территории через «точки прохода»: двери, ворота, КПП. Эта система ограничивает проникновение посторонних лиц внутрь дата-центра.

Система видеонаблюдения — ставят всегда.

Система видеонаблюдения — это программно-аппаратный комплекс для дистанционного контроля за обстановкой на объекте, видеоанализа и видеозаписи. Обычно система видеонаблюдения контролирует пересечение периметра ЦОД, входы в помещения дата-центра и межрядное пространство. Количество камер зависит от площади центра обработки данных. Например, мы строили ЦОД для одного банка на 400 с лишним стоек и установили там порядка 100 камер видеонаблюдения.

Система охлаждения — ставят всегда.

Работающее оборудование в ЦОД выделяет большое количество тепла. Система охлаждения отвечает за поддержание заданной температуры в дата-центре, чтобы оборудование не перегревалось.

Каждый выбирает систему охлаждения под свои задачи и пожелания. Основные типы:

• Прецизионные шкафные кондиционеры — системы климат-контроля, которые поддерживают заданную температуру, влажность и чистоту воздуха внутри дата-центра.

• Внутристоечные системы охлаждения — кондиционер, который размещается прямо внутри закрытой стойки с оборудованием.

• Внутрирядные кондиционеры — используются для отведения сверхвысоких тепловых нагрузок, обеспечивают приток дополнительного воздуха в коридор с оборудованием.

В качестве хладагента зачастую используется фреон. Рекомендуемая температура внутри дата-центра колеблется от +18 до +27°C. Для сравнения: в 2000-х годах температуру в ЦОД старались поддерживать от +16 до +20°C. Серверное оборудование постоянно развивается и с каждым годом становится более устойчивым к высоким температурам.

Система мониторинга — ставят в 90 % случаев.

Система необходима для постоянного наблюдения за параметрами работы оборудования и окружающей среды. Например, если вышла из строя система охлаждения, и оборудование начинает перегреваться, то в системе мониторинга незамедлительно отразится эта информация. Такие данные могут послужить основанием для остановки работы оборудования или включения в работу резервных систем жизнеобеспечения дата-центра.

Почему она менее популярна? Иногда заказчик пренебрегает системой мониторинга ради экономии денег, считая, что персонал сам сможет контролировать работу оборудования посредством штатных средств мониторинга, установленных на нем. Особенно эта история прослеживается в маленьких ЦОД на 1–10 стоек.

Почему все-таки стоит ставить? Зачастую персонал не успевает вовремя заметить проблему, поскольку отсутствует оповещение. В случае установки системы мониторинга персонал был бы оповещен моментально, как только возникла проблема.

Система гарантированного электроснабжения — ставят в 10 % случаев.

В случаях отключения основных источников электроэнергии эта система осуществляет электроснабжение нагрузки за счет работы резервных генераторов на неопределенно долгое время. Например, время работы дизельной генераторной установки ограничивается только запасами топлива, которые по факту можно регулярно восполнять. Время работы ДГУ зависит от регламентного времени восстановления основного электроснабжения, которое обычно не превышает 24 часа.

На моей памяти только один заказчик поставил такую систему. Дело в том, что установка ДГУ влечет за собой не только большие финансовые затраты, но и требует наличия определенных условий. Основное из них — это место. Помимо самой ДГУ, которая и так имеет немалые габариты, нужно еще установить баки с запасом топлива. Не все площадки под ЦОД могут похвастаться наличием такого количества свободного пространства.

Почему все-таки стоит ставить? Отсутствие системы гарантированного энергоснабжения подразумевает наличие единой точкой отказа, причем неподконтрольной владельцу ЦОД, — это основное энергоснабжение, которое ЦОД берет от городской сети. В случае аварии на городской подстанции или обрыва кабеля дата-центр останется без электропитания. Причем срок его восстановления может оказаться абсолютно разным: от нескольких минут до нескольких дней.

Физическое разграничение зон различного назначения — ставят в 10 % случаев.

Тоже не самая популярная система среди наших крупных заказчиков. Хотя довольно полезная: помогает разграничить различные зоны дата-центра в зависимости от назначения. Такие меры нужны для того, чтобы узкие специалисты имели доступ только к своему оборудованию.

Почему все-таки стоит ставить? Разграничение зон полезно в крупных ЦОД. Установка разграничения позволяет не допускать в определенные зоны сотрудников дата-центра, которые не имеют достаточных компетенций для работы в этих зонах. Это поможет избежать случайной порчи оборудования и систем ЦОД.

Если такая система не установлена, то есть шанс, что персонал, не имеющий достаточной квалификации в определенной области, может попросту вывести из строя критические системы ЦОД или ИТ-оборудование, включив, например, патчкорд не в тот порт.

Павел

Ведущий консультант направления ЦОД центра сетевых решений «Инфосистемы Джет»