Немного о проекте DataPro. В предыдущем материале мы рассказывали о системе бесперебойного гарантированного электроснабжения и дизель-роторных ИБП (DRUPS) дата-центра DataPro, имеющего сертификат соответствия уровню доступности Tier III Uptime Institute. DRUPS практически полностью исключают возможность отказа резервной системы энергоснабжения и выходят на рабочую мощность всего за несколько секунд.

Теперь речь пойдет о системах охлаждения и пожаротушения, используемых в DataPro. Под катом больше деталей и видео срабатывания системы газового пожаротушения при тестовых испытаниях.

Система охлаждения EcoBreeze

В типичном дата-центре значение PUE (Power Usage Effectiveness — определяется, как соотношение мощности, потребляемой всем дата-центром, к мощности, потребляемой ИТ-оборудованием) достигает в среднем 1,6–2 именно за счет питания систем охлаждения. Поэтому производители этого оборудования давно пытаются разработать более эффективные системы. Одним из таких решений стала модульная система естественного охлаждения (фрикулинга) с дополнительным орошением — EcoBreeze.

В центре обработки данных DataPro находится одна из первых и крупнейших в России инсталляций системы охлаждения EcoBreeze от Schneider Electric.


В 2010 году компания American Power Conversion (APC), позднее вошедшая в состав Schneider Electric, представила первую воздушную систему кондиционирования ЦОД с экономайзером, разделяющим внутренний и наружный воздушные потоки. Эта система была разработана в соответствии с повышающимися требованиями к энергоэффективности ЦОД. В ней используется «естественное» охлаждение («непрямой» фрикулинг).
В EcoBreeze применяется принцип косвенно-испарительного охлаждения воздуха. Теплый воздух от стоек в ЦОД поднимается вверх и через воздуховод попадает в теплообменник кондиционера вне помещения ЦОД. Теплообменник продувается уличным воздухом, горячий воздух охлаждается и поступает назад в ЦОД.

EcoBreeze использует несколько методов переноса тепла из ЦОД в окружающую среду. В отличие от других систем фрикулинга, здесь применяется два метода естественного охлаждения:



1. Охлаждение воздушных потоков, в ходе которого происходит теплообмен между прохладным наружным воздухом и горячим воздухом из помещения дата-центра, причем их смешения не происходит. В теплообменнике для передачи тепла от одного воздушного потока к другому используются улучшенные материалы.



2. Если температура наружного воздуха недостаточно низкая для охлаждения, система переходит на режим дополнительного орошения — поверхность теплообменника покрывается тонким слоем воды.


На крайний случай, когда и системы орошения оказывается недостаточно, у EcoBreeze есть третий режим работы — фреоновый цикл с компрессором переменной производительности. По существу, это классический фреоновый кондиционер, призванный обеспечить круглогодичное охлаждение.


Решения EcoBreeze устанавливаются за пределами ЦОД, не занимая в нем полезной площади. После заводской сборки модули системы проходят предварительную проверку и монтируются на объекте.



Система кондиционирования ЦОД EcoBreeze поставляется в виде модулей мощностью по 50 кВт, которые можно объединять в группы, включающие до четырех (200 кВт) или восьми (400 кВт) модулей. Модульная конструкция позволяет масштабировать систему по холодопроизводительности.Такой подход дает возможность приобретать оборудование, которое соответствует текущим требованиям к кондиционированию ЦОД, сэкономить как начальные инвестиции так и эксплуатационные расходы. Кроме того, модульность системы обеспечивает резервирование на уровне модулей и ее работоспособность во время технического обслуживания или ремонта.

Как она работает?

Рассмотрим теперь подробнее, как все это работает. Выпущенная в 2010 году система и сегодня продолжает оставаться передовым решением. В 2014 году Schneider Electric начала серийное производство EcoBreeze. Пока что во всем мире смонтировано немногим более двух десятков систем.

Итак, для максимальной энергоэффективности ЦОД EcoBreeze использует преимущества климата, и в ней предусмотрено несколько способов охлаждения с возможностью автоматического переключения между ними:

• При прямом воздушном теплообмене для охлаждения используются только электронно-коммутируемые вентиляторы, а воздушный экономайзер системы EcoBreeze работает в режиме рекуператора. В режиме прямого воздушного теплообмена горячий воздух прокачивается электронно-коммутируемыми вентиляторами через каналы косвенного испарительного охладителя (IEC). После первоначального охлаждения воздух выходит из IEC, проходит через систему кондиционирования и возвращается в центр обработки данных.
  
  
• При превышении окружающей температурой порога +7°C (эта величина может корректироваться) подключается дополнительное орошение. Используется косвенно-испарительное охлаждение: воздух охлаждается за счет испарения воды с наружной стороны каналов теплообменника.
  
  
• При высокой температуре окружающей среды (+27°C и выше) подключается фреоновый контур, компрессор которого имеет частотное регулирование.

Таким образом, при низких температурах система обходится и без воды, и без фреона, работая только от окружающего воздуха. При повышении температуры окружающей среды задействуется орошение, а если и этого недостаточно, то применяются компрессоры.

В условиях нашего климата большую часть года EcoBreeze может охлаждать ИТ-нагрузку без включения фреонового контура, затрачивая на это минимум электроэнергии. Считается, что применение EcoBreeze совместно с другими энергоэффективными компонентами инженерной инфраструктуры ЦОД позволяет достичь среднегодового значения PUE 1,25–1,3.

Наружный воздух не смешивается с воздухом из ЦОД, исключено попадание воды и фреона в машинный зал. А для наращивания мощности можно просто добавлять модули EcoBreeze.

Система интеллектуального управления и резервируемые компоненты воздушных экономайзеров EcoBreeze призваны обеспечить высокую надежность и готовность системы охлаждения ЦОД.


Система EcoBreeze предусматривает непрямой фрикулинг (то есть наружный и внутренний воздух не перемешиваются) с дополнительным орошением теплообменника «воздух-воздух»: испаряясь, вода остужает наружный воздух, охлаждающий трубки, по которым передается воздух внутреннего контура.


Вся система кондиционирования ЦОД расположена за его пределами. В DataPro она смонтирована на крыше здания. Сейчас установлено пять таких систем по восемь модулей в каждой.

Что это дает?

Подобная технология позволяет значительную часть года тратить электроэнергию лишь на питание вентиляторов, подающих воздух из ЦОД и обратно, а также вентиляторов, продувающих воздух через теплообменник. Для систем, подобных EcoBreeze, коэффициент эффективности (Coefficient of Performance, COP) может в несколько раз превосходить показатель лучших классических чиллерных систем. Кроме экономии электроэнергии достигается и выигрыш по площади: альтернативные решения занимают вдвое больше места.

По оценкам экспертов, для московского климата энергопотребление системы EcoBreeze примерно в три раза ниже, чем у системы на охлажденной воде, и примерно в шесть раз ниже, чем энергопотребление системы на фреоне. Кроме того, благодаря возможности перенаправления формируемых EcoBreeze потоков воздуха из одного машинного зала в другой, в ЦОД DataPro удалось повысить уровень утилизации мощности системы холодоснабжения до 80%. 3–4 месяца в году EcoBreeze работает «в полную силу», остальное время она функционирует в режиме фрикулинга.

Два пожарных бака на 260 м3 используются как резервные емкости для воды, которую можно использовать при проблемах в системе городского водоснабжения. Вода рециркулируется, но требует регулярного обновления из-за загрязнения. Летом уходит порядка 200 м3 воды в месяц. Нормальный расход составляет всего 20–30 м3 ежемесячно.

Еще одна особенность ЦОД DataPro: соединение фреоновых трасс кондиционеров в нем выполнено без пайки, с помощью фитингов. Такая реализация позволяет производить оперативный монтаж и ремонт без проведения огнеопасных работ.


Пример работы системы охлаждения ЦОД с отображением в системе диспетчеризации.

Сейчас расчетная нагрузка на каждый зал — 260 кВт. Проектная нагрузка на зал — 360 кВт. В процессе сертификации на Uptime Tier III одна система EcoBreeze выключалась полностью, и все машзалы работали при полной проектной нагрузке (5 залов по 360 кВт.). Если из строя выйдет более двух модулей EcoBreeze, запустятся резервные фреоновые кондиционеры.


Детальная информация по EcoBreeze. Цифры показывают реальную загрузку модулей. Индикаторы показывают, когда нужно менять или чистить воздушные фильтры.

Почему же в ЦОД DataPro используются еще и фреоновые кондиционеры? На самом деле, у них двойная функция: кроме резервирования они служат для поддержания требуемого уровня влажности. Кроме того, для поддержания требуемого уровня влажности, в машинных залах ЦОД установлена отдельная система адиабатического увлажнения.


Контрольные панели EcoBreeze в центре управления ЦОД DataPro.

Первоначально планировалось развернуть в новом ЦОД DataPro 26 установок EcoBreeze холодопроизводительностью 350 кВт каждая. Это была бы одна из крупнейших инсталляций системы в Европе. Однако на сегодняшний день смонтированы восемь систем EcoBreeze.


Схема охлаждения машинных залов.

Система позволила осуществить поэтапное развертывание и добиться высокого коэффициента энергоэффективности.

Специфика эксплуатации EcoBreeze

Система EcoBreeze подойдет далеко не для всех дата-центров. Дело в том, что для ее размещения потребуется значительная площадь, при вводе в эксплуатацию может возникнуть необходимость внести определенные «доработки», а ее обслуживание предъявляет высокие требования к квалификации персонала. Следующий момент, о котором мы говорили ранее, — EcoBreeze целесообразно использовать в масштабных проектах при нагрузке, приближенной к 100%. Именно в таких условиях система демонстрирует наилучший показатель PUE, в расчете которого следует учитывать, в том числе, и расход на подачу воды, требующей «водоподготовки» — снижения уровня жесткости. Также стоит обратить внимание на высокие капитальные затраты на покупку и монтаж модулей по сравнению с фреоновыми кондиционерами эквивалентной мощности. Отдельный нюанс для ЦОДов, размещенных в черте города, — требуется регулярная замена воздушных фильтров HEPA в системе прямого фрикулинга, которые в некоторых случаях могут стоить дороже сэкономленной ею электроэнергии.

Продуманное планирование всегда поможет оценить перспективность того или иного проекта, а также найти возможные пути нивелирования минусов. Например, в DataPro предусмотрели практически все, в частности, для оптимизации расходов на эксплуатацию, вместо фирменных воздушных фильтров производителя оборудования используются фильтры собственного изготовления из нетканого фильтрующего материала

Система пожаротушения Vesda

Система пожарной безопасности в ЦОД DataPro реализована с помощью оборудования Vesda производства компании Autronica, a в качестве огнетушащего вещества системы газового пожаротушения выбран биобезопасный газ — хладон 227. Хладон распределяется по защищаемому объему помещений с помощью трубной разводки и насадок радиального распыла. Огнетушащее вещество размещается в модулях газового пожаротушения.

Машинный зал оборудован системой сверхраннего обнаружения дыма Vesda, в которой для контроля воздуха горячего коридора используется лазерный газоанализатор. С помощью газоанализатора система раннего пожаро- и дымообнаружения постоянно анализирует состав воздуха. В отличие от обычных офисных детекторов дыма, это позволяет выявить признаки возгорания на самых ранних этапах и предотвратить ущерб от огня.

Газоанализатор выявляет наличие примесей, типичных для горения пластмассы или изоляции. При обнаружении таких примесей дается тревожное сообщение. Для исключения ложных срабатываний система газового пожаротушения функционирует в ручном режиме, то есть запускается дежурным инженером и сотрудником охраны при значительном возгорании.

При получении тревожного сообщения персонал, действуя по заранее составленному плану, проверяет наличие очага возгорания и при обнаружении такового приводит в действие систему пожаротушения или просто использует огнетушитель, обесточив соответствующий сервер или стойку. Это позволяет избежать случайного срабатывания системы и адекватно реагировать на такие события, как появление дыма от неисправного конденсатора в сервере.


В случае выявления, например, повышенной концентрации углерода система дает тревожный сигнал в центр управления ЦОД и на пульт охраны, показывая на соответствующем индикаторе место возможного возгорания. Цифры на панелях системы пожарной сигнализации показывают уровень сигнала лазера.

В отличие от большинства других ЦОД, система пожаротушения в дата-центре DataPro проверялась в «боевом» режиме: имитировалось возгорание, в результате срабатывания системы после эвакуации персонала машзал заполнялся углекислым газом, «пожар» в отсутствии кислорода гас, и углекислый газ из зала откачивался. Кроме того, регулярно проводятся учения и тренинги персонала.


Как проходил тест системы пожаротушения. Рекомендуем уменьшит звук, т.к. сигнализацию невозможно не услышать.

Дополнительно установлена штатная система пожарной сигнализации Bosch. Некоторым клиентам DataPro, в соответствии со своими корпоративными стандартами, требуется установки дополнительного оборудования защиты от возгорания, в этом случае устанавливаются необходимые для них системы.

Все оборудование дата-центра и клиентское оборудование застраховано.


Один из клиентов дата-центра инициировал проведение внешнего аудита ЦОД. По результатам аудита специально для этого клиента была дополнительно смонтирована система автоматического газового пожаротушения в помещении РП-10 кВ. В первоначальном проекте установка данной системы в РП не предусматривалась.

В настоящее время газовое пожаротушение предусмотрено во всех машзалах, помещениях кроссовых и дизель-роторных ИБП. Система способна справиться с возгоранием одновременно в двух машзалах и имеет 100% резерв, что позволит ей уже через минуту прекратить пожар еще в двух залах. После этого потребуется перезарядка баллонов.

Корпоративные ЦОД для «моноклиентов» сегодня научились строить многие российские интеграторы. Коммерческий ЦОД — совсем другая история, здесь несколько иные требования к системам жизнеобеспечения. Рассказ об этом мы продолжим в наших следующих материалах, посвященных ЦОД DataPro.


DataPro размещает проекты от одной стойки, также клиенту следует самостоятельно договариваться о сотрудничестве с операторами связи.
HOSTKEY является официальным розничным партнером DataPro. Если необходимо разместить оборудование, арендовать выделенные сервера или реализовать сложный конвергентный проект под высокий SLA в сертифицированном на Tier III ЦОД DataPro, обращайтесь.

Размещение в наших стойках 1U оборудования (современный сервер с любым блоком питания, не твин) с резервированным выделенным каналом доступа в Интернет 100Мбит/сек стоит 4000 руб. в месяц, включая НДС или всего 40000 руб. в год. Можно арендовать целую стойку, 1/2 или четверть стандартной стойки, в том числе и под пломбу. Мы поможем с установкой, подключением и предварительной настройкой переданного оборудования.

Мы предлагаем для аренды в DataPro любые выделенные серверы Supermicro или HP, дисковые полки HP/Dell и сетевую инфраструктуру (VLAN) от 100Мбит/сек до 10Гбит/сек (включая средства защиты и роутеры) по разумным ценам. Вы можете создать гибридное решение, состоящее из ваших серверов, арендованных серверов и сетевой инфраструктуры. HOSTKEY предоставляет высочайший SLA по обслуживанию собственного оборудования клиентов.