В конце сентября проект системы холодоснабжения дата-центра NORD-4 получил премию Russian Data Center Awards 2016 в номинации «Лучшее решение в области инженерных систем». Сегодня мы расскажем в деталях, как создавалась система охлаждения самого большого дата-центра в России.

Условия задачи таковы

Тип строения. NORD-4 сразу планировался многоэтажным: на первом этаже дата-центра находится энергоцентр, на втором и третьем – 8 залов на 2016 стойко-мест.
Холодопроизводительность. Для отвода тепла от ИТ-оборудования мощностью 9000 кВт и сопутствующей инженерной инфраструктуры требовалось не менее 10 000 кВт холодопроизводительности.

Температурный режим в зале. В холодных коридорах машинного зала температура должна быть в пределах 23–27 °С. В таких условиях оборудование работает стабильно, а инженеры в холодных коридорах не простужаются.

Климатические условия на улице. Температура наружного воздуха для проекта взята из строительных норм и правил (СНиП). В Московском регионе зимой температура опускается до –42 °С, а в теплое время года достигает +37 °С.

Сертификация. Дата-центр планировалось сертифицировать по стандартам Uptime Institute Tier III (проект, готовое здание и процессы эксплуатации). Согласно стандарту в дата-центре уровня Tier III любой компонент системы можно отключить для обслуживания без перерыва в работе. Это означает, что у каждого элемента есть резерв минимум N+1.

График запуска. Дата-центр сразу строился с прицелом на поэтапный запуск, поэтому все системы нужно было спроектировать так, чтобы монтаж и пусконаладка новых мощностей не мешали уже работающим машинным залам.

Тип ИТ-оборудования. NORD-4 – коммерческий дата-центр: он будет заполняться постепенно и самыми разными стойками. Это значит, что нельзя жестко закрепить схему расположения стоек в машинном зале и заранее изолировать горячие или холодные коридоры.

Выбор схемы холодоснабжения

Прежде чем остановиться на чиллерной схеме, которая и была реализована, мы рассмотрели несколько альтернатив.

Кондиционеры прямого расширения (DX). Такую конфигурацию часто называют просто фреоновой. В машинных залах располагаются шкафные фреоновые кондиционеры с испарителем, компрессором, терморегулирующим вентилем. На крыше или рядом со зданием дата-центра – внешние блоки c конденсатором. Кондиционеры и внешние блоки соединяются между собой медными фреонопроводами.
В этой схеме кондиционер охлаждает воздух непосредственно в машинном зале без промежуточного теплоносителя (вода, воздух).


Принцип работы фреоновой схемы охлаждения.

Эта система работает в 5 наших дата-центрах, поэтому хорошо нам знакома. По сравнению с чиллерной схемой у нее есть ряд преимуществ: она дешевле по капитальным вложениям, проще и быстрее в монтаже. Так как все кондиционеры автономны, для резервирования системы достаточно добавить нужное количество лишних кондиционеров.

Несмотря на эти плюсы, для проекта NORD-4 она не подошла из-за следующих ограничений:

• длина фреонопроводов: для эффективного охлаждения она не должна превышать 50 метров по горизонтали, если есть перепад высот – еще меньше. С многоэтажным дата-центром было сложно уложиться в эти ограничения.
  
  
• низкая энергоэффективность: в длительной перспективе фреоновая схема менее выгодна, чем та же чиллерная. У компрессора фреонового кондиционера только два состояния – включен и выключен. В такой схеме нет возможности охлаждения без работающего компрессора, т. е. электричество на охлаждение будет расходоваться, даже когда на улице холодно.

Kyoto Cooling. Это двухконтурная схема с естественным воздушным охлаждением (фрикулингом). Во внутреннем контуре циркулирует воздух дата-центра, а в наружный контур подается уличный воздух. В теплообменнике-рекуператоре роторного типа, или «колесе», горячий воздух от ИТ-оборудования охлаждается за счет уличного воздуха. В работе Kyoto Cooling не участвуют компрессоры (то самое естественное охлаждение) при низких уличных температурах.


Принцип работы Kyoto Cooling.

Этот вариант подкупал своей энергоэффективностью: в режиме фрикулинга электричество расходуется только на привод электродвигателей вентиляторов. Дата-центры, использующие эту схему, могут похвастаться одним из самых низких PUE – 1,09–1,13. В отличие от чиллерной схемы, Kyoto Cooling работает без воды, поэтому нет риска протечек.

В то же время система Kyoto Cooling предъявляла специфические требования к планировке здания:

• теплообменник «колесо» со всеми вентиляционными камерами занимает много места. Фактически под него нужно отдельное техническое помещение, которое сложно вписать в готовый проект здания.
• у воздуха маленькая теплоемкость: чтобы передать большой объем тепла, нужны большие воздуховоды. Функцию воздуховодов могут выполнять коридоры, но это опять-таки нужно предусмотреть на этапе проектирования здания.
• внутри машинного зала необходимо изолировать горячие коридоры. Это сложно сделать, когда стойки разнокалиберные и зал заполняется постепенно.
• дополнительные расходы на фильтры. Уличный воздух, который приходит на колесо, нужно фильтровать, иначе пыль будет попадать в машинные залы.

«Колесо» с горизонтальным расположением оси.

По стоимости система получалась дорогой. Чтобы Kyoto Cooling справлялся с охлаждением только за счет уличного воздуха, на улице должно быть не жарче 25 °С. Для летнего периода в дополнение к «колесу» нам все равно пришлось бы закупить холодильные машины на полную мощность. Кроме того, решение было для нас новым и неопробованным, а пускаться в эксперименты на таком масштабном объекте не хотелось.

Чиллер-фанкойл. Еще одной альтернативой стала двухконтурная чиллерная схема на этиленгликоле и воде. Внешний контур с незамерзающим раствором этиленгликоля соединяет чиллеры и теплообменник. Внутренний контур с водой идет от теплообменника к шкафным кондиционерам. Таким образом, воздух в машинных залах охлаждается с помощью теплоносителей – воды и раствора этиленгликоля.

Похожую схему мы использовали в самом первом своем дата-центре OST-1. Возможность естественного охлаждения в холодное время года – основное преимущество этой схемы. При фрикулинге электричество расходуют только вентиляторы и насосы. Компрессоры, самый «прожорливый» элемент системы, стоят выключенными.

Чиллерная схема выглядела самым подходящим вариантом для проекта NORD-4. Она не упиралась в ограничения, как фреоновая схема, и в долгосрочной перспективе была более энергоэффективной. В отличие от Kyoto Cooling, она не требовала специальных решений в планировке здания, но при этом также поддерживала режим фрикулинга.

Выбор оборудования

Чиллеры. Мы проанализировали энергетическую и экономическую эффективность оборудования с близкими техническими параметрами: из стоимости оборудования и его расчетного энергопотребления в течение года высчитывалось, как скоро разница в цене по сравнению с самой дешевой моделью отобьется за счет экономии на электроэнергии. Фактически мы сравнивали CAPEX и OPEХ. Как правило, получалось, что чем дороже машина, тем дольше она работала в режиме фрикулинга и тем меньше потребляла электричества в течение года. Благодаря такому сравнению мы увидели, что срок окупаемости для дорогих моделей сопоставим с более дешевыми.

Просмотрели оборудование более 10 вендоров: Emerson, Uniflair, Stulz, Climaventa, Hiref, Aermec, Climacore, Clivet, Hitema, Clint, Ferroli. По результатам нашего исследования самым подходящим для наших целей оказался чиллер Stulz CyberCool-2 номинальной холодопроизводительностью 950 кВт. Чиллер работает на «теплом» хладоносителе: температура этиленгликоля на выходе из чиллера – 16 °С, на входе – 22 °С. Обычно температура этиленгликоля +7 и +12 °С.

Высокая температура хладоносителя обеспечивает более длительный период естественного охлаждения за счет уличного воздуха. Если этиленгликоль теплее, чем наружный воздух, то система охлаждения отводит тепло без включения компрессоров.


Анализ энергоэффективности чиллера Stulz CyberCool-2.

Чиллер переходит в режим полного фрикулинга, когда на улице прохладнее +6 °С, а в режим частичного – при температурах от +6 до +19 °С. При полном фрикулинге компрессоры выключены, и электричество расходуют только вентиляторы и насосы.

Холодопроизводительность чиллера регулируется благодаря 4-ступенчатым винтовым компрессорам. Они работают в четырех режимах и могут варьировать производительность: 0, 25, 50,100 %. Мощность регулируется и у электронно-коммутируемых вентиляторов.

Контроллер чиллера питается от встроенного ИБП, поэтому при переключении питания в дата-центре он продолжает работать и не тратит время на перезагрузку.


Чиллеры Stulz CyberCool-2.

Кондиционеры. Как в случае с чиллерами, более дорогие модели кондиционеров оказались более энергоэффективными. Так получилось и с выбранным в итоге Stulz ASD1000CW. По нашим расчетам, высокая стоимость кондиционера Stulz компенсируется менее чем за год за счет использования вентиляторов с электронной коммутацией.

Температура воды на входе в кондиционер 18 °С, на выходе – 24 °С. Благодаря высокой температуре теплоносителя в системе кондиционеры работают выше точки росы, поэтому не тратится лишняя энергия на конденсацию влаги и последующее увлажнение воздуха.


Кондиционер Stulz ASD1000CW.

Каждый кондиционер регулирует холодопроизводительность с помощью 2-ходового клапана, изменяя расход воды (схема с переменным расходом). В более распространенной схеме с постоянным расходом кондиционер регулирует температуру воздуха с помощью 3-ходового клапана, пропуская часть воды через теплообменник, а часть через байпас. На выходе из кондиционера потоки смешиваются. В нашей схеме такого не происходит, и получается сохранить высокую температуру обратной воды.

При переменном расходе насосы поддерживают постоянное давление на входах в кондиционеры. За этим следит система автоматического регулирования.


Сравнение схем с постоянным и переменным расходом воды.

Итоговая реализация

В каждом машинном зале располагается 14 кондиционеров, в энергоцентрах – по 4 штуки. Схема резервирования N+1.



На крыше дата-центра работают 14 чиллеров. Чиллерные группы будут монтироваться в четыре этапа в соответствии с запуском машинных залов: 4+3+4+3. На каждом этапе поддерживается резерв не менее N+1: 3+1, 6+1, 9+2, 12+2. К настоящему моменту установлено 7 чиллеров (6+1).



Все остальные элементы системы мы разместили в хладоцентре на четвертом техническом этаже над машинными залами. Здесь располагаются насосы, баки-аккумуляторы, основную запорно-регулирующую арматуру, промежуточные теплообменники, трубную разводку водяного и гликолевых контуров системы охлаждения. Так мы упростили для себя управление запорной арматурой, разгрузили этажи с машинными залами и обезопасили себя от масштабных протечек рядом с ИТ-оборудованием. Технический этаж гидроизолирован и оборудован 24 воронками системы аварийного дренажа. В случае аварии вся вылившаяся жидкость удаляется с технического этажа по трубам в подвал, в специальные накопительные емкости. Датчики протечки есть в комплектации каждого кондиционера, также существует сеть независимых датчиков системы мониторинга.

Технический этаж.

Наружный контур с раствором этиленгликоля соединяет чиллер и теплообменник: теплый гликоль температурой 22 °С идет к чиллеру, охлаждается до 16 °С и поступает в теплообменник. Каждый чиллер с насосом, трубопроводом и теплообменником образует независимый холодильный узел. При отказе одного из элементов из работы выводится весь узел.


Взаимодействие наружного и внутреннего контуров в чиллерной схеме.

Внутренний водяной контур, занимающий весь технический этаж, соединяет теплообменник с кондиционерами: к кондиционерам поступает вода температурой 18 °С, от кондиционеров к теплообменнику возвращается вода 24 °С.

Во внутреннем контуре предусмотрены баки-аккумуляторы общим объемом 46 куб. м. При перерывах в работе чиллеров (например, при переключении с города на ДГУ) эти баки поддерживают автономную работу системы до 8 минут. Получается своего рода «бесперебойное охлаждение».

Кровля с чиллерами и технический этаж.


Трубопроводы внутреннего контура на одном из этажей NORD-4.

Выводы

Главное достоинство получившейся системы холодоснабжения – ее высокая энергоэффективность. Добиться этого удалось благодаря следующим решениям:

• Повышенная температура теплоносителей – этиленгликоля и воды.
• Переменный расход теплоносителя во внутреннем водяном контуре. Такая схема исключает смешение холодной и горячей воды. В результате мы получили повышенную разницу температур горячей и холодной воды и бОльший период фрикулинга.
• Вентиляторы с электронной коммутацией в шкафных кондиционерах и чиллерах.

По нашим расчетам, при полной проектной нагрузке дата-центра среднегодовой механический PUE («по холоду») составит не более 1,21.