Недавно один из крупнейших колокейшн-провайдеров Equinix заявил, что будет повышать температуру в машинных залах ЦОД. Это позволит снизить затраты на охлаждение и сэкономить на электричестве.
Оптимизация расходов электроэнергии в дата-центре — тема вполне злободневная, с учетом того, что многие энергоэффективные решения стали недоступны на российском рынке. Мы строим ЦОД уже много лет и по опыту можем сказать, что зачастую компании заранее закладывают в бюджет внедрение энергоэффективных систем. А в этом случае можно ничего дополнительно не устанавливать — просто немного повысить температуру в машинном зале и сразу начать экономить. Рискованная ли это затея — разбираем в этом посте.
Еще в 2007 году Американская ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) установила стандарт оптимального температурного режима для помещений дата-центров в +20…+24 °С. Через год эта же ассоциация одобрила температуру уже в +27 °C как достаточную для работы оборудования в дата-центрах. После этого Intel решил провести эксперимент с повышением температуры в своем ЦОД. Десять месяцев серверы в центре обработки данных работали в условиях +33,3 °C. Компании удалось снизить затраты на охлаждение на 67% за счет более экономной работы систем кондиционирования, однако количество отказов оборудования при этом выросло на 2%.
В общем и целом звучит неплохо: увеличиваешь температуру — экономишь деньги. Но перед тем, как повышать градус в ЦОД, необходимо понять температурные границы оборудования, которое там работает. Мы сравнили требования по температуре, которые указаны в документации для некоторого типового и узконишевого железа для ЦОД (для примера взяли несколько вариантов серверов, СХД, ленточную библиотеку и коммутатор).
Получилась занятная таблица:
Получается, что типовое серверное оборудование может работать при температуре +33 °C. Если говорить о серверах высокой плотности, то они более чувствительны к микроклимату внутри ЦОД. При работе в температурной среде выше +30 °C в зависимости от конфигурации у некоторых моделей серверов может снижаться производительность. А вот у ленточной библиотеки, к примеру, рабочий предел всего +32 °C.
Есть нюансы
Повышая температуру в машинном зале, необходимо учитывать верхние пределы работы железа. Может получиться так, что некоторые модели оборудования при +33°C будут работать со сниженной производительностью либо вообще могут выйти из строя.
Помимо возможного увеличения количества отказов и снижения производительности оборудования, есть еще несколько факторов, которые стоит учитывать.
Во-первых, если в машинном зале установлено железо с верхним порогом работы в +35…+40 °C, оно будет корректно работать и при температуре +33°C в холодном коридоре. Но в общем зале при таких условиях температура уже может достигать +40…+42 °C. И это уже некомфортные условия для работы специалистов дата-центра.
Во-вторых, в системе кондиционирования постоянно работает фрикулинг (способ охлаждения помещения за счет использования холодного воздуха наружной окружающей среды). И только когда температура в машинном зале превышает допустимые значения, условно, +24 °C, включается охлаждение воздуха (например, с помощью фреона). Значит, если мы повышаем температуру в ЦОД до +33 °C, фрикулинг будет работать намного интенсивнее. А это потребует дополнительных затрат электроэнергии. Может получиться так, что экономия на классическом кондиционировании с помощью фреона будет нивелирована затратами на охлаждение исключительно методом фрикулинга. В этом случае нужно считать, какой из подходов выгоднее с финансовой точки зрения.
Не все ЦОД от этого выиграют
Теоретически поднять температуру можно как в классических ЦОД, так и в контейнерных или модульных дата-центрах. Ключевой фактор — площадь. В маленьком ЦОД экономия электричества будет несущественной, а вероятность отказа оборудования вырастет.
Если говорить о дата-центрах мощностью от 1 МВт и выше, то использование фрикулинга может ощутимо снизить расходы на электроэнергию. К примеру, если ЦОД расположен не в Дубае, а в Москве, то с учетом столичного климата классическое кондиционирование с помощью фреона может несколько месяцев в году не использоваться. Практически круглый год в машинном зале можно поддерживать температуру +33 °C с помощью фрикулинга. В этом случае экономия будет существенной.
Как этот подход повлияет на коммерческие и корпоративные ЦОД?
Если говорить о коммерческих ЦОД (колокейшн), то при сокращении расходов на электричество потенциально можно ожидать снижения стоимости аренды стойко-мест. Хотя, скорее всего, этого не произойдет :)
Но даже если владельцы коммерческих ЦОД решат действительно пойти на такой шаг и снизить стоимость стойко-места за счет экономии от более высоких температур, не всем компаниям это покажется разумным. Для некоторых даже потенциальное повышение отказов на 2% может оказаться критичным, и они уйдут в более «холодные» коммерческие ЦОД, даже если это будет дороже.
Что касается корпоративных дата-центров — предлагаем их владельцам провести несколько экспериментов с температурой и оптимизацией затрат на электроэнергию. Сделать такие тесты в корпоративных ЦОД гораздо проще, чем в условиях колокейшен. Однако желательно это делать с участием экспертов по инженерным системам. Наша команда готова помочь с аудитом инфраструктуры и составить индивидуальный план по оптимизации затрат на энергопотребление. В случае, если оборудование после тестов будет стабильно работать без каких-либо отклонений, получится классный способ сэкономить почти на ровном месте.
Авторы поста:
Павел
ведущий консультант направления ЦОД центра сетевых решений "Инфосистемы Джет"
Константин
ведущий консультант по инфраструктурным решениям "Инфосистемы Джет"
Комментарии (15)
AlexM2001
00.00.0000 00:00+2Спасибо за статью, информативно!
Сам давно работаю в обслуживании ЦОДов.
Температурный режим это всегда горячая) тема для обсуждения.
P.S. Стоит упомянуть актуальный для оборудования вопрос: скорость изменения температуры в ЦОДе.
Ещё раз спасибо за статью. "Утащу", если вы не против, в профильный топик, где являюсь куратором.
wizard_s
00.00.0000 00:00+1За 10 месяцев рост отказов на 2%. А на бОльших отрезках времени? У батарей ИБП, HDD срок жизни сильно зависит от температуры, у некоторой элементной базы тоже. Постоянно перегретые конденсаторы не дадут о себе знать в первый год-два, но через несколько лет могут массово посыпаться, и все, что наэкономили на размещении придется потратить на замену оборудования.
Если компания покупает железо на год-два, а потом меняет на новое и более производительное, то вроде и не страшно. Но многие ли могут себе это позволить?
hogstaberg
00.00.0000 00:00Мне мнится, что у повышенной температуры есть ещё жирный минус - охлаждение нельзя гасить практически вообще по любой причине, даже аварийной и даже очень кратковременно т.к. "буфер" теплоемкости воздуха в помещении значительно меньше. Проще говоря, от +33 градусов до аварийного отключения железа по перегреву гораздо ближе, чем от классических "холодных" уровней. Точнее оно почти впритык уже.
JetHabr Автор
00.00.0000 00:00Действительно, температура +33 °C гораздо ближе к верхнему пределу допустимого диапазона температур. Но есть оборудование, у которого верхняя граница находится на отметке в +45 °C. В этом случае нужно проанализировать минимальные и максимальные температурные значения оборудования, установленного в ЦОД, и взвесить все риски.
m_e_r_c
Вам не кажется, что тут немного неверный вывод? При повышении фактической температуры ЦОДа более интенсивно любой теплоотвод будет работать (фрикулинг и компрессоры) только если увеличился разрыв между фактической и установленной температурой, чтобы быстрее вернуть температуру внутрь установленного диапазона. А эффективность фрикулинга напрямую зависит от разницы внутренней температуры ЦОДа и забортной, и в общем среднегодовом цикле температур в средней полосе России только увеличится при подъеме установленной температуры. Т.е. на то чтобы отвести то же количество тепла потратить придется меньше энергии.
JetHabr Автор
Вы правы: охлаждение методом фрикулинга требует меньше энергии, чем охлаждение при помощи, скажем, фреона. Здесь речь идёт о том, что данный метод также требует затрат энергии. И это надо учитывать.