Недавно один из крупнейших колокейшн-провайдеров Equinix заявил, что будет повышать температуру в машинных залах ЦОД. Это позволит снизить затраты на охлаждение и сэкономить на электричестве.

Оптимизация расходов электроэнергии в дата-центре — тема вполне злободневная, с учетом того, что многие энергоэффективные решения стали недоступны на российском рынке. Мы строим ЦОД уже много лет и по опыту можем сказать, что зачастую компании заранее закладывают в бюджет внедрение энергоэффективных систем. А в этом случае можно ничего дополнительно не устанавливать — просто немного повысить температуру в машинном зале и сразу начать экономить. Рискованная ли это затея — разбираем в этом посте.

Еще в 2007 году Американская ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) установила стандарт оптимального температурного режима для помещений дата-центров в +20…+24 °С. Через год эта же ассоциация одобрила температуру уже в +27 °C как достаточную для работы оборудования в дата-центрах. После этого Intel решил провести эксперимент с повышением температуры в своем ЦОД. Десять месяцев серверы в центре обработки данных работали в условиях +33,3 °C. Компании удалось снизить затраты на охлаждение на 67% за счет более экономной работы систем кондиционирования, однако количество отказов оборудования при этом выросло на 2%.

В общем и целом звучит неплохо: увеличиваешь температуру — экономишь деньги. Но перед тем, как повышать градус в ЦОД, необходимо понять температурные границы оборудования, которое там работает. Мы сравнили требования по температуре, которые указаны в документации для некоторого типового и узконишевого железа для ЦОД (для примера взяли несколько вариантов серверов, СХД, ленточную библиотеку и коммутатор).

Получилась занятная таблица:

Получается, что типовое серверное оборудование может работать при температуре +33 °C. Если говорить о серверах высокой плотности, то они более чувствительны к микроклимату внутри ЦОД. При работе в температурной среде выше +30 °C в зависимости от конфигурации у некоторых моделей серверов может снижаться производительность. А вот у ленточной библиотеки, к примеру, рабочий предел всего +32 °C.

Есть нюансы

Повышая температуру в машинном зале, необходимо учитывать верхние пределы работы железа. Может получиться так, что некоторые модели оборудования при +33°C будут работать со сниженной производительностью либо вообще могут выйти из строя.

Помимо возможного увеличения количества отказов и снижения производительности оборудования, есть еще несколько факторов, которые стоит учитывать.

Во-первых, если в машинном зале установлено железо с верхним порогом работы в +35…+40 °C, оно будет корректно работать и при температуре +33°C в холодном коридоре. Но в общем зале при таких условиях температура уже может достигать +40…+42 °C. И это уже некомфортные условия для работы специалистов дата-центра.

Во-вторых, в системе кондиционирования постоянно работает фрикулинг (способ охлаждения помещения за счет использования холодного воздуха наружной окружающей среды). И только когда температура в машинном зале превышает допустимые значения, условно, +24 °C, включается охлаждение воздуха (например, с помощью фреона). Значит, если мы повышаем температуру в ЦОД до +33 °C, фрикулинг будет работать намного интенсивнее. А это потребует дополнительных затрат электроэнергии. Может получиться так, что экономия на классическом кондиционировании с помощью фреона будет нивелирована затратами на охлаждение исключительно методом фрикулинга. В этом случае нужно считать, какой из подходов выгоднее с финансовой точки зрения.

Не все ЦОД от этого выиграют

Теоретически поднять температуру можно как в классических ЦОД, так и в контейнерных или модульных дата-центрах. Ключевой фактор — площадь. В маленьком ЦОД экономия электричества будет несущественной, а вероятность отказа оборудования вырастет.

Если говорить о дата-центрах мощностью от 1 МВт и выше, то использование фрикулинга может ощутимо снизить расходы на электроэнергию. К примеру, если ЦОД расположен не в Дубае, а в Москве, то с учетом столичного климата классическое кондиционирование с помощью фреона может несколько месяцев в году не использоваться. Практически круглый год в машинном зале можно поддерживать температуру +33 °C с помощью фрикулинга. В этом случае экономия будет существенной.

Как этот подход повлияет на коммерческие и корпоративные ЦОД?

Если говорить о коммерческих ЦОД (колокейшн), то при сокращении расходов на электричество потенциально можно ожидать снижения стоимости аренды стойко-мест. Хотя, скорее всего, этого не произойдет :)

Но даже если владельцы коммерческих ЦОД решат действительно пойти на такой шаг и снизить стоимость стойко-места за счет экономии от более высоких температур, не всем компаниям это покажется разумным. Для некоторых даже потенциальное повышение отказов на 2% может оказаться критичным, и они уйдут в более «холодные» коммерческие ЦОД, даже если это будет дороже.

Что касается корпоративных дата-центров — предлагаем их владельцам провести несколько экспериментов с температурой и оптимизацией затрат на электроэнергию. Сделать такие тесты в корпоративных ЦОД гораздо проще, чем в условиях колокейшен. Однако желательно это делать с участием экспертов по инженерным системам. Наша команда готова помочь с аудитом инфраструктуры и составить индивидуальный план по оптимизации затрат на энергопотребление. В случае, если оборудование после тестов будет стабильно работать без каких-либо отклонений, получится классный способ сэкономить почти на ровном месте.

Авторы поста:

Павел

ведущий консультант направления ЦОД центра сетевых решений "Инфосистемы Джет"

Константин

ведущий консультант по инфраструктурным решениям "Инфосистемы Джет"

Комментарии (15)


  1. m_e_r_c
    00.00.0000 00:00

    Во-вторых, в системе кондиционирования постоянно работает фрикулинг (способ охлаждения помещения за счет использования холодного воздуха наружной окружающей среды). И только когда температура в машинном зале превышает допустимые значения, условно, +24 °C, включается охлаждение воздуха (например, с помощью фреона). Значит, если мы повышаем температуру в ЦОД до +33 °C, фрикулинг будет работать намного интенсивнее.

    Вам не кажется, что тут немного неверный вывод? При повышении фактической температуры ЦОДа более интенсивно любой теплоотвод будет работать (фрикулинг и компрессоры) только если увеличился разрыв между фактической и установленной температурой, чтобы быстрее вернуть температуру внутрь установленного диапазона. А эффективность фрикулинга напрямую зависит от разницы внутренней температуры ЦОДа и забортной, и в общем среднегодовом цикле температур в средней полосе России только увеличится при подъеме установленной температуры. Т.е. на то чтобы отвести то же количество тепла потратить придется меньше энергии.


    1. JetHabr Автор
      00.00.0000 00:00

      Вы правы: охлаждение методом фрикулинга требует меньше энергии, чем охлаждение при помощи, скажем, фреона. Здесь речь идёт о том, что данный метод также требует затрат энергии. И это надо учитывать.


  1. AlexM2001
    00.00.0000 00:00
    +2

    Спасибо за статью, информативно!

    Сам давно работаю в обслуживании ЦОДов.

    Температурный режим это всегда горячая) тема для обсуждения.

    P.S. Стоит упомянуть актуальный для оборудования вопрос: скорость изменения температуры в ЦОДе.

    Ещё раз спасибо за статью. "Утащу", если вы не против, в профильный топик, где являюсь куратором.


    1. JetHabr Автор
      00.00.0000 00:00

      Спасибо! Мы не против, если "утащите" статью в профильный топик)


  1. wizard_s
    00.00.0000 00:00
    +1

    За 10 месяцев рост отказов на 2%. А на бОльших отрезках времени? У батарей ИБП, HDD срок жизни сильно зависит от температуры, у некоторой элементной базы тоже. Постоянно перегретые конденсаторы не дадут о себе знать в первый год-два, но через несколько лет могут массово посыпаться, и все, что наэкономили на размещении придется потратить на замену оборудования.

    Если компания покупает железо на год-два, а потом меняет на новое и более производительное, то вроде и не страшно. Но многие ли могут себе это позволить?


    1. JetHabr Автор
      00.00.0000 00:00

      Это можно понять только опытным путем. Нужно пробовать.


    1. tbp2k5
      00.00.0000 00:00

      Эмпирическое правило: +10 градусов к оптимальной температуре -> -10 лет ко времени жизни железа. По моим наблюдениям похоже на правду.


      1. JetHabr Автор
        00.00.0000 00:00

        Спасибо, что поделились личным опытом!


      1. AlexM2001
        00.00.0000 00:00

        IMHO важнее даже не величина (в разумных пределах) температуры, а её стабильность.


  1. edo1h
    00.00.0000 00:00

    Интересно, как повышение температуры повлияло на потребление серверов, и повлияло ли на производительность


    1. JetHabr Автор
      00.00.0000 00:00

      Мы не проводили экспериментов на данную тематику. Но спасибо за тему для новой статьи)


  1. iavael
    00.00.0000 00:00

    Хотелось бы уточнить: отказы выросли на 2 процента или на 2 процентных пункта?


    1. JetHabr Автор
      00.00.0000 00:00

      Все верно, у Intel отказы выросли на два процента


  1. hogstaberg
    00.00.0000 00:00

    Мне мнится, что у повышенной температуры есть ещё жирный минус - охлаждение нельзя гасить практически вообще по любой причине, даже аварийной и даже очень кратковременно т.к. "буфер" теплоемкости воздуха в помещении значительно меньше. Проще говоря, от +33 градусов до аварийного отключения железа по перегреву гораздо ближе, чем от классических "холодных" уровней. Точнее оно почти впритык уже.


    1. JetHabr Автор
      00.00.0000 00:00

      Действительно, температура +33 °C гораздо ближе к верхнему пределу допустимого диапазона температур. Но есть оборудование, у которого верхняя граница находится на отметке в +45 °C. В этом случае нужно проанализировать минимальные и максимальные температурные значения оборудования, установленного в ЦОД, и взвесить все риски.