Согласно прогнозам Stratistics MRC, к 2023 году стоимость рынка технологий водяного охлаждения в ЦОД достигнет 4,55 млрд долларов. Под катом разбираемся в причинах роста спроса на такие разработки и рассказываем о самих технологиях, которые развиваются в этой области.


/ фото Rolf Brink CC / Система иммерсионного охлаждения

Одна из причин роста рынка — увеличение объемов обрабатываемых данных. Согласно исследованию IDC, к 2025 году объем данных, генерируемых человечеством, составит 163 зеттабайта. С ростом объемов данных растет и нагрузка на серверы в дата-центрах, особенно в тех, что занимаются высокопроизводительными вычислениями (HPC). Для охлаждения таких систем обычных воздушных установок уже недостаточно.

Например, для охлаждения тензорных процессоров Google (TPU), которые заточены под TensorFlow, ИТ-гиганту впервые пришлось использовать воду. Из-за того, что новое поколение процессоров (TPU 3.0) отличается мощностью и высоким энергопотреблением, воздушное охлаждение оказалось для них неприменимо.

Почему воздушное охлаждение уступает водяному


Клайв Лонгботтом (Clive Longbottom), директор по сервисному обслуживанию аналитической компании Quocirca, отмечает, что воздух не настолько хорош в качестве теплоносителя: по сравнению с водой он от 50 до 1000 раз хуже отводит тепло от оборудования.

Кроме того, традиционные установки для воздушного охлаждения занимают больше места и потребляют больше энергии. А это сказывается и на счетах за электричество. Поэтому в машинных залах дата-центров, где постоянно повышается плотность оборудования, использовать воздух для охлаждения становится невыгодно. По этой причине вентиляторы в ЦОД Агентства национальной безопасности США заменили системой иммерсионного охлаждения (о других альтернативных решениях мы писали в одном из постов).

Вали Сорелл (Vali Sorell), президент компании Sorell Engineering, занимающейся техническим проектированием зданий и прокладкой инженерных коммуникаций, и Марк Хурикен (Mark Hourican), управляющий партнер консалтинговой компании Syska Hennessy Group, полагают, что ЦОД-индустрия пока не готова взять и полностью отказаться от «инвестиций в воздух» и целиком перейти на охлаждение водой. В этом случае придется полностью перестраивать всю инфраструктуру ЦОД, что довольно дорого.

Однако компании, которым приходится работать с большими нагрузками, уже разрабатывают и применяют жидкостные системы охлаждения.

О технологиях жидкостного охлаждения ЦОД


Иммерсионное охлаждение. Одна из множества технологий жидкостного охлаждения — иммерсионное охлаждение (о котором мы уже рассказывали в блоге). Технология подразумевает полное погружение оборудования в специальную масляную среду. Главное достоинство технологии в том, что масло имеет более высокую теплопроводность, по сравнению с воздухом. Это помогает системе эффективнее поглощать тепло и удалять его избытки.

В 2015 году систему для погружного охлаждения представили Horizon Computing: в компании разработали специальный бокс для серверов, который заполняется минеральным маслом. Конструкция бокса поддерживает оптимальную температуру оборудования с помощью конвекции. Такой «контейнер» способен работать на улице без кондиционеров, а низкие затраты на изготовление и незамысловатый дизайн бокса позволяют использовать его без изменения инфраструктуры дата-центра.

Непрямое жидкостное охлаждение. Эту технологию уже используют в ЦОД Facebook: в начале июня компания продемонстрировала, как новая система охлаждения сделала ЦОД в Северной Каролине более энергоэффективным.

Представители Facebook отмечают, что в некоторых дата-центрах использовать фрикулинг невозможно из-за суровых природных условий или высокого уровня загрязнения воздуха (с этой проблемой, например, борются в Китае). Поэтому компания приняла решение разработать систему непрямого жидкостного охлаждения.

В основе системы лежит технология испарительного охлаждения. Вода для системы охлаждается в специальном теплообменнике, испаряясь через особый мембранный слой. Затем она охлаждает воздух внутри дата-центра, сохраняя оптимальную температуру серверов (схему работы технологии можно посмотреть в посте из блога Facebook).

Тестирование системы показало, что она способна уменьшить потребление воды в ЦОД на 20% (в местах с жарким и влажным климатом) и на 90% (в умеренных и холодных климатических условиях).


/ фото poolie CC

Теплообменники на задней части серверной стойки. В этом случае охлаждённая вода поступает непосредственно к стойке с оборудованием, удаляя избытки тепла. Эту технологию используют Lenovo в своем проекте Neptune: теплообменники уже применяют 30% клиентов компании для своих HPC-систем.

Помимо упомянутого теплообменника, в проект Neptune входят теплообменный модуль (Thermal Transfer Module) и система непосредственного охлаждения узлов (Direct to Node Cooling).

Модуль использует жидкость из теплопоглощающего резервуара, чтобы по специальным трубкам переместить избытки тепла от процессора в область с разреженным воздухом. Система имеет компактные размеры, потому позволяет уменьшить традиционный гул в серверной. А система непосредственного охлаждения доставляет холодную воду прямо к узлу и «снимает» лишнее тепло с ключевых компонентов системы.

Будущее технологий водяного охлаждения


Как говорят эксперты отрасли Сорелл и Хурикен, воздушное охлаждение полностью уступит водяному свое место тогда, когда применять его будет совершенно невыгодно или невозможно (например, из-за физических ограничений дата-центров). Однако специалисты прогнозируют, что переход не будет единовременным. Сперва распространятся гибридные технологии (например, системы на базе испарительных охладителей, как в Facebook), а затем уже будет осуществлен переход на прямо охлаждение с помощью воды.

В Lenovo также надеются, что применение водяного охлаждения выйдет за рамки HPC-систем и станет популярным среди обычных ЦОД. Для этого компания будет работать над снижением стоимости их реализации. Их цель — сделать системы водяного охлаждения дешевле и доступнее для обычных компаний.



P.S. Дополнительные материалы из Первого блога о корпоративном IaaS:


P.P.S. Статьи по теме из нашего блога на Хабре:




Основное направление деятельности компании ИТ-ГРАД — предоставление облачных сервисов:

Виртуальная инфраструктура (IaaS) | PCI DSS хостинг | Облако ФЗ-152 | Аренда 1С в облаке



Комментарии (16)


  1. 200sx_Pilot
    06.07.2018 02:17

    habr.com/company/3mrussia/blog/206658

    Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению


    1. zxweed
      06.07.2018 11:11

      жидкости novec стоят невероятно дорого, в районе 50-100 долл за литр, а заправляются они тоннами


      1. dimatl
        06.07.2018 11:33

        И вроде ещё быстро испаряются, нужен постоянный долив.


  1. polearnik
    06.07.2018 16:13

    а почему не делают уже готовые трубки с вваренными радиаторами для процов? Принцип расположения в стойке: спереди ввод охлажденной воды сзади она выливается в трубу больше диаметра ( типа канализации ) и идет на охлаждение. Я так понимаю основная проблема это то что соединяют радиаторы с силиконовыми трубками и это основное место протечек. А так все будет герметично и протечка возможна только за пределами стойкий


  1. KiloLeo
    06.07.2018 16:17

    И чего, можно обычный комп опустить в минеральное масло? Трансформаторное подойдёт? А вентиляторы в нём как будут крутиться? Или их заменяют на другие? Или вообще снимают? Как-то тема не раскрыта ИМХО.


    1. 200sx_Pilot
      07.07.2018 03:13
      +1

      можно.
      да.
      вентилятор не нужен в масле.


      1. Y1975
        07.07.2018 11:29

        Использовать лучше нейтральные силиконовые жидкости. Кроме вентилятора, надо демонтировать и радиаторы, т.к. лишнее тепловое сопротивление между корпусом проца и жидкостью. А подумать, так и крышку процессора надо снять — лишнее тепловое сопротивление. Пусть синтетика омывает кристаллы.


        1. KiloLeo
          07.07.2018 19:59

          Если всё так просто, почему обычные десктопы не делают бесшумными? Берётся тазик, заливается трансформаторным маслом (не знаю что за силиконовые жидкости и сколько они стоят, но масло доступно) снимаем все вертушки и опускаем системный блок. И вуаля — ни шума, ни пыли на вентиляторах, разгоняй-не хочу! Что-то тут не так.


          1. rogoz
            07.07.2018 20:11

            habr.com/post/181708
            Думаю гемор с маслом всё-таки.


            1. KiloLeo
              08.07.2018 15:13

              Никакого особого гимора не увидел. Только удивился что масло — ПОДСОЛНЕЧНОЕ! :-)


          1. Y1975
            08.07.2018 14:42

            Энтузиасты делают: habr.com/post/181003
            Погугли «компьютер в масле». На трубе полно роликов.


      1. Kitsok
        07.07.2018 13:29

        А как будут работать шпиндели в масле?


        1. Y1975
          07.07.2018 13:45

          «А как будут работать шпиндели в масле?»- если вы про HDD, то современные абсолютно герметичны, ибо заполнены гелием. (кстати: геметичными их можно было делать и 20 лет назад — для температурной компенсации внутрь надо было вкладывать маленький запаянный воздушный шарик))


          1. Kitsok
            07.07.2018 13:53

            Да, про HDD.
            К сожалению, далеко не все винчестеры гелиевые, воздушных больше, и стоят они дешевле, и не всегда есть возможность оторвать их от сервера в выделенную, отдельно охлаждаемую воздухом полку, так что пока иммерсионное охлаждение не все 100% случаев покрывает...


            1. Y1975
              07.07.2018 14:27

              Это да, но имерсионное охлаждение реально пойдет в массы только лет через 5-7 (если не позже) с новым циклом замены оборудования, и «воздушные» HDD как раз поменяете на гелиевые.


  1. Y1975
    07.07.2018 15:09

    А вообще, к сожалению, новые технологии пробивают дорогу медленно. Сигейт уже давно обещал, что одноблинные 3.5`` HDD будут вмещать 120 Тб, а 9-ти дисковые соответственно до 1 Пб. Ждем-с.