Выставка SC (Supercomputing Conference) посвящена высоким технологиям. Если точнее, то на этой выставке демонстрируются суперкомпьютеры и сопутствующие технологии. С каждым годом на этой выставке показывается все больше систем с жидкостным охлаждением, плюс увеличивается количество компаний, которые эти технологии демонстрируют. Всего пару десятков назад жидкостное охлаждение для серверов показывали лишь такие известные технокомпании, как Cray-2 и IBM. И то, по большей части, в качестве концепта.

Сейчас же количество производителей выросло, а разнообразие технологий впечатляет: на новой SC показывались как полноконтакнтные системы, так и системы полного погружение. В общем-то, утверждение, что жидкостные системы в ряде случаев гораздо более эффективны, чем охлаждение воздухом, сомнений не вызывает. Но раньше эксплуатация жидкостных систем была проблемной. Сейчас появились новые практичные решения, которые не вызывают никаких сложностей в работе и обслуживании.

Кроме того, использование систем жидкостного охлаждения помогает экономить средства. По словам специалистов, снижение эксплуатационных расходов в случае работы с жидкостями вместо воздуха составляет вплоть до 40%.

Об эффективности этих систем можно судить и по тому, что в списке наиболее производительных компьютеров мира Top 500 представлено несколько систем, которые используют жидкостное охлаждение. Есть и схожий рейтинг, Green500, в котором показаны наиболее производительные системы, использующие те либо иные «зеленые» технологии. Здесь еще больше мощных компьютеров с жидкостными системами охлаждения, некоторые из них представлены в топ-10.

Достоинством жидкостного охлаждения является и возможность более плотного размещения оборудования. Тепло отводится более эффективно, чем в случае воздушных систем, так что расстояние между оборудованием может быть значительно меньшим, чем обычно. Отдельные элементы серверов могут работать в более активном режиме, чем обычно, поскольку, снова-таки, тепло отводится быстро и без проблем. А еще — меньше шума, чем в случае работы с системами, где есть активное охлаждение с вентиляторами. Поэтому можно избежать зависимости «больше серверов — больше шума». Жидкостные системы охлаждения тоже генерируют звук, но не такой сильный, как их воздушные «родственники».

Достоинств здесь много, но о них, по большей части, известно все. Давайте лучше посмотрим, какие компании представили новые технологии на выставке.

Компания Aquila продемонстрировала анонсированную ранее серверную систему Aquarius с водяным охлаждением. Эта система предназначена для размещения в стойках, изготовленных по стандарту Open Compute Project (OCP). Партнером этой компании стала Clustered Systems, которая предложила собственную технологию охлажденных пластин.

Специалисты Asetek показали собственный вариант прямоконтактных систем жидкостного охлаждения. Здесь используется теплая, а не холодная, вода. Партнеров у проекта довольно много. Из числа прочих можно назвать Cray, Fujitsu, Format, Penguin, HPE, NVIDIA и Intel. Решение компании уже используются — например, машина QPACE3 (разработана специалистами Университета Регенсбурга), которая находится на 5-м месте рейтинга суперкомпьютеров Green500 работает как раз с жидкостной системой охлаждения.

Вендор CoolIT Systems продемонстрировал еще несколько решений прямоконтактных систем. С ними работают Hewlett Packard Enterprise Apollo 2000 System, Dell PowerEdge C6320, NEC Blue Marlin, а также Lenovo NeXtScale. Эта компания показала и микроЦОД собственной конструкции.

Компания Ebullient показала систему двухфазного охлаждения для серверов внутри дата-центров. Здесь используется охлаждающая жидкость с низким давлением. Теплоноситель закачивается в герметичные модули, устанавливаемые на процессоры в серверах. Жидкость получает тепло от процессоров и уводит его по шлангам в центральный блок для охлаждения. Работать такая система может с практически любым сервером.

Еще одна универсальная система — CarnotJet System от Green Revolution Cooling. Она, как и предыдущий вариант, совместима практически со всеми стоечными серверами любого из производителей. Такие системы можно устанавливать в специализированных стойках, которые заполнены специальным минеральным маслом.

LiquidCool Solutions (о ней когда-то уже писали на Хабре) представила обновленные решения для полного погружения электроники в диэлектрическую жидкость. Эту жидкость компания разработала самостоятельно. Кроме того, производитель показал два новых сервера на основе платформы Clamshell. Первый сервер — Submerged Cloud Server (4-хузеловой сервер высотой 2U для облачных платформ ) и Submerged GPU Server (2-хузловой GPU-сервер высотой 2U. Последняя модель может быть оснащена сразу четырьмя GPU-картами или четырьмя ускорителями Xeon Phi.


HPE Apollo

Специалисты LiquidMips показали оригинальный вариант системы охлаждения сервера с одним процессорным чипом с погружением в хладагент 3M Fluorinert. К сожалению, это лишь концепт, который еще не реализован на практике.

Не обошлось и без китайских производителей. Так, компания Inspur Systems Inc., дочернее подразделение Inspur Group показала свои системы жидкостного охлаждения с двумя типами растворов. Одно из решений — охлаждение чипов путем прямого контакта с жидкостью. Китайцы утверждают, что их система позволяет значительно увеличить производительность и одновременно снизить эксплуатационные расходы.

Allied Control рассказала о своем достижении — совместном с другими компаниями создании дата-центра мощностью в 40 МВт, с использованием системы погружного охлаждения. В результате удалось добиться установки оборудования с плотностью в 252 КВт на одну стойку. В системе используется диэлектрическая жидкость 3M Novec.

Известный вендор из Китая, компания Huawei показала новый сервер HPC FusionServer X6000 с жидкостным охлаждением. Здесь используется отвод от процессора при помощи микроканалов. Охлаждающая жидкость течет через модули памяти. Температура жидкости на входе предлагается в районе 50 градусов Цельсия, что снижает показатель совокупной стоимости и одновременно обеспечивает высокую энергоэффективность.

Fujitsu показала новый тип дата-центра с «облачными» серверами, хранилищем и прочими элементами. В дата-центре используется объединенная система погружного жидкостного охлаждения, которая обычно используется для суперкомпьютеров. Но Fujitsu применила ноу-хау и добилась возможности использования такой системы для стандартных серверов.

Можно ли использовать жидкостное охлаждение для уже работающих серверов?


Как правило, нет. Использование ЖКО, как правило, устанавливается для новых систем. Конечно, при желании все возможно, но в общем случае дата-центру понадобится много времени и усилий для того, чтобы установить жидкостные системы охлаждения для уже установленного и работающего оборудования. Наверное, кое-какие системы такого типа есть, но они не слишком известны.

А модифицировать серверы все равно придется — так, в большинстве случаев нужно будет снимать кулеры, устанавливая новые охладительные элементы. Придется переоборудовать и стойки. В большинстве случаев, такого рода модификации потребуют не только много времени, но и значительных вложений.

Как бы там ни было, а рынок систем жидкостного охлаждения постепенно растет. Аналитики считают, что в 2020 году объем рынка составит около $960 млн. Выставка SC — это, можно сказать, окно в будущее, которое показывает нам, как изменится рынок систем охлаждения в ближайшее время. ЖКО могут оказаться незаменимыми для высоконагруженного оборудования, которое используется в таких сферах, как разработка ИИ, Big Data и т.п.

P.S: по просьбам Хабра пользователей мы продлили акцию «Пожизненная скидка -25%» до 22 марта 2017 включительно.

Поделиться с друзьями
-->

Комментарии (12)


  1. Riod
    16.03.2017 18:13

    При классическом охлаждении воздух отдает тепло жидкости, которая охлаждается чилерной системой если я правильно понимаю.

    Почему нельзя построить цод над трубой магистрального водопровода, и через теплообменник отдавать тепло этому самому водопроводу?


    1. Riod
      16.03.2017 18:19

      В идеале даже система должна выглядеть так:
      Холодная вода -> ЦОД -> чуть более теплая вода ->ТЭЦ -> Горячая вода

      Получится что и ЦОД экономит энергию охлаждаясь проточной водой, и ТЭЦ получает на вход чуть более теплую воду, что уменьшает затраты на дальнейший прогрев.


      1. FuzzyWorm
        16.03.2017 18:38

        ТЭЦ, как ни странно, не выгодно получать на вход чистую воду, даже чуть более теплую. Вода для батарей и бойлерных (которые уже и греют воду для нашего горячего крана) обрабатывается специальными небесплатными химикатами (антинакипином в просторечии) и циркулирует по замкнутому кругу. Ее потери в системе — это важный параметр, который стараются как можно сильнее уменьшить. Один ЦОД, конечно, погоду не сделает, но и прецедентов никто создавать не будет.


    1. FuzzyWorm
      16.03.2017 18:32

      Потому что за потребление холодной воды придется платить, водоканал вас заставит поставить счетчик на водоотвод. А слегка нагретую воду обратно не примет — и учет ее возврата организовывать сложно и неинтересно, и главное — кто будет отвечать, если вдруг она загрязнится?
      Так что считайте деньги, может, оно и выгоднее окажется — покупать питьевую водопроводную воду, греть ее и сливать в канализацию.


      1. Riod
        16.03.2017 18:48

        То есть вы рассматриваете только Российскую действительность и местные бюрократические проблемы в качестве препятствий для реализации проекта?


        1. vadimr
          16.03.2017 19:29

          А в какой стране согласятся принимать чужую тёплую воду?


          1. Riod
            16.03.2017 19:37

            Давайте не будем углубляться в бюрократические вопросы. Для примера рассмотрим страну которая согласится. Технические препятствия подсказать можете?


            1. vadimr
              16.03.2017 19:45

              Техническое препятствие состоит в том, что вы предлагаете просто спихнуть свою проблему с тепловыделением на других водопользователей. Это не решение технической задачи, а жульничество. Даже если не рассматривать загрязнение, то большинство стран теплее России, и подогрев холодной воды означает снижение её потребительских качеств.

              Хотя финны, вроде, рассматривали возможность греть Ботнический залив.


              1. Riod
                16.03.2017 19:54

                То есть вы признаете, что в некоторых регионах такой вариант в принципе возможет, и возможно будет достаточно эффективен?


                1. vadimr
                  16.03.2017 19:57

                  Они не в водопровод собирались возвращать, а крутить в замкнутом контуре, отдающем тепло морской воде. Но я не знаю, разрешили ли им экологи.


            1. FuzzyWorm
              17.03.2017 10:40

              Технические препятствия состоят в том, что подготовка воды — довольно сложный процесс, а результат его строго регламентируется — и это во всех странах. Таким образом, если вы участвуете в этом процессе, закачивая нечто в водопроводную трубу (и неважно, что это нечто только что оттуда же и взято), то вам придется построить и эксплуатировать в ЦОДе кусочек вот такого:
              image, включая насосы высокого давления, фильтры, деаэраторы, обеззараживатели и химические датчики.


            1. Igor_O
              17.03.2017 13:34

              Главное препятствие — SLA. Вы должны будете подписаться обеспечивать гарантированный объем и температуру. Температуру вы должны будете выдерживать достаточно точно. И объем…
              Пока все проекты, про которые слышал, с попытками утилизировать тепло ЦОД и суперкомпьютеров или чистый маркетинг, вроде теплого пола в фойе суперкомпьютерного центра в Швейцарии, или принципиально не могут окупаться, т.к. приходится в дополнение к системе охлаждения ЦОД городить бойлерную и кучу хитрой автоматики, которые должны будут обеспечить догрев воды до оговоренной температуры и объема во время пониженной нагрузки ЦОД. А главное — спроектировать такой ЦОД, чтобы его можно было потом сертифицировать в Utime на Tier, например, III… Это будет веселое развлечение!