/ фото Rolf Brink CC / Система иммерсионного охлаждения
Одна из причин роста рынка — увеличение объемов обрабатываемых данных. Согласно исследованию IDC, к 2025 году объем данных, генерируемых человечеством, составит 163 зеттабайта. С ростом объемов данных растет и нагрузка на серверы в дата-центрах, особенно в тех, что занимаются высокопроизводительными вычислениями (HPC). Для охлаждения таких систем обычных воздушных установок уже недостаточно.
Например, для охлаждения тензорных процессоров Google (TPU), которые заточены под TensorFlow, ИТ-гиганту впервые пришлось использовать воду. Из-за того, что новое поколение процессоров (TPU 3.0) отличается мощностью и высоким энергопотреблением, воздушное охлаждение оказалось для них неприменимо.
Почему воздушное охлаждение уступает водяному
Клайв Лонгботтом (Clive Longbottom), директор по сервисному обслуживанию аналитической компании Quocirca, отмечает, что воздух не настолько хорош в качестве теплоносителя: по сравнению с водой он от 50 до 1000 раз хуже отводит тепло от оборудования.
Кроме того, традиционные установки для воздушного охлаждения занимают больше места и потребляют больше энергии. А это сказывается и на счетах за электричество. Поэтому в машинных залах дата-центров, где постоянно повышается плотность оборудования, использовать воздух для охлаждения становится невыгодно. По этой причине вентиляторы в ЦОД Агентства национальной безопасности США заменили системой иммерсионного охлаждения (о других альтернативных решениях мы писали в одном из постов).
Вали Сорелл (Vali Sorell), президент компании Sorell Engineering, занимающейся техническим проектированием зданий и прокладкой инженерных коммуникаций, и Марк Хурикен (Mark Hourican), управляющий партнер консалтинговой компании Syska Hennessy Group, полагают, что ЦОД-индустрия пока не готова взять и полностью отказаться от «инвестиций в воздух» и целиком перейти на охлаждение водой. В этом случае придется полностью перестраивать всю инфраструктуру ЦОД, что довольно дорого.
Однако компании, которым приходится работать с большими нагрузками, уже разрабатывают и применяют жидкостные системы охлаждения.
О технологиях жидкостного охлаждения ЦОД
Иммерсионное охлаждение. Одна из множества технологий жидкостного охлаждения — иммерсионное охлаждение (о котором мы уже рассказывали в блоге). Технология подразумевает полное погружение оборудования в специальную масляную среду. Главное достоинство технологии в том, что масло имеет более высокую теплопроводность, по сравнению с воздухом. Это помогает системе эффективнее поглощать тепло и удалять его избытки.
В 2015 году систему для погружного охлаждения представили Horizon Computing: в компании разработали специальный бокс для серверов, который заполняется минеральным маслом. Конструкция бокса поддерживает оптимальную температуру оборудования с помощью конвекции. Такой «контейнер» способен работать на улице без кондиционеров, а низкие затраты на изготовление и незамысловатый дизайн бокса позволяют использовать его без изменения инфраструктуры дата-центра.
Непрямое жидкостное охлаждение. Эту технологию уже используют в ЦОД Facebook: в начале июня компания продемонстрировала, как новая система охлаждения сделала ЦОД в Северной Каролине более энергоэффективным.
Представители Facebook отмечают, что в некоторых дата-центрах использовать фрикулинг невозможно из-за суровых природных условий или высокого уровня загрязнения воздуха (с этой проблемой, например, борются в Китае). Поэтому компания приняла решение разработать систему непрямого жидкостного охлаждения.
В основе системы лежит технология испарительного охлаждения. Вода для системы охлаждается в специальном теплообменнике, испаряясь через особый мембранный слой. Затем она охлаждает воздух внутри дата-центра, сохраняя оптимальную температуру серверов (схему работы технологии можно посмотреть в посте из блога Facebook).
Тестирование системы показало, что она способна уменьшить потребление воды в ЦОД на 20% (в местах с жарким и влажным климатом) и на 90% (в умеренных и холодных климатических условиях).
/ фото poolie CC
Теплообменники на задней части серверной стойки. В этом случае охлаждённая вода поступает непосредственно к стойке с оборудованием, удаляя избытки тепла. Эту технологию используют Lenovo в своем проекте Neptune: теплообменники уже применяют 30% клиентов компании для своих HPC-систем.
Помимо упомянутого теплообменника, в проект Neptune входят теплообменный модуль (Thermal Transfer Module) и система непосредственного охлаждения узлов (Direct to Node Cooling).
Модуль использует жидкость из теплопоглощающего резервуара, чтобы по специальным трубкам переместить избытки тепла от процессора в область с разреженным воздухом. Система имеет компактные размеры, потому позволяет уменьшить традиционный гул в серверной. А система непосредственного охлаждения доставляет холодную воду прямо к узлу и «снимает» лишнее тепло с ключевых компонентов системы.
Будущее технологий водяного охлаждения
Как говорят эксперты отрасли Сорелл и Хурикен, воздушное охлаждение полностью уступит водяному свое место тогда, когда применять его будет совершенно невыгодно или невозможно (например, из-за физических ограничений дата-центров). Однако специалисты прогнозируют, что переход не будет единовременным. Сперва распространятся гибридные технологии (например, системы на базе испарительных охладителей, как в Facebook), а затем уже будет осуществлен переход на прямо охлаждение с помощью воды.
В Lenovo также надеются, что применение водяного охлаждения выйдет за рамки HPC-систем и станет популярным среди обычных ЦОД. Для этого компания будет работать над снижением стоимости их реализации. Их цель — сделать системы водяного охлаждения дешевле и доступнее для обычных компаний.
P.S. Дополнительные материалы из Первого блога о корпоративном IaaS:
- Почему хороший IaaS-провайдер не должен иметь собственный ЦОД
- Наш unboxing: блейд-сервер Cisco UCS B480 M5
- На чем развернуть SAP: обзор основных платформ
P.P.S. Статьи по теме из нашего блога на Хабре:
- Почему нельзя так просто взять и внедрить «зеленые» технологии в ЦОД
- Дата-центры, похожие на курятники, и работа в Антарктиде: подборка необычных ЦОД
- UL 3223: представлен новый стандарт сертификации ЦОД
Основное направление деятельности компании ИТ-ГРАД — предоставление облачных сервисов:
Виртуальная инфраструктура (IaaS) | PCI DSS хостинг | Облако ФЗ-152 | Аренда 1С в облаке
Комментарии (16)
polearnik
06.07.2018 16:13а почему не делают уже готовые трубки с вваренными радиаторами для процов? Принцип расположения в стойке: спереди ввод охлажденной воды сзади она выливается в трубу больше диаметра ( типа канализации ) и идет на охлаждение. Я так понимаю основная проблема это то что соединяют радиаторы с силиконовыми трубками и это основное место протечек. А так все будет герметично и протечка возможна только за пределами стойкий
KiloLeo
06.07.2018 16:17И чего, можно обычный комп опустить в минеральное масло? Трансформаторное подойдёт? А вентиляторы в нём как будут крутиться? Или их заменяют на другие? Или вообще снимают? Как-то тема не раскрыта ИМХО.
200sx_Pilot
07.07.2018 03:13+1можно.
да.
вентилятор не нужен в масле.Y1975
07.07.2018 11:29Использовать лучше нейтральные силиконовые жидкости. Кроме вентилятора, надо демонтировать и радиаторы, т.к. лишнее тепловое сопротивление между корпусом проца и жидкостью. А подумать, так и крышку процессора надо снять — лишнее тепловое сопротивление. Пусть синтетика омывает кристаллы.
KiloLeo
07.07.2018 19:59Если всё так просто, почему обычные десктопы не делают бесшумными? Берётся тазик, заливается трансформаторным маслом (не знаю что за силиконовые жидкости и сколько они стоят, но масло доступно) снимаем все вертушки и опускаем системный блок. И вуаля — ни шума, ни пыли на вентиляторах, разгоняй-не хочу! Что-то тут не так.
rogoz
07.07.2018 20:11habr.com/post/181708
Думаю гемор с маслом всё-таки.KiloLeo
08.07.2018 15:13Никакого особого гимора не увидел. Только удивился что масло — ПОДСОЛНЕЧНОЕ! :-)
Y1975
08.07.2018 14:42Энтузиасты делают: habr.com/post/181003
Погугли «компьютер в масле». На трубе полно роликов.
Kitsok
07.07.2018 13:29А как будут работать шпиндели в масле?
Y1975
07.07.2018 13:45«А как будут работать шпиндели в масле?»- если вы про HDD, то современные абсолютно герметичны, ибо заполнены гелием. (кстати: геметичными их можно было делать и 20 лет назад — для температурной компенсации внутрь надо было вкладывать маленький запаянный воздушный шарик))
Kitsok
07.07.2018 13:53Да, про HDD.
К сожалению, далеко не все винчестеры гелиевые, воздушных больше, и стоят они дешевле, и не всегда есть возможность оторвать их от сервера в выделенную, отдельно охлаждаемую воздухом полку, так что пока иммерсионное охлаждение не все 100% случаев покрывает...Y1975
07.07.2018 14:27Это да, но имерсионное охлаждение реально пойдет в массы только лет через 5-7 (если не позже) с новым циклом замены оборудования, и «воздушные» HDD как раз поменяете на гелиевые.
Y1975
07.07.2018 15:09А вообще, к сожалению, новые технологии пробивают дорогу медленно. Сигейт уже давно обещал, что одноблинные 3.5`` HDD будут вмещать 120 Тб, а 9-ти дисковые соответственно до 1 Пб. Ждем-с.
200sx_Pilot
habr.com/company/3mrussia/blog/206658
zxweed
жидкости novec стоят невероятно дорого, в районе 50-100 долл за литр, а заправляются они тоннами
dimatl
И вроде ещё быстро испаряются, нужен постоянный долив.