Центр обработки данных — достаточно энергозатратная система. Большое количество энергии требуют как ИТ-инфраструктура, так и системы её охлаждения. 

Считается, что в мировом масштабе центры обработки данных потребляют около 3% от общего уровня потребления электроэнергии в мире, и, скорее всего, эта доля будет расти. Кроме того, с развитием высокопроизводительных процессоров будет увеличиваться количество тепла, выделяемого серверами. Уже сейчас системы охлаждения ЦОДа могут потреблять 30-50% от общего энергопотребления.

Также есть мнение, что через какое-то время традиционные воздушные системы охлаждения серверов перестанут справляться с теплоотведением оборудования, то есть воздух будет забирать тепло от нагревающихся элементов медленнее, чем эти элементы будут его генерировать. Если не внедрять способы решения проблем охлаждения, то рост температуры будет приводить к снижению производительности и систематическим отказам. 

Вопрос экономии также играет роль – в некоторых случаях внедрение альтернативных источников охлаждения может помочь на порядок сократить капитальные и операционные расходы. Всё это обуславливает интерес операторов центров обработки данных к альтернативным способам охлаждения оборудования. Как следствие, все это приводит к росту новых разработок и исследований. Впереди всех тут, конечно же, крупные компании, например, Майкрософт, тоже ведущий исследования в этой области.

Сегодня я хотел бы поговорить об иммерсионном охлаждении – любопытной концепции, известной давно, но так и не вышедшей в отрасли охлаждения компьютерных систем в сколь-либо массовый продакшен. 

Что же это такое?

Перевод слова “immersion” на русский язык сразу дает представление о сути этой технологии – погружение. Иммерсионное охлаждение заключается в погружении рабочей машины (сервера) или отдельных его компонентов: материнской платы с процессором, видеокарты, дисков, блока питания и так далее – в теплопроводную диэлектрическую жидкость, которая обеспечивает отбор тепла от устройства, не затрагивая при этом (в силу непроводимости) работы электроники. 

Вообще, в последние годы системы жидкостного охлаждения серверов и ПК набирают популярность. Например, у нас в FirstVDS на часть серверов установлены CPU-водоблоки, и, думаю, у каждого найдется хотя бы пара товарищей-геймеров, использующих такой тип охлаждения на своих игровых станциях. 

Обычным пользователям такая система без надобности, но если речь идет о высокопроизводительных машинах, вода, обладая большей по сравнению с воздухом теплоёмкостью, позволяет эффективнее отводить тепло от нагревающихся элементов системы, сохраняя их работоспособность. Однако жидкостная система охлаждения не обязательно должна быть реализована через установку водоблоков, трубок, помпы и, собственно, жидкости, циркулирующей через такую систему.

У иммерсионного охлаждения другой подход, менее традиционный. Бесспорно, его можно назвать разновидностью жидкостного охлаждения, но оно не требует наличия герметичного контура для хладагента, что, очевидно, выгоднее с точки зрения упрощения конструкции, также при таком подходе охлаждается весь сервер, а не только узлы под водоблоками. 

Надо сказать, что иммерсионное охлаждение оборудования началось, конечно, не с серверов. Еще в XIX веке практиковалось охлаждение трансформаторов путем погружения в масляную ванну. Это до сих пор является общепринятой практикой, а трансформаторное масло в современной классификации – это отдельный вид минеральных масел, со своим ГОСТ и так далее. Кстати, трансформаторные масла также применяются как охлаждающие жидкости для иммерсионных ванн. 

Разберемся более подробно

Сервер погружается в некую ванну, заполненную диэлектрической жидкостью. Предварительно с сервером не совершается никаких специальных манипуляций, исключением может быть разве что демонтаж корпуса (частичный или полный), радиаторов и кулеров воздушного охлаждения. Жидкость, находящаяся в прямом контакте с нагревающимися частями сервера, отводит тепло, а затем охлаждается в чиллере или с помощью иного теплообменника. 

Диэлектрические жидкости, используемые в иммерсионных системах, по виду вещества можно поделить на две категории:  

• Масла. Минеральные, синтетические, силиконовые — тысячи их! В качестве примера можно привести, например, STE Oil Crystal Plus 70T или Блюмид. 

• Фторуглероды. Такие, как 3M Novec и Fluorinert. 

И также диэлектрические жидкости делятся на двухфазные и однофазные: 

• Двухфазные жидкости — во время цикла охлаждения оборудования жидкость превращается в газ, т. е. испаряется. Получившийся пар охлаждается с помощью конденсатора, обычно это змеевики с проточной водой, которые располагаются в верхней части иммерсионной ванны (внимание на картинку). В результате пар конденсируется и в жидком виде капает обратно. Такие жидкости характеризуются низкой точкой кипения, как правило, около 60 градусов Цельсия. Для такого типа охлаждения используются только герметичные резервуары.

• Однофазные жидкости — жидкость все время находится в одном агрегатном состоянии. Такой подход требует циркуляции диэлектрической жидкости в резервуаре с помощью насосов или естественной конвекции, они никогда не доводятся до кипения. Для охлаждения жидкость прокачивается через теплообменник. Жидкости для однофазного иммерсионного охлаждения характеризуются высокой точкой кипения. Резервуар для однофазной жидкости может быть открытым. 

Плюсы иммерсионного охлаждения

• Жидкость, обладая бóльшей, чем воздух, теплоёмкостью, позволяет отводить от устройства бóльшее количество тепла. Это даёт возможность использовать более высокопроизводительные CPU/GPU, вырабатывающие большое количество тепла, не боясь их перегрева и выхода из строя, а также позволит размещать оборудование более плотно, экономя пространство.

• Иммерсионное охлаждение исключает явление локального нагрева, потому что охлаждает всю поверхность устройства равномернее, чем при воздушном охлаждении или, тем более, непрямом жидкостном охлаждении, то есть через водоблоки. Такой подход повышает, в том числе, срок службы устройств.

• Снижение затрат на электроэнергию за счет отказа от инфраструктуры воздушного охлаждения в пользу иммерсионной, например, отпадает необходимость фальшпола и закрытых холодных коридоров. Благодаря более эффективному охлаждению коэффициент PUE приближается к единице. 

• Повышение вычислительной мощности. Эффективная система охлаждения позволяет разгонять устройства до максимума без риска перегрева. 

• Исключение попадания пыли и грязи. Вентиляторы воздушной системы охлаждения переносят частицы, которые потенциально могут стать причиной сбоя в оборудовании. Иммерсионный подход решает эту проблему, повышая надежность устройств. 

• В случае применения негорючих диэлектрических жидкостей отсутствует необходимость в сложных системах пожаротушения.

• Отсутствие шума.

Что же, список преимуществ выглядит солидно. Обычно сторонники иммерсионного охлаждения ЦОД в своих материалах после перечисления вышеописанных достоинств начинают рассуждать о “принципиально новом подходе” и “технологическом прорыве”. Однако, если игнорировать маркетинговую составляющую, сложно не заметить, что иммерсионные решения практически не используются в ЦОДах. Подавляющее большинство операторов ЦОД в России и мире строит и использует инфраструктуру под воздушное охлаждение, а иммерсионный подход используется в основном в майнинге и в небольшом количестве экспериментальных программ. Почему так происходит? 

Чтобы ответить на этот вопрос, необходимо проанализировать плюсы, перечисленные выше.  

Недостатки иммерсионного охлаждения

Список достоинств, приведенный выше, с незначительными вариациями можно встретить на любом сайте компании-производителя иммерсионных жидкостей, оборудования или иных подобных решений для майнинга и ЦОД. На мой взгляд, он правдив и объективен, однако количество возникающих при переходе на иммерсионное охлаждение вопросов перевешивает плюсы, особенно если рассматривать их “у станка” – находясь в работающем дата-центре, умозрительно прикидывать узкие места того или иного аспекта. 

• Утилизация тепла. Иммерсионная жидкость, отводя тепло более эффективно и в бóльших количествах, действительно позволяет размещать сверхвысоконагруженные стойки (до 100 кВт на стойку против 12-15 кВт при воздушном охлаждении). Но отвести тепло от серверов это только половина задачи, главный вопрос — это утилизация тепла, эта проблема никуда не пропадает. В любом случае придется использовать теплообменники гораздо более производительные и дорогие, чем в системах с воздушным охлаждением. Это, в свою очередь, снижает экономию на электроэнергии.

• Гарантия на оборудование. Поскольку все серверы архитектурно приспособлены не под иммерсионное охлаждение, а под воздушное, производитель по умолчанию будет рассматривать как негарантийные все случаи поломок и дефектов используемого с иммерсионными системами оборудования. Единственное исключение, которое я нашел, упоминается в этой новости на Хабре. Такой сервер, наверное, под гарантию попадет :)

Кроме того, некоторые виды жестких дисков невозможно использовать в жидкостной среде в принципе – перестает крутиться шпиндель из-за более плотной среды. Использовать в иммерсионных ваннах можно только герметичные гелиевые HDD или твердотельные накопители.

• Горячая замена и обслуживание. Вызывает вопросы возможность замены дисков без остановки сервера, а также его включение-выключение-ребут по кнопке. Чтобы произвести каждую из этих операций в обычном ЦОДе, инженеру надо просто открыть стойку, а в случае иммерсионной ванны сервер необходимо достать, дождаться стекания иммерсионной жидкости… В схеме с двухфазным охлаждением ситуация будет еще сложнее из-за требований к герметичности резервуаров. В общем, если горячая замена и будет реализуема в принципе, то её скорость снижена в разы в сравнении с классической стойкой.

В целом, весь процесс обслуживания физического сервера будет занимать больше времени, чем обычно – достать сервер из иммерсионной ванны и подготовить к сервису дольше, чем из обычной стойки. Это влияет на статистику простоя.

Также сомнительна фактическая полезность некоторых часто озвучиваемых поставщиками иммерсионных услуг преимуществ:

• Отсутствие шума. Никто не будет делать иммерсионный проект только из-за желания избавиться от звукового загрязнения. Бесшумность оборудования может быть важна для домашнего майнинга, но в ЦОДе снаружи слышно не будет, а внутри сотрудникам дадут противошумные наушники. Кстати, прочитать о том, как наша дежурная смена подбирает средства шумозащиты, можно в этой статье. 

• Экономия пространства. Сверхплотное размещение серверов, которое становится возможным с использованием иммерсионного охлаждения, должно иметь под собой какое-то объективное обоснование. А не просто потому, что так  можно или захотелось. 

Например, таким обоснованием может стать высокая стоимость земли – если цена квадратного метра $10000, то, наверное, игра в экономию площади стоит свеч.

Вторая причина - ограниченное пространство. Если вы майнер и в вашем распоряжении  только площадь своей квартиры или гаража, но при этом вы хотите снимать с фермы не 10 кВт, а 80, то внедрение иммерсионных ванн с хэш-платами в них вместо традиционного воздушного охлаждения будет целесообразно. 

Если рассматривать не майнинг, а дата-центры, то серьезное ограничение пространства может возникнуть из-за необходимости разместить большие мощности на небольшой площади офиса в силу, например, политик безопасности, но я не видел таких кейсов на практике.

Еще один момент. При строительстве дата-центра сложность представляет не поиск места под строительство нужной площади, а поиск электричества. Другими словами, для традиционного ЦОДа сложно найти 10 МВт, а площадь под строительство ЦОДа такого размера значительно легче. Особенно эта проблема актуальна в условиях города. 

• Повышение срока службы устройств. Да, за счет эффективного теплоотведения снижается нагрев приборов, и серверы служат дольше. Однако даже в традиционных, “воздушных” ЦОДах давно действует правило “Устареет быстрее, чем сломается”. В данный момент нужды в вечных серверах нет, а срок годности стандартного сервера – 5 лет, после чего его место занимает более производительный собрат. Таким образом, сильная нужда в повышении срока службы сервера отсутствует. 

• Исключение попадания пыли и грязи. Серьезная проблема потенциально, однако достаточно легко решаемая клинингом. В Ixcellerate влажная чистка пола проходит раз в день, вход в машзал осуществляется только в бахилах, уборку стоек и чистку серверов мы проводим регулярно. 

Иногда еще, в приложение к словам об исключении попадания пыли, начинают писать о пользе демонтажа серверных кулеров в процессе “подготовки к погружению” платформ в ванны, якобы они часто ломаются, что влечет за собой перегрев и простой сервера. Звучит сомнительно – за все годы работы в дата-центре ни у одного из наших серверов я не видел отказавшего вентилятора. 

Заключение

Мое мнение — системы иммерсионного охлаждения, в силу вышеописанных причин, не смогут занять место традиционных систем в центрах обработки данных в обозримой перспективе. В ближайшее время целесообразно лишь их точечное применение под определенные задачи: в сфере высокопроизводительных вычислений, при сверхплотном размещении мощностей в силу ограниченного пространства или для лабораторных исследований. 

Возможно, дальнейшее развитие мощных процессоров даст импульс к более широкому применению иммерсионного охлаждения, если окажется, что другие системы более не способны отводить тепло от столь мощных систем.

P.S. Этот материал я написал, готовясь к созданию своей иммерсионной фермы из нескольких серверов в образовательных целях, чтобы немного структурировать свои мысли на бумаге. Всё вышеописанное - мое личное мнение, и я с удовольствием прочитаю ваше в комментариях под постом. Спасибо.