Привет, Хабр!

Компьютерная техника с точки зрения КПД — удивительная вещь. Весь современный цифровой мир построен на устройстве, принципиально превращающий в тепло всю полученную энергию. К настоящему времени, когда человечество максимально приблизилось к пределу кремниевых полупроводников, а уменьшать токи в транзисторах, уменьшая их физические размеры стало значительно сложнее, прирост производительности связан напрямую в основном с приростом энергопотребления. Тем самым, вычислительная способность ограничена лишь тем, сколько тепла мы сможем отвести.

Компьютерные энтузиасты занимались этим годами, но с ростом потребности в дата‑центрах к проблеме подключились и специалисты других отраслей, привнося новые подходы к старым задачам.

Как раз такой проект и пришёл нам (инженеру холодильной техники и инженеру‑компьютерному энтузиасту) в голову. И не первый раз! Предыдущий проект был обычной проверкой гипотезы, тем не менее: В качестве Proof of concept у нас уже есть работающий на протяжении года тестовый стенд на базе очень старого винтажного ПК.

Но сначала небольшая вводная часть.

Системы охлаждения

Помимо давно известных всем и хорошо изученных систем воздушного охлаждения свою долю в высокоплотных вычислительных устройствах забирают различные системы жидкостного охлаждения. 

Системы жидкостного охлаждения пришли в индустрию ПК уже давно. Водоблок на процессор, водоблок на видеокарту, помпа, радиатор с кулерами в верхней части full‑tower системного блока и очень много радужных светодиодов  — стандартный набор, уже давно ставший привычным. Привычными стали и преимущества, и недостатки подобных систем: высокая тепловая производительность и стабильность, позволяющая обеспечить любой разумный разгон и длительную работу под пиковыми нагрузками стоит пользователям появлением шума, механически‑изнашивающихся компонентов в составе сборки, усложнённым обслуживанием и, конечно, дороговизной.

Также, по мере роста плотности вычислений на стойку в современных ЦОДах и кластерах HPC(High Performance Computing), СЖО нашли себе место и вне домашних систем. Оправданность и целесообразность их применения много раз обсуждалась и исследовалась различными организациями. В отраслевых исследованиях плотность вычисления от 20–25 кВт на серверную стойку рассматривается как один из ориентиров, при которых преимущества систем жидкостного охлаждения становятся более заметными [Источник].

Но существует несколько принципиально разных подходов к жидкостному охлаждению: один из наиболее распространенных — Direct Liquid Cooling, при котором жидкость циркулирует через cold plate, установленный непосредственно на CPU/GPU. Другой подход — иммерсионное охлаждение, при котором сами электронные компоненты погружаются в диэлектрический теплоноситель. Нас интересует именно второй вариант, далее обсудим, почему.

И да, цель нашего проекта — опять погрузить электронику в маслянистую жижу.

Сравнение

В то время, как СЖО для ЦОДов хорошо изучены и есть более‑менее понятные ориентиры, в рамках которых они становится оправданными, ситуация с мощными рабочими станциями и домашними ПК остается туманной. 

Каждый применяет систему, которая ему больше по душе. И в большинстве случаев воздушные системы охлаждения и Direct liquid cooling, далее DLC (см. рис) прекрасно справляются с охлаждением.

Однако есть мнение, что альтернативные системы охлаждения также будут актуальны не только для плотных и сверхплотных вычислений, но и для более простых систем, в связи с ростом тепловыделения самих компонентов: [Источник 1]; [Источник 2]. Номинальный TDP видеокарты NVIDIA RTX 5090 в 575 Вт и в кратковременных пиковых режимах до 900 Вт даёт представление о реальности этих прогнозов. UPTIME пишут, что для серверных систем жидкостное охлаждение стоит рассматривать для TDP более 300 Вт на процессор. Но если для серверных применений важна итоговая стоимость вычисления, то у частных пользователей могу быть иные приоритеты и сценарии эксплуатации.

Это не означает, что воздушное охлаждение перестает справляться. Скорее, возникает вопрос о том, при какой совокупности факторов — тепловой мощности, плотности компонентов, шума и длительности нагрузки — преимущества жидкостного охлаждения начинают становиться существенными.

Итак, сравним все три метода охлаждения и сформулируем цели и гипотезы дальнейших испытаний:
 — Воздух бесплатный, есть везде и не может навредить электронике, если правильно подготовлен (не содержит пыли, капель воды или высокой влажности), но обладает слабой теплоемкостью (относительно диэлектрика). Также не требует герметичности системы и крайне привычен.
 — Замкнутые системы СЖО сильно эффективнее, но требуют отдельной установки на каждый высоконагруженный компонент, из‑за чего хуже масштабируются. В качестве теплоносителя используется дистиллированная вода или составы на основе пропиленгликоля. Протечки таких жидкостей очень вероятно приводят к выходу из строя оборудования, так как не являются стабильными диэлектриками (набирают ионы при контакте с металлами и начинают проводить электричество). Также требуется дополнительное обслуживание, а компоненты без охлаждения всё ещё требуют циркуляции воздуха.
 — Иммерсионное охлаждение отводит тепло от всех погруженных компонентов, диэлектрическая жидкость стабильнее при отсутствии внешних загрязнений. Корпус должен быть герметичным.

Итого:

Цели и гипотеза проекта:

Гипотеза проекта: Наша гипотеза заключается в том, что иммерсионное охлаждение компонентов может иметь преимущество над конвенциональными методами охлаждения в некоторых сценариях использования.

Увеличение TDP при сохранении обычной ATX компоновки приводит к пассивному нагреванию всех компонентов, начиная от самой материнской платы, заканчивая памятью и блоком питания. В связи с этим приходится как устанавливать внутрь корпуса радиатор СЖО, так и традиционные воздушные кулеры для сохранения общей температуры в корпусе. Данная гибридная система охлаждения эффективно работает для CPUи GPU, но при длительной эксплуатации и постоянной нагрузке всё ещё может приводить к локальным перегревам, тротлингу и другим нежелательным эффектам. При всех преимуществах над воздушным охлаждением, шум СЖО обычно выше, а обслуживание сложнее.

Поэтому, возможно, система иммерсионного охлаждения будет более оптимальной и эффективной.

Цель проекта: Создать экспериментальный прототип иммерсионного охлаждения ATX‑компьютера и экспериментально оценить его эффективность по сравнению с традиционным воздушным охлаждением.

Критерии оценки:

· Температура CPU;
· Температура GPU;
· Температура остальных компонентов;
· Уровень шума;
· Энергопотребление;
· Габариты;
· Стабильность работы.

Этапы проектирования и задачи:

· Подбор жидкости по свойствам;
· Расчеты модели охлаждения при естественной конвекции;
· Моделирование нового корпуса для правильного охлаждения;
· CAD и CFD моделирование;
· Вопрос теплоутилизации от диэлектрика;
· Система теплообменников для охлаждения диэлектрика;
· Общая гидравлика системы;
· Подбор компонентов системы охлаждения ( Теплообменники, насосы, трубы и так далее);
· Автоматизация и контроль рабочих параметров;
· Изготовление рабочего прототипа, проведение первых испытаний;
· Валидация проведенных расчетов;
· Экстраполяция проведенный расчетов на более производительные системы.

Думаю, все предстоящие задачи и вызовы на данном этапе оценить крайне сложно, но это ключевые моменты, на которые лично нам интересно обратить внимание.

Тестовый стенд

Первый стенд был слишком слабым по энергопотреблению и обладал избыточной массой диэлектрика. Технически, он работает в режиме пассивного охлаждения уже год не выключаясь. Это не позволяет оценить преимущества для высокопроизводительных систем.

В качестве очередного подопытного взят прошлый личный компьютер одного из участников, с 2016 года занимавшийся как и расчётами физики конечных элементов, так и более приземлёнными бытовыми задачами.

Подопытный

Состоит подопытный из:

· МП: ASUS Z170-A;
· Процессора Intel Core i5-6600K в разгоне по множителю до 4,1 ГГц;
· Видеокарты AMD Radeon HD7990;
· 16*4 ГБ оперативной памяти DDR4 на 2400 МГц;
· SATA SSD 256 ГБ;
· БП на 1 кВт 80 Plus Gold.

Пара слов о компьютере как о стенде: компьютер не ровня современным профессиональным и геймерским решениям, но забирает 660 Вт с розетки в стресс‑тесте. Видеокарта, с которой компьютер жил ранее была заменена на текущую как раз для большего тепловыделения. Благодаря грамотному воздушному охлаждению компьютер может работать на пике производительности, однако в подобном режиме он очень шумит и греется (референсные значения будут приведены в следующих статьях).

Методология исследований

Для оценки работы тестовый стенд был испытан в текущей конфигурации в закрытом корпусе с воздушным охлаждением.
Далее аналогичные испытания будут проведены для той же системы, но погруженные в диэлектрик в корпусе своей разработки.

Оценятся пиковые температуры, уровень шума, а также оценки в традиционных бенчмарках.
Есть желание проверить, насколько далеко можно зайти, если последовательно пройти путь от расчетов до реального работающего прототипа. Поэтому решили вести здесь своеобразный инженерный журнал проекта. Публиковать будем весь путь — от первых расчетов до результатов испытаний.

Если вам интересна тема охлаждения вычислительной техники, теплопередачи, гидравлики, CFD и просто разработка сложных инженерных систем с нуля — будем рады обсудить проект в комментариях.

А в следующей статье начнем с самого начала: Полного описания подопытного кролика и его стартовых рабочих характеристик, с замерами температур, шума, энергопотребления под различными типами нагрузок.