У нас есть машзал ЦОДа, где стоят ванны с серваками. И вот что я вам скажу про жидкостное охлаждение:
Это билет в один конец. Стоит вам один раз погрузить сервер в ванну, больше вы его рабочим не достанете.
Это позволяет примерно в 5–6 раз повысить предел возможного относительно воздушного охлаждения, то есть ваши процессоры ждёт незабываемое приключение с разгоном за пределами всякого здравого смысла.
Надо снять кулеры, но современные карточки очень любят ими управлять, поэтому ещё понадобится драйвер, который оверрайдит попытки потротлить, потому что кулер вращается медленно.
С ванны (аналога стойки по размеру) можно спокойно снимать не 6–15 кВт, а 120 кВт, то есть раз в 15 больше, чем в воздушном ЦОДе, и в разы больше, чем на обычном водяном охлаждении.
Самое главное, чтобы эта штука не загорелась. Потому что если не отводить тепло, то сервак перегреется и ванна, в которой в том числе до фига масла, полыхнёт так, что остановить пожар можно будет только вокруг неё, но не в ней.
Это снимает гарантию, поэтому мы купаем только старое железо, уже и так сошедшее с поддержки вендора.
Можно совать в ванну руки, током вас не коротнёт, потому что жидкость диэлектрическая. Но мы всегда делаем вид, что бьёмся в конвульсиях. Это нас очень развлекает, когда приходят новые люди.
Нельзя кидать в ванну любой сервер, его сначала надо доработать. Например, заменить термопасту на нерастворимую, плюс поменять все провода на такие же, только с нерастворимой изоляцией.
Сейчас расскажу про всё это подробнее плюс про то, какое железо вообще имеет смысл топить, зачем это всё и где бабки, Лебовски.
Но начнём с того, как эта фигня вообще работает.
Как эта фигня вообще работает
Обычный сервер, как и ваш десктоп, охлаждается воздухом. Но в ЦОДах недостаточно просто забортного воздуха вокруг корпуса, поэтому он специально охлаждается. Получается холодный коридор, откуда кулеры серваков забирают холодный воздух, и горячий коридор, куда они его выкидывают и откуда он забирается охлаждаться.
В холодный коридор воздух подаётся или из холодного фальшпола, или из холодных стен в некоторых продвинутых ЦОДах. Серверы протаскивают этот воздух через корпус, охлаждая компоненты. Тепло снимается с радиаторов. Дальше перегретый воздух выбрасывается в горячий коридор, а оттуда во внутренние системы — например, к чиллер‑фанкойлу, либо к теплообменнику с наружным воздухом, либо к какой‑нибудь другой вундервафле.
У воздушного охлаждения есть физический предел. Распространённое ограничение по отводу тепла — это порядка 15 киловатт на одну стойку. Охладить в стойке большую мощность, более мощные серверы с большим энергопотреблением, проблематично. Сама технология — прогнать такой объём воздуха, который снимет 15 киловатт тепла и отведёт дальше, — физически сложна.
И вот тут мы подходим к иммерсионке. Дальше про однофазное охлаждение, когда оборудование непосредственно погружается в жидкость. Есть ещё двухфазное, очень продвинутое, когда охлаждающая жидкость подаётся прямо на чип, там испаряется, отводя тепло (происходит переход в другую фазу). Это очень эффективно, но на практике это прямо ужасно сложные и замороченные технологии.
Мы просто плюхаем наше оборудование в иммерсионную установку (ванну), и снизу вверх через него прокачивается холодная диэлектрическая жидкость. По мере прохождения через наше горячее оборудование она забирает тепло. Соответственно, к верху установки поднимается уже тёплая диэлектрическая жидкость. Она оттуда засасывается насосом, прогоняется через теплообменник и отдаёт это снятое тепло на какой‑то внешний контур охлаждения.
Стандартная серверная стойка в ЦОДах обычно 6 киловатт тепла, в лучшем случае до 15 кВт.
Стандартная ячейка охлаждения в нашей небольшой иммерсионной установке (на фотографиях у нас такая маленькая одна ячейка) — это 5 киловатт. У нас в установке 24 таких ячейки. Соответственно, вся установка спокойно охлаждает 120 киловатт! Одна установка! И это, поверьте, отнюдь не предел.
Ячейка — 25 × 30 см. Туда по ширине влезает стандартная двухпроцессорная материнская плата. Таких ячеек в ванне 24 штуки. Сама установка имеет габариты: чуть больше двух метров в длину, порядка метра в ширину, и в высоту она у нас где‑то сантиметров 80. Почти как упавшая стойка. Смекаете, да?
Жидкость бывает разная: для асиков одна, для серверов другая. На вид и запах она ничем не примечательна, не пахнет, как какая‑нибудь незамерзайка. Но вот с кожей у неё отношения не очень. Если долго с ней контактировать, не смыть быстро, то кожа потом слезает, и очень неприятно.
А теперь переходим к не совсем очевидным фичам.
Иммерсионка — это билет в один конец для железа
Погружение оборудования в иммерсионную ванну — это билет в один конец.
После такого «купания» вернуть железо к нормальной эффективной работе на воздушном охлаждении будет, мягко говоря, проблематично. Чаще — просто невозможно.
Почему так? Ну представьте: вы вынимаете плату из этой маслянистой жидкости. Её, конечно, нужно будет помыть. А когда вы её моете, там могут повредиться, например, токопроводящие дорожки. Да и вообще с большой вероятностью что‑то отлетит, какой‑нибудь компонент перестанет работать.
Особенно это касается не самого нового железа, которое мы чаще всего и погружаем — то, что уже доживает свой век или изначально рассматривается как комодити, то есть расходный материал. Старую железку топить — милое дело, она после этого на воздухе уже особо эксплуатироваться не будет. А новое, дорогое оборудование, скажем, какой‑нибудь Hewlett‑Packard DL380a за несколько десятков миллионов с восемью видеокартами, я бы в иммерсивку класть не стал, даже при всём желании и имиджевой истории. Он стоит дороже квартиры в Москве, и его может захотеться перепродать. Но после ванны уже не выйдет.
Если ванна загорится — это финиш
Жидкость, которую мы используем, — диэлектрическая, то есть ток не проводит. Но она имеет масляную основу.
И ванна, как оказалось, вполне себе может гореть!
Мы это поняли на практике.
У нас был печальный опыт, ещё до истории с облаком, когда сгорела целая ванна. Там лежали ASIC‑майнеры, и кто‑то умный решил их разогнать больше положенного.
А жидкость поджечь довольно тяжело. Но если подожгли — уже вряд ли потушите, пока она не выгорит в локальном объёме.
Так вот, асики сильно перегрелись, это вызвало цепную реакцию проблем с отводом тепла, и смена не успела среагировать. Пожарные тушили даже не саму ванну, а просто не давали огню выйти сильно дальше. Очень ругались.
Производительность
Главная фишка иммерсионки — возможность охлаждать по‑настоящему мощное железо, которое на воздухе просто задохнётся.
Первое, что сюда так и просится, — это GPU, видеокарты. Причём не серверные, где производители обычно думают об энергоэффективности (отчего они нормально греются в режиме 90% утилизации), а обычные, десктопные, которые жрут энергию и выделяют тепло как не в себя.
Мы можем положить в ячейку четыре, а то и восемь таких карт, и они будут спокойно работать на полную мощность, выжимая из себя все соки, не перегреваясь.
Второе — это разгон процессоров. Серверные линейки процессоров, например, интеловские, практически не гонятся. А вот десктопные — очень даже. И с помощью иммерсионки можно снять с них такой прирост производительности, который ни на воздухе, ни даже на навороченной водянке эффективно не охладишь.
А зачем это нужно? Где бабки, Лебовски?
Если вы можете подать больше питания в стойку, то получаете более компактные вычисления.
Это сразу значит, что вы занимаете меньше площади ЦОДа. А площадь ЦОДа — это дорого.
Вторая особенность — КПД всего процесса. Есть такой показатель PUE (Power Usage Effectiveness), который показывает, сколько энергии тратится на охлаждение по отношению к энергии, потребляемой самим IT‑оборудованием.
У классического воздушного ЦОДа PUE редко бывает ниже 1,3 (то есть 30% энергии уходит на охлаждение). Я, честно говоря, таких с PUE 1,3 на практике и не видел. 1,6 встречается куда чаще. И это в Москве! А если взять регионы поюжнее, Астрахань или Ростов, там PUE будет ещё выше.
Каждый лишний процент в таком вопросе — это миллионы рублей, потому что электричество — самая дорогая часть содержания дата‑центра.
В иммерсионке же тепло очень эффективно собирается жидкостью, передаётся через теплообменник в другую жидкость и утилизируется. Потери на насосы минимальны по сравнению с затратами на вентиляторы и чиллеры в воздушных системах.
В иммерсии же PUE получается значительно ниже. 1,1 — реальность.
И это только одна штука, которую умеет ванна.
Вторая — иммерсионке не нужны четырёхметровые потолки, как в традиционных ЦОДах для организации воздушных потоков. Фальшполы тоже как класс отсутствуют, хотя их можно использовать, чтобы под ними проложить коммуникации — трубки с водой для внешнего контура и кабели питания. То есть само здание может быть дешевле.
Третья причина вам уже понятна — из‑за того, что мы разгоняем железо перед тем, как сделать «плюх», нам его не жалко, и оно не на поддержке вендора. Это, по сути, технология списания железа с тем, чтобы вытащить из него второе дыхание. У всех железо уезжает на Авито и Озон, а у нас — на дно. И ещё 1–3 года успешно булькает с частотой сильно выше, чем задумано для воздуха.
Хотя на самом деле даже не булькает, жидкость однородная.
Ну и всякие мелкие ништяки. Нет пыли, например. В обычном ЦОДе с этим целая война: бахилы на входе, мощная фильтрация воздуха, постоянная его гонка по внутреннему контуру через фильтры. А иммерсия эту проблему снимает сама по себе. Это просто отличная история для тех мест, где добиться высокой чистоты воздуха очень непросто.
Конечно, есть и обратная сторона: нужно следить за чистотой самой иммерсионной жидкости. Если она будет грязной, то всякие отложения могут осесть на компонентах. Поэтому периодически нужно делать ТО: сливать жидкость, прогонять через фильтры, очищать и заливать обратно. Так как контуры (и внутренний, и наружный) замкнутые, то в целом с этим особых проблем нет.
Из чего сделана ванна
Из самой ванны. Это, по сути, просто алюминиевый контейнер, где всё и происходит.
Ячейки. В них и размещается оборудование. Через них снизу подаётся холодная жидкость. Это что‑то вроде рамы, куда крепятся серваки.
Насос. Он гоняет жидкость по замкнутому внутреннему контуру — снизу подаёт, сверху забирает тёплую. Просто на конвекции это не работает.
Теплообменник. Вот это, пожалуй, одна из самых дорогих частей всей установки. Через него тепло из иммерсионной жидкости передаётся во внешний контур.
Внешний контур с драйкулером. По этому контуру у нас гоняется уже обычная вода с небольшой примесью обычного глицерина. Эта вода идёт на драйкулер (это такая сухая градирня), где и охлаждается просто наружным воздухом.
Как готовить сервер в последний путь
Первая неочевидная особенность — высокая температура жидкости у скоплений проводов. Вот тут интересный момент. Если в ячейке на входе (внизу) жидкость подаётся с температурой порядка 25–30 градусов Цельсия, то на выходе (сверху) она уходит уже с температурой 45–50 градусов. А так как, пройдя через процессор, она как раз и достигает этих 45–50 градусов, то большая часть проводов внутри сервера постоянно находится при этой температуре. А для изоляции обычных проводов такая температура очень неприятная — они имеют свойство быстро разваливаться. Поэтому меняйте кабели блока питания и всё такое на силиконовые.
Дальше надо снять все кулеры и вообще всё движущееся. Движется среда, кулеры мешают и создают ненужные вибрации. С процессоров, с видеокарт, из блоков питания — всё снимаем. В иммерсионке они не нужны, там нет механического вращения, движение жидкости обеспечивается насосом и естественной конвекцией.
Некоторые железки слишком умные, и они управляют своими несуществующими кулерами. И когда кулеров нет, они начинают паниковать. Вот тут приходится использовать всякие программно‑аппаратные хаки, чтобы они не парились о том, что у них чего‑то не хватает на борту. Мы обычно просто замещаем сигнал и постоянно сигналим им, что кулер вращается на максимуме, всё в порядке.
Потом надо перебрать радиаторы. Не для всех материнских плат, не для всех устройств радиаторы вообще расположены так, как нужно для вертикального потока жидкости. Мы, например, искали платы, у которых процессор с оперативной памятью тоже ставится вертикально. У многих они ставятся горизонтально, что, соответственно, будет препятствовать нормальному охлаждению каждого второго, третьего и последующего модуля памяти в ряду. Жидкость должна проходить их насквозь, а не как пороги.
Нужна термопаста, устойчивая к вымыванию. Обычная термопаста со временем растворяется и вымывается из‑под радиатора. Есть специальная, устойчивая к вымыванию. Нам её поставляет производитель иммерсионных установок. Новая намазывается навсегда. У нас рекорд 4 года, поэтому навсегда равняется именно этому сроку. Дольше сервак в ванне не жил.
Поток жидкости не такой сильный, чтобы смывать какие‑то компоненты с платы. Никакие транзисторы или конденсаторы обмазывать ничем не надо.
Продумайте обслуживание жёстких дисков (точнее, топятся только SSD, но они очень жёсткие). С обычными rackmount‑серверами есть нюансы. Их нужно класть зубами, то есть передней панелью вниз, чтобы поток жидкости шёл так же, как и воздушный поток, на который они рассчитаны (спереди назад). Это не всегда удобно. Например, с обслуживанием дисков, особенно если там система с горячей заменой. Рельсы‑то рассчитаны на то, чтобы выдвигать сервер вперёд, а тут он лежит мордой вниз, и рельсы должны ходить вниз, что невозможно. Это решается кастомными средствами, как и любая инженерная задача. Вообще, от стандартных серверов, наверное, не самая высокая польза в иммерсионке, потому что их процессоры особо не разгонишь, а видеокарты в них обычно ставят энергоэффективные, не такие горячие, как десктопные.
Почему именно 40 градусов Цельсия?
Охлаждение сильно привязано к внешней температуре. Драйкулер рассчитывается на отвод определённого тепла, и есть температура окружающей среды. Сильно опустить температуру жидкости относительно неё проблематично и дорого — нужно будет накручивать драйкулер, делать его более ёмким. Держать температуру более высокой тоже не имеет смысла. Есть некий комфортный диапазон температур, который достигается без лишних усилий. Конечно, можно варьировать скорость насоса. Если гонять медленнее, то снизятся затраты на электричество для насоса, но тогда либо температура на выходе увеличится, либо придётся внешнему контуру с драйкулером работать интенсивнее. Там всё взаимосвязано: объём прогоняемой жидкости, её теплоёмкость, разница температур. Наша установка, например, прогоняет что‑то порядка двух кубов воды в час по внешнему контуру.
Теплообменник тоже может стать узким местом при крайних нагрузках. А драйкулер у нас работает принудительно, в любую погоду. Мы смотрели на фрикулинг, но это более сложная история, особенно с нашими реалиями лета, зимы и тополиного пуха. И ещё зимой драйкулер нельзя останавливать ни в коем случае, иначе у него верхний слой просто замёрзнет, а потом полыхнут ванны, если не остановить железо.
Жидкость хорошо разбирает тепло, нет проблемы локальных перегревов. Наш производитель, кстати, каждую установку рассчитывает по термодинамике, по направлениям давлений — это тоже непростая история. А кроме процессора и видеокарты, сильно греется оперативная память. На некоторые модели для воздуха даже ставят специальные отдельные радиаторы. Сама материнская плата греется, оптические трансиверы, ну и блок питания, само собой.
RAID‑контроллеры тоже могут быть очень горячими — у нас под датчиком на Hewlett‑Packard в области RAID‑контроллера температура за 60 градусов и выше. Но там совокупность компонентов. В самом начале обычно стоят диски (SSD не сильно греются, а вот SATA умеют), потом ряд вентиляторов, а дальше уже горячие компоненты.
Ещё бонусы
В ванне практически нет вибраций, потому что жидкость не кипит, не булькает и не идёт рывками. И шума от сотен воющих вентиляторов тоже нет. Максимум — тихое журчание от движения жидкости, но пузырьков там особо и нет, потому что она прокачивается. Так что в помещении с иммерсионкой можно спокойно разговаривать. Главное, чтобы ванны были накрыты крышками.
Насос, теплообменник — всё мониторится и контролируется. А мы от себя ещё добавили красивую RGB‑подсветку. Просто голая серая ванна выглядит неказисто, а мы сделали прозрачную крышку, подсветку — и у нас ЦОД будущего. Гостям очень нравится. Админам ещё больше, но не потому, что светится, а потому, что световым индикатором можно выводить состояние. И вот цвет ячейки может показывать её статус в мониторинге.
Так вот, именно из таких ванн мы продаём инференс‑вычисления и контейнерные вычисления, где нет требований к невероятным аптаймам. Если сервак утонет окончательно, он унесёт за собой в могилу несколько контейнеров, но контейнерная среда этого даже не заметит.
Так что если вы удивляетесь, почему у нас такая безумная экономика, — PUE 1,12 (сейчас, будет меньше) и возможность работать с железом 6 лет вместо 3–4. Так что приходите в гости, покажем, что там в ванной.
Почему туда не идут крупные игроки, раз всё так круто?
Постепенно идут. Вот отчёт McKinsey, там один из сценариев, что к 2030 году мировая мощность дата‑центров почти утроится и ~70% этого роста придётся как раз на нужды инференса LLM. Это инвестиции в ~5,2 трлн долларов и потребность в 156 ГВт дополнительной мощности.
И главными узкими местами становятся электросети и охлаждение. Классический «воздух» просто не вывезет. Именно поэтому технологии вроде прямого жидкостного (direct‑to‑chip) и иммерсионного охлаждения (то, чем мы и занимаемся) перестают быть экзотикой.
P. S. Ссылка на наш телеграм‑канал с обновлениями и прочими ништяками.
Комментарии (76)
ToxaBes
03.11.2026 12:29Отличная статья, было интересно почитать, спасибо.
В свое время отказался от иммерсивной ванны на балконе (ну как, сам - жена) из-за пожароопасности. В итоге сделал 3 контура водяного охлаждения (замкнутые контура с водоблоками) на все: проц, видеокарты, память, vrm, чипсет, nvme диски.
Сейчас потихоньку появляются серверные решения типа Supermicro DLC-2 и подобные ему (более простые), было бы интересно почитать о подобных системах (идея со стойкой на балконе не отпускает уже который год, я ML-инженер, мне надо, пустите).
km1337 Автор
03.11.2026 12:29Спасибо!
Всё понятно, спец по ТБ не одобрила, и в целом правильно сделала, а то мало ли. Мы тоже пожара не ожидали и очень удивились )
В сторону DLC мы сейчас активно копаем, там много интересного.
Kurochkin
03.11.2026 12:29А какая же температура возгорания у этой жидкости? Я про ваш инцидент с подаром Асиков. Или там что-то и с электрикой произошло тоже (искра)?
Moog_Prodigy
03.11.2026 12:29Прбовал исследовать эту жидкость для асиков. Масло вполне себе. И поджечь крайне трудно его, но как правильно замечено - если загорелось, потушить сложно. Убираем доступ кислорода и оно не горит. Топил киловаттную галогенку в этой жиже - масло кипело, дым как от паровоза, но если не поджигать - будет просто дым. Густой, не очень вонючий. После какого то времени лампа лопнула и спираль оказалась в масле- пошел явный пиролиз, дым стал гуще и вонюче. Но если не поджигать - будет бурлить и дымить. Поджигать пробовал - горит ровно, делал даже лампадку на этой жиже. Горит исправно, не коптит. Точнее если сверху что-то поднести к пламени (стекло например)- коптит, анализ состава чистая сажа. Очень чистая, хоть фуллерены получай. Смазывал редуктор и подшипники скольжения. Результат как у обычного машинного масла без присадок. Вообще зачем я это все делал? Исследовал, насколько безопасно использовать в электроэрозионном станке. Достаточно безопасно получается. Только вязкость не очень, но для масла - вполне на уровне. И при эрозии идет жесткий пиролиз - зона обработки быстро забивается продуктами разложения масла, причем твердыми. А вот сервер я в такое бы не совал. Любой ремонт или замена обернутся веселыми сантехническими развлечениями. Да и контакты на разьемах спасибо не скажут.
200sx_Pilot
03.11.2026 12:29Первая неочевидная особенность — высокая температура жидкости у скоплений проводов.
Когда-то давно заказывали десяток материнок с подключением проводов с обратной стороны платы.
Вентиляторы, передняя панель, ЮСБ, питание, IDE, FDD...
По другой причине.
Мамки обошлись раза в два дороже на партии в пару десятков штук.
Но причина заказа была другая, компоновочная.
Можно было перепаять и перепиновать своими силами, но у заказных не слетала гарантия (а она была трёхгодичная).
km1337 Автор
03.11.2026 12:29За любой кастом и нестандарт приходится платить кратно дороже, это факт. Мы свои железки сами готовим к утоплению, но был бы, наверное, неплохой способ подзаработать для спецов по подготовке серверов к иммерсионке. Но уж больно нишевый.
virex
03.11.2026 12:29Отличная статья! Воздух для охлада - просто привычка, притом дорогая.
Хотя конечно жаль что такие железки не уходят на условный авито, для самодельщиков.
km1337 Автор
03.11.2026 12:29Спасибо!
Ну, на поковыряться, в теории, можно было бы. Но если их помыть, там что-нибудь точно отлетит, а если не мыть, то сотрудники Авито придут в ужас от промасленных коробок, которые ещё и на кожу агрессируют )
virex
03.11.2026 12:29Не нашел на вашем сайте про инференс, выбор видеокарт. Хотя такой пункт был бы очень кстати.
MaFrance351
03.11.2026 12:29Интересно, замачивание в спирте или в отмывочной жидкости по типу Solins поможет?
AVKinc
03.11.2026 12:29100% поможет, точно так же погрузить в изопропиловый спирт на пару дней и вуаля, вы превосходны.
km1337 Автор
03.11.2026 12:29Мысль про спирт верная, но процесс чуточку сложнее. Опробовано на нескольких сотнях асиков, которые достали из ванн перед продажей. Напомню, ванны нам достались от криптанов, и теплоемкость ячейки в 5 кВт как раз оттуда, потому что асики в иммерсии безбожно гнали, выжимая каждый сатоши.
Сначала плату надо достать и дать маслу стечь, температуру воздуха лучше держать повыше, чтобы снизить вязкость масла.
Дальше плату кладем в ультразвуковую ванну с чистым изопропиловым спиртом. Смесь спирта и Галоши 50/50 тоже подойдет. Запускаем на 10 минут, температура 45 градусов. Без этого остатки масла забьются под мелкими компонентами и слотами.
После ванны ополаскиваем плату чистым изопропанолом. Прям из краскопульта промываем тщательно, чтобы смыть остатки растворенного масла.
Ну и наконец, продуваем сжатым воздухом из компрессора. Особое внимание местам под чипами. И затем в сушильный шкаф на два часа, температура 60 градусов.
Если плату не разворотило за время эксплуатации в иммерсии, то выглядит она после этого как новенькая.
select26
03.11.2026 12:29Ничего там не отлетит! Или вы думаете на производстве их не отмывают после пайки?
Просто мыть нужно не губкой с кипятком, а спецсредством в ультразвуке.
Ivanii
03.11.2026 12:29Горячей дистилировкой/Солинсом отмываются соли воды, масляные загрязнения я отмываю изопропил + воздух с мовильного пистолета, в тяжелых случаях бензин БР2 + изопропил и потом изопропил + воздух.
janbaan
03.11.2026 12:29В мае 2026 взял на Авито 2 шт. CMP90HX 10 ГБ, из ванны, по 3 500 ₽/шт. Всего у продавца было выставлено 8 карт, из разобрали за 30 мин.
Вентиляторы и все прокладки сразу заменил (обошлось ещё в 1 500 на карту). Зато карта как новая, чистая, блестящая. С учётом дополнительных вычислительных возможностей после функциональной разблокировки для карт CMP - вообще сказка.
event1
03.11.2026 12:29Простите за глупый вопрос, но нет ли смысла радиаторы и термопасту вообще убрать и снимать тепло прямо с чипа? Или не хватает?
km1337 Автор
03.11.2026 12:29Площадь контакта со средой у радиатора значительно выше, без него не вытянет.
rott3nch3rry
03.11.2026 12:29Скальпирование можно тоже делать, раз взялись ручками за железку перед окунанием
lordleto
03.11.2026 12:29Теплопроводность меди /алюминия в разы выше. Даже если скальпироватьть - масло не будет успевать отводить тепло с кристалла
MaFrance351
03.11.2026 12:29А, если не секрет, что именно за жидкость используется?
Нет проблем, что какие-то части компьютеров отнюдь не маслостойкие? Помню из отчётов о любительских опытах с ПК в силиконовом или трансформаторном масле, что, например, резиновые заглушки у конденсаторов в масле растворяются только так. И изоляции некоторых проводов это тоже очень не нравится.
km1337 Автор
03.11.2026 12:29Мы не стали выставлять такие опции в паблик, чтобы не встать в один ряд с десктопным железом Селектела.
На сайте скоро появятся бронебойные опции по GPU и инференсу, но они чуть другого плана.
PumPumGum
03.11.2026 12:29При нынешних ценах на комплектуху радиаторы из чистого серебра уже не выглядят какими то запредельно дорогими, а если ещё и хорошенько отполировать крышку проца и сам радиатор, то и термопасты не понадбится.
p0isk
03.11.2026 12:29И припаять припоем, с температурой плавления меньше рабочей, но в пределах разрешённой для процессора. Тогда ещё с десяток градусов скинуть можно будет.
DaneSoul
03.11.2026 12:29При нынешних ценах на комплектуху радиаторы из чистого серебра уже не выглядят какими то запредельно дорогими
Так у серебра теплопроводность всего меньше чем на 10% лучше чем у меди.
xSVPx
03.11.2026 12:29Было бы зачем. Думал делать для оверклокеров ещё лет десять назад.
Медь теплопроводность около 400, серебро 420-430. Где гешефт ?
Кроме полировки придется шабрить одно к другому. И даже это не даст контакта по всей площади. Паста понадобится ..
Кстати на моей памяти серебро подорожало в 20 раз...
MaFrance351
03.11.2026 12:29А вот термопасту из серебра на ныне помершем casemods.ru таки изготовили...
esc
03.11.2026 12:29Вы говорите о разгоне и тут же рядом о PuE. Интересно, какое оборудование позволяет разгон и при этом повышение производительности в реальных задачах для сервера, которое приблизится к росту энергопотребления?
В остальном, как вариант красиво отправить на кладбище старый хлам (где условная видеокарта стоит дешевле, чем водоблок на нее) вариант интересный. Отключил вентиляторы и используй как есть пока не умрет. Ничего не надо переделывать.
Для более-менее серьезного железа, видимо, проще заморочиться с водоблоками (как в современном HPC, в прочем и делают). Те же 150кВт со стойки (и вряд ли охлаждение является пределом), только оборудование можно не только не выбрасывать, но и обслуживать.
Жидкость с этих блоков ведь тоже можно через теплообменник охлаждать, не обязательно в то же помещение выдувать с него тепло как в десктопных водянках. Единственное, в самосборе БП типа Intel DSG 3000W придется поискать.
Либо гибридную схему делать, когда все, кроме процессоров и видеокарт фильтрованным атмосферным воздухом охлаждается.
ViskasSP1vom
03.11.2026 12:29При разгоне PUE не ухудшается, потому что PUE это отношение всей потраченной энергии к энергии, ушедшей на IT-оборудование
Arioch
03.11.2026 12:29только какой в этом PUE практический смысл, а не рекорды ставить? процессоры же покупают не масло греть, а нолики считать. То есть для практического применения ватты холодильной установки надо делить не на нагрев микросхем, а не количество выполненной работы, specfp или linpack или ещё там что.
И вот тут как раз и сомнение, что забивание PUE до мирового рекорда весьма вероятно реальную эффективность на ватт (включая холодильники) загонит ниже плинтуса.
Nick0las
03.11.2026 12:29Присоеденюсь к вопросам про масло: почему оно так вредно для кожи, если многие другие технические масла практически безопасны? Что там за присадки?
А по пожару и перегреву ванны возникает простой вопрос: есть ли простая система обесточивания ванны при перегреве (не программная, не на центральном пульте, а просто на реле и термостатах погруженных в эту ванну)?
MxMaks
03.11.2026 12:29На коммерческих ИБП есть контакты EPO их достаточно замкнуть любым из параллельно подключенных датчиков и ибп мгновенно гасит нагрузку и шлет сигнал аварии в сеть
MEGA_Nexus
03.11.2026 12:29Ну представьте: вы вынимаете плату из этой маслянистой жидкости. Её, конечно, нужно будет помыть. А когда вы её моете, там могут повредиться, например, токопроводящие дорожки. Да и вообще с большой вероятностью что-то отлетит, какой-нибудь компонент перестанет работать.
Электроника обычно моется в ультразвуковой ванне, где используются акустические колебания высокой частоты для удаления остатков флюса, жира, грязи и окислов. Иными словами платы не трут щётками и не подвергают механическому воздействию.
MaFrance351
03.11.2026 12:29В целом даже в кустарных условиях можно оттереть. Самое сложное - не отдраить щёткой и ничего не отковырять и не снести, а высушить потом, чтобы не осталось ни следа от того, чем мыли, особенно в труднодоступных местах (в разъёмах и под чипами).
Wesha
03.11.2026 12:29А жидкость поджечь довольно тяжело. Но если подожгли — уже вряд ли потушите
Эм, челодые моловеки, вы там физику-химию в школе проходили
, мимо?Горение — это экзотермическая химическая реакция между окислителем (кислородом воздуха) и топивом (масло идеально подходит). Соответственно, убираем один из элементов — в частности, воздух) — и вот уже никто никуда не
идётгорит. В качестве идеального кандидата для наддува ванны — всем известная углекислота: она уже сгорела.Разрешаю не благодарить.
randomsimplenumber
03.11.2026 12:29Внесите героев углекислотной вечеринки!
dragonnur
03.11.2026 12:29Вынесите, они уже протухли. Но вообще идея здравая, раз оно всё практически необслуживаемое -- то и человеку там делать нечего, после утопления железяки можно и через шлюз завозить. А в экстренном случае -- изолирующий противогаз или ИДА, как у подводников.
MaFrance351
03.11.2026 12:29Так не надо же держать все железки в углекислотной атмосфере, тратясь на герметичность и защитную амуницию. Можно же просто подавать газ под давлением при срабатывании тепловой защиты. Собственно, газовое пожаротушение во многих таких местах (где стоит что-то такое, что жалко будет залить водой или засыпать порошком) как раз и должно стоять.
Примерно так это работает:
UPD: или идея в том, чтобы саму ванну загерметизировать и заполнить вместо воздуха газом?
Wesha
03.11.2026 12:29UPD: или идея в том, чтобы саму ванну загерметизировать и заполнить вместо воздуха газом?
Именно. На КДПВ они уже сейчас — изолированные
кубикипараллелепипеды.
Internet-Peasant
03.11.2026 12:29А мне понравилась часть где в жижу руки пихают по приколу, правда тем самым нарушая её диэлектрические свойства)
ViskasSP1vom
03.11.2026 12:29Проблема не в кислороде над ванной, а в том, что горячее масло начинает разбрызгиваться при кипении. Мелкая дисперсия смешивается с воздухом за пределами ванны и вспыхивает как порох. Тут никакой наддув не спасет, нужно именно предотвращать закипание
nightwolf_du
03.11.2026 12:29Вообще, лично у меня напрашивается решение с крышкой. Нафига, собственно, ванну вне обслуживания держать открытой?
km1337 Автор
03.11.2026 12:29Жалко, вас там не было, пожарные бы тоже этому поучились!
Wesha
03.11.2026 12:29Эммммм.... Вообще-то пожарные этому давно научены — зачем, Вы думаете, они тушат пеной? Именно потому, что пена перекрывает доступ кислорода.
Вы ещё скажите, что про системы пожаротушения вытеснением кислорода из помещения Вам неизвестны. Несколько лет назад на Хабре статья была, что какой-то джун в датацентре такую активировал — и там задохнулся, ибо не знал, что дышать нечем станет.
maikuss
03.11.2026 12:29Нет, надо не ядовитой углекислотой заполнять, а поднимать процент азота в атмосфере помещения. Добывать азот из воздуха копейки стоит. При 88-90 процентах азота масло не горит, а для человека это будет ощущаться как в горах на 6000 метрах. Довольно некомфортно, но терпимо, если недолго. А если тренирован, то и постоянно сможет. Изолирующий противогаз не нужен. Персонал может заходить с легким дыхательным аппаратом типа горного, и не слишком бояться, что он сломается.
KN_Dima
03.11.2026 12:29Углекислота - плохой выбор.
В промышленности для этих целей давно используется азот.
Kwentin3
03.11.2026 12:29Сухая вода? (Фторкетон FK-5-1-12)
MaFrance351
03.11.2026 12:29Правда, её не то что сложно поджечь, её вообще в пожаротушении используют. Так что в ванне явно какая-то другая жидкость...
cmyser
03.11.2026 12:29можно ли будет арендовать bare metal утопленный этот как раз ?)
km1337 Автор
03.11.2026 12:29Мы специально не вводили их в SKU, чтобы не встать в один ряд с дешевыми десктопными железками Селектела. Если нужен bare metal — напишите в личку, можем включить недорогое железо (у нас его ооочень много).
Apachan65535
03.11.2026 12:29Электролиты через сколько отвалятся? )
km1337 Автор
03.11.2026 12:29Чтобы не вызвать диссонанс у автомехаников с их АКБ или у фитнес-тренеров с их БАДами уточню: электролитические конденсаторы не отвалсятся. Но это не точно. Бывает, что плата целиком превращается в подобие мягкого слоеного пирога, разбухая и проявляя чудеса метаморфизма.
JonahK
03.11.2026 12:29А что с обслуживанием самих ванн? Жидкость ведь тоже наверняка со временем загрязняется, особенно если туда опускать уже поработавшее железо. Есть какая-то фильтрация или её приходится периодически полностью менять?
km1337 Автор
03.11.2026 12:29В самих ваннах нужно раз в полгода фильтровать жидкость, раз в год — прочищать теплообменник. Но для точного времени обслуживания есть пачка датчиков с умным контроллером, который указывает на симптомы.
ViskasSP1vom
03.11.2026 12:29Никогда б не подумал что серверные кабели так быстро деградируют при 50 градусах в масле. Жалко что перепродать это железо потом не выйдет, отмывать его от этой жижи в ультразвуке обойдется дороже остаточной стоимости
Мы как-то баловались с минеральным маслом для фермы, и самая большая боль была в герметизации ванны. Жидкость постоянно норовила капиллярным путем утечь по проводам наружу)
kenomimi
03.11.2026 12:29Тут прям просятся специальные герметичные 1U-4U корпуса, с трубками для подключения к общей системе охлаждения ДЦ. И доработка жидкости, чтобы не поддерживала горение.
hphphp
03.11.2026 12:29Профиты для домашнего использования сомнительны, а вот при масштабировании на уровне ЦОД вполне себе решение.
Подскажите, как решаете вопрос с регуляторами в области пожарной безопасности? Что пишут, если приходят с проверками?
Насколько помню, в составе что то вроде минерального масла для ДВС, только гораздо жиже по консистенции и без присадок. Эта штука горит плохо, но всё же...
km1337 Автор
03.11.2026 12:29Да никак не решаем — в отличии от ЦОДов им ванны не интересны. И как я писал в статье, горит эта штука огого, но пока что это не массовая история и никто, в целом, не парится.
MarkCraft_Dev
03.11.2026 12:29Классный разбор! Больше всего зацепил момент про расположение материнских плат. Я как-то не задумывался, что в ванне поток жидкости идет вертикально снизу вверх, а не горизонтально, как воздух в стойке. То есть обычные серверы с горизонтальными слотами памяти в иммерсии будут греться неравномерно? Приходится искать специальные "вертикальные" платы или переделывать охлаждение?
km1337 Автор
03.11.2026 12:29Да, платы мы ищем. Многие десктопные не подходят. А вот серверные наоборот, хорошо подходят, потому что спроектированы для продувания с фрональной части на тыловую, но их приходится переворачивать (их перед оказывается внизу ячейки).
sviridov_aa
03.11.2026 12:29Очень интересная статья, спасибо.
Забавно, что комментарии к статье не менее интересные.
На счёт идеи с углекислым газом - можно не всё помещение заполнять газом, в предусмотреть ещё один контур для ванны: т.е. сервер купается в жидкости, затем это ванна находится в герметичном корпусе, заполненным углекислым газом. Снаружи уже помещение с кислородом для персонала.
Wesha
03.11.2026 12:29Насчёт идеи с углекислым газом - можно не всё помещение заполнять газом
Надо же, кто-то прочитал именно то, что и было написано в моём комментарии!
Swarley
03.11.2026 12:29Ванна ванне рознь. Хорошо, если не на основе масел. Обычно в доступе у людей жидкости для иммерсионки на основе как раз-таки минеральных масел, а они буквально за пару лет разъедают все резинотехнические изделия, в том числе резиновые клапаны на нижней части полимерных конденсаторов. Последние, при попадании масла внутрь, в лучшем случае потеряют ёмкость и увеличат сопротивление, а в худшем - вовсе эволюционируют в низкоомный резистор.
safari2012
03.11.2026 12:29Глицерин во внешнем контуре?
Кажется у вас ИИ немного перегрелся в ванной :)))
Наверняка имелся ввиду этиленгликоль и немножечко воды.
alan008
А жёсткие диски имеются в виду SSD ? Я чёт не очень представляю погружение обычного HDD, точно ли он герметичен. Помню в старых дисках было даже какое-то технологическое отверстие для воздухообмена (внутри него фильтры и извилитая дорожка, но от жидкости это вряд ли бы спасло).
km1337 Автор
Да, топятся только SSD.
m0xf
Вроде современные HDD с гелием внутри герметично запаяны.
ViskasSP1vom
Даже гелиевые диски которые вроде как герметично заварены производители не рекомендуют совать в иммерсионку. У них от горячей агрессивной среды могут повредиться внешние контакты платы контроллера