Жидкостные системы охлаждения хоть и не новы, но не являются широкораспространёнными. Причин я бы назвал две: страшно и дорого. Вода, как теплоотводящая жидкость, проводит электричество и может убить как персональный компьютер так и дата-центр. Другие жидкости могут быть либо дороги сами по себе, как например фторкетоны, либо требовать сложных и дорогих аппаратных решений, как например, масло.
Хочу рассказать о нашем опыте создания жидкостной системы охлаждения.
Мы попали под очарование «сухой воды», так иногда в просторечии называют фторкетоны. Мы быстро собрали из подручных материалов первый жидкостноохлаждаемый компьютер.
Впечатление от погруженного в «воду» и работающего компьютера были настолько сильными, что мы тут же собрали следующий уже более пристойный макет.
Мы не остановились и на этом и быстро сделали боооольшой бокс, куда можно опустить стандартный 19-и дюймовый сервер. Да, мы понимаем, что он делался для воздушного охлаждения и наше погружное охлаждение слишком избыточно для него. Такой сервер можно охладить стаканом «сухой воды»!
Пластиковый бокс получился удобным в работе. И хоть он и был сделан для сервера, но большую часть времени в нем был погружен обычный кипятильник. Сервер в пластиковый бокс мы вставляли в основном для демонстрации и для сбора статистики наработки на отказ.
Мы провели много времени, экспериментируя с различными режимами, для сбора данных был использован промышленный контроллер.
Полученные знания были превращены в очередной бокс или как мы его теперь называем контейнер. Это по-прежнему опытный образец и служит он в основном для демонстрации, но на этот раз изготовлен уже из стали, ведь мучим мы его уже в полевых условиях, совместно с заказчиком.
Для управления контейнером и контроля его внутренних параметров используется микропроцессорный блок. Этот блок постоянно мониторит параметры внутренней среды контейнера, такие как давление, температура, температура теплоносителя на входе и выходе скорость его движения. Контролируются и параметры энергоснабжения — напряжения и потребляемый нагрузкой ток. Отдельные датчики контролируют уровень жидкости, отслеживается статус открытия и закрытия крышки контейнера для контроля доступа. Получаемые данные в реальном времени передаются на выделенный сервер. Информация доступна для дальнейшей обработки, как машинными методами, так и для визуальной оценки в виде графиков, удобных для понимания. Реализован доступ и с мобильных устройств.
Что мы узнали и чего добились на сегодняшний день?
Так жидкостная система практически бесшумна. Если вы когда-то были в дата-центре или хотя бы заходили в серверную, то звук постоянно взлетающего самолета для вас не в новинку. С жидкостью все не так. Жидкость передает тепло в 3500 раз лучше воздуха. Соответственно для отбора от нагретого процессора одного и того же количества тепла жидкости нужно в 3500 раз меньше, поэтому объемы прокачиваемые через сервер значительно меньше, а значит и тише.
Другим плюсом может быть то, что жидкость не только хорошо отбирает тепло от серверов, но также хорошо отдает его. Технически трудно утилизировать многие кубометры теплого воздуха, а вот найти применение теплой воде гораздо проще, руки помыть и то приятно.
Еще одним плюсом использования фторкетонов является их «природная» пожарная безопасность. Некоторое время назад в сети мелькали фотографии сгоревшей фермы для майнинга биткоинов. В нашем случае такое совершенно невозможно. Имеющегося количества жидкости хватит загасить вполне приличный пионерский костер.
Отдельная польза становится очевидной, когда ты достаешь сервер из ванны. Он выглядит так, как будто его только что достали из пластиковой упаковки фирмы-изготовителя и совсем не похож на жареный во фритюре кусок железа.
Наиболее часто нам говорят о высокой стоимости теплоотводящей жидкости. Отвечая на него, хочется заметить, что эта жидкость и так уже присутствует в любом дата-центре в системе газового пожаротушения. Да, там она спрятана в баллонах, но и у нас она залита в контейнеры и не циркулирует. Для минимизации потерь от испарения при колебаниях нагрузки мы используем холодную ловушку. Вторым аргументом является стоимость ИТ-начинки, которую требуется охладить. В сравнении с ней жидкость совсем не дорога.
Погружная система хороша тем, что не зависит от конкретной конфигурации охлаждаемого оборудования. Мы не переделываем ее под изменение серверной платы или другую видеокарту. У нас нет вентиляторов, холодных пластин, индивидуальных радиаторов, насосов, трубок, быстроразъемных соединений, коллекторов, шлангов, фитингов, герметичных разъемов, элементов управления, есть только один контейнер.
Циркуляция происходит естественным путем через испарение и последующую конденсацию, без лишнего оборудования и дополнительных затрат энергии. Отсутствует разница температур между устройствами. Отсутствует адвективное сопротивление, одна и та же температура на всех элементах погруженного устройства.
Контейнеры являются высокомобильным оборудованием. Поднять его под силу двум или четырем людям. Для его работы требуется лишь охлаждать теплоноситель до температуры кипения. Опробованные нами жидкости кипят при +34С, +49С, +61С, +76С, что позволяет использовать сухую градирню или даже просто прокачивать помпой воду из ручья.
Контейнер герметически закрыт, что исключает попадание влаги, песка, пыли и грязи. Работать он может в любом, даже совсем не оборудованном для работы месте.
Производимые нами контейнеры могут отводить 1, 5, 10 кВт тепла. Под заказ мы можем изготовить и более мощные контейнеры.
Используя контейнеры вы сохраняете полный контроль над своей информацией. Вы не передаете свои данные ни в дата-центр, ни в «облака». Вы сами обеспечиваете физическую безопасность собственных данных.
Теперь о том, зачем мы этим занимаемся. Мы хотим дать возможность людям, самостоятельно распоряжаться своими данными, сколько бы велики они не были.
Комментарии (68)
c_kotik
23.12.2016 12:00+2Вот бы была возможность такую жидкость купить по литражу на эксперименты… А так получается дорого и не для всех.
Igor_O
23.12.2016 12:27+5Собственно, главный вопрос к погружной системе — как в ней ведут себя интерфейсы 10-гигабитного эзернета, инфинибэнд, SFP и QSFP коннекторы? Работают ли в погруженном состоянии оптические трансиверы?
6 лет назад основной засадой была невозможность охлаждать так жесткие диски и СХД. Сейчас проблема снялась сильно подешевевшими SSD…
Еще один момент — на ваших фотографиях видно, что процессор стоит без радиатора. Какой был TDP процессора? Чем его грузили? До какой температуры он по факту нагревается?
Tolstopuz
23.12.2016 13:34+2Оптические коннекторы плохо работают(( — жидкость проникает в зазор, получается призма со всеми вытекающими последствиями. Наше решение — медью на корпус, а дальше оптика, расстояния как раз позволяют.
Мы использовали как SSD, так и жесткие диски от HGST — они до сих пор по-моему единственные, кто делает герметичные накопители.
Мы снимаем радиаторы со всех микросхем.
Грузили всеми возможными тестами. По факту он нагревается только до температуры кипения жидкости. Кристалл на 7-8 градусов теплее.
Igor_O
23.12.2016 14:21Спасибо!
Т.е. всяческие 40+ гигабитные интерфейсы в жидкости нормально работают?
По температурам — понятно… Вопрос, собственно, остался только в том, какой был TDP у процессора? Со 120-ти ваттниками проверяли на 100% нагрузке (ну или на Линпаке)? Не возникнет газовой прослойки на поверхности?
xcore78
23.12.2016 17:29«Медь на корпус» ограничивает применение до чего-то совсем не требовательного, попутно увеличивая стоимость решения (отдельная инфраструктура/компоненты/упавшая ремонтопригодность).
Twinax-сборки могут помочь: до коммутатора дотянутся, а их вы уже не будете охлаждать жидкостью. Наверное :)
maxzhurkin
24.12.2016 11:12+1Нельзя доводить жидкости до кипения, кавитационные процессы способны повреждать практически любые поверхности, что со временем приведет к физическому повреждению кристалла
Tolstopuz
24.12.2016 15:06Со временем конечно.
Igor_O
26.12.2016 11:46Только время это в таких системах — будет в разы больше расчетного срока службы сервера. Я в своей жизни встречал очень разные чайники. Некоторые из них плотно и серьезно использовались десятками лет. Ни разу не слышал, чтобы в чайнике из-за кавитации возникали повреждения. Это при том, что до совсем недавнего времени чайники эксплуатировались в очень жестком режиме — с одной стороны пламя с температурой 700-900 градусов, с другой стороны кипящая вода…
На самом деле, кипение и кавитационные процессы — это немного разные вещи. Кавитация — это возникновение пузырьков газа в областях пониженного давления в жидкости. При кавитации в воде — в этих пузырьках более высокий процент кислорода, по сравнению с воздухом и, по некоторым расчетам, температура в пузырьке до 1500 градусов может быть. Т.е. получается очень мощный окислитель — кислород под высоким давлением и при высокой температуре. Плюс, когда пузырек, попав в область «нормального» давления, схлопывается — возникает ударная волна, наносящая дополнительные повреждения.
При кипении основных «поражающих факторов» кавитации — нет. Нет повышенной агрессивности газа в пузырьке, нет температуры 1500 градусов, нет ударных волн от схлопывающихся пузырьков.
pwrlnd
24.12.2016 15:28Тоже был удивлен. Кто мешал оставить радиатор?
maxzhurkin
24.12.2016 15:32На самом деле, тут могут быт нюансы, такие как физическое (растворимость) и химическое взаимодействие материала термоинтерфейса и жидкости
pwrlnd
24.12.2016 16:35Даже если отказаться от термоинтерфейса, то в любом случае температура на поверхности корпуса чипа будет ниже. Разве не так?
maxzhurkin
24.12.2016 16:38Но тогда, тем более, нельзя пользоваться радиатором, поскольку условия для кипения в просвете между корпусом чипа и радиатором будут возникать при меньшей температуре. Если я правильно понял вопрос.
pwrlnd
24.12.2016 17:03условия для кипения в просвете между корпусом чипа и радиатором будут возникать при меньшей температуре
Даже если не учитывать, что температура там станет ниже градусов на 10-20 — поясните, почему условия для кипения там лучше?maxzhurkin
24.12.2016 17:34Из-за капиллярных явлений, на самом деле, зависит от смачиваемости поверхности. В любом случае, кипение в пространстве между корпусом чипа и радиатором будет более разрушительным.
Tolstopuz
24.12.2016 16:36Радиаторы можно и оставить — пусть термопасту из-под них вымоет, пусть сами они обладают термосопротивлением, которое нам не нужно, пусть они занимают физический объем, который может занять другое оборудование. Проблема в том и есть, что опускаемое в жидкость оборудование изначально проектировалось для воздушного охлаждения.
maxzhurkin
24.12.2016 16:44Нет, это тоже плохая идея, условия для кипения в просвете между корпусом чипа и радиатором будут возникать при меньшей температуре.
Tolstopuz
24.12.2016 22:38Есть и еще один аспект. Жидкость является моющей жидкостью. Ее в частности используют в дегризерах для отмывки печатных плат. Поэтому со временем в ней могут накапливаются загрязнения. Эти загрязнения будут забиваться в узкие щели и препятствовать циркуляции.
Igor_O
26.12.2016 12:09+1Пока соотношение тепловыделения и площади поверхности такие, что не возникает слой газа вдоль поверхности, ограничивающий поступление жидкости в область нагрева, радиатор только увеличивает температуру элементов.
Тут идея в том, что жидкость кипит. Кипит жидкость при конкретной температуре. Это значит, что в большом диапазоне теплопритоков температура на поверхности элементов равна температуре кипения жидкости. Если теплоприток совсем маленький, тепло может отводиться теплопереносом и конвекцией. Но охлаждение за счет фазового перехода при кипении — в несколько раз эффективнее. Для «инженерных жидкостей» — теплота парообразования в районе 80-150 кДж на кг, а теплоемкость — около 1 килоджоуля на кг на градус.
proton17
23.12.2016 12:41+1Поддерживаю предыдущего товарища, хотелось бы для наглядности конфигурацию системы и температуры на основных ее компонентах (и самой ОЖ) при длительной нагрузке. А так тема интересная.
AndrewRo
23.12.2016 15:20+1Кстати, а сколько в результате стоит эта “сухая вода”? Я так и не нашёл в интернете ни одного ценника, даже примерного.
Igor_O
23.12.2016 15:50Оценки стоимости разные и странные… Например, Novec 1230 — от 2000 рублей за литр в Москве для заправки систем пожаротушения, до 33 долларов за кг при партии от 10 тонн на алибабе (56 долларов за литр!..).
arheops
23.12.2016 15:55А надо литров 20-40 судя по стенду, да? Замечательно просто.
Igor_O
23.12.2016 17:0940 литров будет достаточно на 3-4 сервера. Когда у вас в каждом сервере на 600 килорублей процессоров и памяти, 80 килорублей за жидкость — вы не заметите.
А если процессоров и памяти у вас в сервере не на 600 килорублей, смысла городить жидкостное охлаждение — обычно нет.Tolstopuz
23.12.2016 18:16Да, так и есть. Стоимость жидкости пугает только до тех пор, пока не задумываешься о цене оборудования, которое требуется охладить.
vconst
23.12.2016 15:23+1Можно больше технических подробностей? Какую конкретно жидкость использовали и какова ее примерная стоимость? Гугл выдает ссылки на самые разные, от 400 рублей за килограмм, до 4к+ за кило, но совершенно непонятно, какая из них подойдет и во сколько обойдется объем достаточный для охлаждения десктопа.
The_Judge
23.12.2016 17:28Было бы интересно узнать, с какими составами проводились эксперименты, сколько они стоят и можно ли их купить. Ну и прочие неочевидные плюсы-минусы. А то упомянуто очень вскользь:
> Опробованные нами жидкости кипят при +34С, +49С, +61С, +76С
А тема действительно интересная, многие энтузиасты хотели бы попробовать.
Tsimur_S
23.12.2016 17:42А как производить быструю замену дисков и процессоров? Ждать пока жидкость сольется и откачается испарившейся фторкетон?
Tolstopuz
23.12.2016 18:14Поскольку все оборудование в контейнере имеет температуру кипения жидкости, то немного горячо вытягивать сервер. Жидкость с него стекает в контейнер, оставшаяся испаряется. Это потери.
proton17
23.12.2016 18:54Т.е. получается любое подключение/отключение какого-нибудь кабеля должно сопровождаться выключением и выниманием сервера? Или вы все разъемы выводите на корпус резервуара?
Tolstopuz
24.12.2016 10:13Подключить кабели возможно открыв крышку. Жидкость диэлектрическая.
proton17
24.12.2016 15:38Это понятно, но если температура жидкости, как на ваших скринах, 60-70 градусов, то кто в нее руками полезет? А если вынимать плату, то рискуем перегревом компонентов, или я что-то упускаю из вида? Просто в статье всего одна фотка сервера и не очень хорошего качества, мало что по ней понятно.
orcy
23.12.2016 21:54А есть ли перспективы для охлаждения ноутбуков или PC? Понятно что это требует особой конструкции оных и сделает их потяжелее, но если получится бесшумный отвод тепла то будет очень даже неплохо, я считаю.
Grox
24.12.2016 01:10Отвод можно и сейчас с водянками сделать относительно бесшумно. А вот сброс теплас носителя сложнее. Один из оверклокеров использовал современную батарею отопления с плоскими внешними стенками. Бесшумно. Громоздко.
Tolstopuz
24.12.2016 10:15Мы считаем, что такая система оправдана там, где обычные не справляются, ввиду высокой плотности мощности. Впрочем за деньги можно сделать что угодно)))
loly_girl
24.12.2016 07:40Всегда мечтала собрать лампочку на погружном светодиоде в прозрачной колбе.
p_fox
24.12.2016 10:17«для сбора данных был использован промышленный контроллер»
«Овен»… Сталкиваюсь с ними по работе. По ощущениям, под русским логотипом скрывается дешевая китайская поделка. Очень ненадежное, глючное и капризное оборудование.
Tolstopuz
24.12.2016 10:18У нас не было нареканий к контроллеру. Дело свое он делал.Сейчас мы перешли на Ардуино и в дальнейшем видимо закажем под себя маленькую плату со всеми нужными деталями.
lelik363
24.12.2016 11:58Как часто нужно менять жидкость?
Tolstopuz
24.12.2016 15:04Зачем? Мы не зафиксировали изменений ее состава за время экспериментов. Мы лишь доливаем по мере ее расходования.
lelik363
24.12.2016 18:40Вы хотите сказать, что у жидкости безграничный срок службы?
Tolstopuz
24.12.2016 18:43Нет, конечно нет. Но для ответа на такой вопрос нужно провести соответствующие исследования. Мы их не проводили и я не могу ответить, как часто нужно менять жидкость, согласно изменению ее физико-химического состава. Думаю производитель жидкости, компания 3М, может ответить на такие вопросы.
vconst
26.12.2016 17:12Порядок цен так и не озвучен, что весьма характерно
c_kotik
26.12.2016 17:22Сама компания 3M когда то на хабре публиковала цикл статей о «сухой воде». Интерес публики, как и сейчас, разбился о скупость информации, доступности материала для «пощупать». Собственно с тех пор ничего нового, если не считать результаты тестов на конкретном оборудовании.
kvaps
Скажите, а разве в водяных системах охлажения не используется дистилированная вода?
Ее производство недорогое, а еще, насколько мне известно, дистилированная вода не проводит ток и, как я понимаю, в случае протечки ее попадание на микросхемы не критично. Это так?
c_kotik
дистилированная вода — хороший растворитель. И очень быстро перестаёт быть дистилированной в контуре.
kvaps
Спасибо, как я понимаю, по той же причине спирт отпадает...
c_kotik
Есть ещё силиконовое масло ПМС-5 — очень жидкое и диэлектрик. Но руки не дошли с ним поиграться)
Igor_O
Масло — оно масляное. Что резко усложняет и замедляет обслуживание системы — прежде, чем что-то сделать нужно ждать пока стечет масло, использовать специальные поддоны. И все равно, все вокруг будет заляпано… Поиграться — прикольно, а вот для боевой реально работающей системы — лучше использовать упомянутые фтор-кетоны или воду.
c_kotik
Но если речь идёт о закрытом контуре (без погружения), то масло хоть по параметрам проигрывает (ниже теплоёмкость и выше вязкость), зато не приведёт к коррозии не зависимо от от комбинаций металлов в контуре, протечки гарантированно не приведут к замыканию. А вот фтор-кетоны не слишком доступная вещь, и это их самый серьёзный минус.
И да, когда интересовался, был у фтор-кетонов ещё один нюанс — со временем под воздействием УФ разлагается на ряд не слишком безопасных компонентов. Может сейчас химики исправили.
pant-79
А зачем такой системе УФ?
c_kotik
К примеру демо-стенд со смотровыми окошками.
Igor_O
Ну с разложением под действием УФ — есть простой и правильный способо — запихать все в непрозрачный ящик.
Масло тоже не вечное, свойства со временем меняет, окисляется. Если говорить о системах без погружения электроники в жидкость — все же вода — более правильное решение. С одной стороны, герметичные трубопроводы для воды человечество умеет делать уже больше 100 лет. А для масла еще надо прокладки подобрать, чтобы они не разбухали, не растворялись, не крошились и т.д.
С другой стороны, вода быстро высыхает и легко вытирается при небольших протечках. А при больших утечках почти всегда больший ущерб будет от перегрева оборудования, чем успеет случиться от коррозии. В системе, которую «делал» я — разъемы были вынесены за пределы корпуса оборудования. Внутри при утечке вода могла попасть только на одну плату, в место, где никаких активных компонентов не было.
Интересную систему делали в Переславле-Залесском. Но у них были быстроразъемные соединения внутри шасси. С этим есть свои проблемы…
Но, опять же, если учесть все факторы, систему с воздушным охлаждением можно сделать более компактной, более простой в обслуживании и не сильно менее эффективной с точки зрения затрат энергии на охлаждение. Единственное — шумит — очень громко. Но для этого есть наушники-антифоны. Да и ходить в машзал при наличии IPMI нужно не очень часто.
Tolstopuz
Погружная система хороша именно тем, что не привязана к конкретной конфигурации оборудования.
Риск протечек и наличие многих быстроразъемных разъемов и пр. это одно. Необходимость перепроектировать систему охлаждения под каждую вариацию это другое. Это стоит денег и требует времени.
REPISOT
Масло, кроме того, имеет совсем не ту теплоемкость.
tsolre
На сколько я понял, она перестает быть дистилированной от контакта с деталями, а не контакта с воздухом? И на сколько быстро, подскажите хотя бы порядок, минуты, часы, дни?
VaalKIA
Примерно так же, как быстро становится сладким ваш чай. В воздухе полно пыли, так что контакт с воздухом действует аналогично, но концентрации, конечно — не те.
Igor_O
Проблема не только и не столько в протечках. Нужно использовать радиатор. Радиатор может быть медный или алюминиевый. Медный — тяжелый и дорогой. Алюминиевый дешевле, но если вдруг в водяной системе есть любой источник меди — тут же начинается электрохимическая коррозия алюминия. С образованием красивых белых хлопьев… Из очень абразивного материала. Который, если не забьет трубы раньше, убьет помпу.
А самое противное — что даже нержавеющая сталь подходит далеко не всякая. Некоторые марки нержавейки то ли содержат медь, то ли какой-то другой металл, который также вызывает коррозию алюминия.
А еще сам алюминий… Его куча вариантов и сплавов. Многие из них содержат медь или другие вызывающие коррозию металлы в себе и коррозия начинается просто от контакта с водой!
А еще есть братья-китайцы… Занимался я когда-то проектированием радиатора для системы водяного охлаждения. Столкнулись мы с тем, что все же есть коррозия… Отправили образцы в лабораторию. Оказалось, что алюминий из которого китайцы сделали радиатор никакого отношения к сплаву, который был обозначен в спецификации, не имеет…
IgorGIV
Обычно используют пропилен-гликоль.
justicebest
Дистиллированная вода проводит ток. Деионизированная не проводит (18 МОм·см).