В первой части я рассказывал о том, как мы начали погружаться в тему жидкостного погружного охлаждения. Прошло время и хочу рассказать о достигнутых глубинах.
Закончив 2016 год на весьма успешной ноте – проект выполнен, заказчик доволен, мы ожидали если не вала заказов, то хотя бы продолжения работы. Реальность охладила наши планы. Заказчик сообщил, что следующее финансирование в рамках программы можно получить аж в 2020 году. Мы решили занять себя каким-то другим делом, в ожидании пока время быстро пролетит. Попытки погрузить в контейнер микрокластеры и суперкомпьютеры не удалась – не нашлось выходов на заинтересованных людей.
И тут наш взор обратился на ниву майнеров криптовалют. Тема эта была для нас совершенно новая и неизведанная. Все, что мы знали это то, что три маленькие платы с чипами жрут почти 2 кВт электричества. Опыт работы с ПЛИС (FPGA) у нас имелся и мы смело ринулись вперед, в смысле вглубь.
В отличие от предыдущего проекта, где у нас был вполне разумный заказчик и ТЗ, здесь не было ни того, ни другого. Количество майнеров и их разнообразие повергало в уныние. Ведь для полупромышленного оборудования важным условием является однотипность входящих в него элементов. Гораздо проще сделать контейнер на один типоразмер плат, нежели на целый букет. Вариант купить майнер и делать контейнер под него нами тоже рассматривался. Этот вариант помимо прочего сулил и быструю окупаемость проекта в целом. Однако сославшись на незнание предметной области и на разумное соображение, что во время золотой лихорадки лучше всего продавать лопаты, мы от него отказались.
Познакомившись со многими энтузиастами майнинга, мы сделали для себя следующее заключение. Оно не претендует на звание истины – это исключительно наше мнение. Мир майнинга разделен на две части – АСИКи и видеокарты. Среди АСИКов львиную долю составляет продукция с размерами плат 15 на 25 см, плюс минус сантиметр. В разделе видео карт мы себя не нашли ввиду очень большой рыхлости ферм. Даже при снятых вентиляторах и радиаторах компоновка получается очень громоздкой.
Мы начали разработку устройства, отталкиваясь от нашего понимания нашей целевой аудитории и максимальной электрической мощности, доступной простому человеку. Эта мощность около 10 кВт.
Мы решили опереться на наш успешный 5 кВт бокс и масштабировать его до 10 кВт. Дело нам представлялось совершенно простым и мало рискованным и поэтому мы решили обойтись без изготовления опытного образца и заказать сразу мелкую серию. Как же мы ошибались))) Нарушив давнее правило вносить не более одного изменения за раз, мы решили сразу сделать много изменений. Что было сделано.
Во-первых. Мы решили дать шанс российскому производителю и заменить внутренний немецкий медный теплообменник отечественным. Нашли производителя и опытный образец, покрашенный в красивый черный цвет, выглядел точно так, как и его зарубежный предшественник.
Во-вторых, мы увеличили размер контейнера с тем, что бы он вмещал 24 платы выбранного нами форм-фактора 15 *25 см. Суммарная мощность этих плат как раз укладывалась в выбранный диапазон 10-12 кВт. Увеличился соответственно и периметр фланца, соединяющего крышку и собственно контейнер.
В-третьих. Мы не погружаем блоки питания в жидкость и оставляем их снаружи, следовательно, появилась необходимость завести внутрь контейнера порядка 800-1000 ампер. Данное решение было обусловлено в частности тем, что блоки питания тоже весьма рыхлые и для их охлаждения нужно много жидкости. К тому же блоки питания майнеров у всех разные и сделать универсальный контейнер под любые блоки весьма затруднительно.
Сразу скажу, что все три технических решения оказались провальными. К сожалению, узнать об этом мы смогли только после изготовления первой партии. Расскажу подробнее.
1. Внутренний теплообменник оказался не полностью медным, ламели были алюминиевыми. Поскольку мы «умные» и заложили некий запас по мощности теплообменника, то это мы смогли бы пережить. Но выяснилось, что ламели не припаяны, а просто надеты на медную трубу. При включении эти ламели быстро прогревались до температуры 50С и переставали отбирать тепло.
2. Жесткость фланца оказалась недостаточной. При нагревании металл деформировался и добиться герметичности контейнера оказалось мега трудно.
3. Ввод питания был выполнен через медные болты. Токи то не детские. Сначала выяснилось, что медного крепежа нет. Есть омедненный. Это те же стальные шпильки и гайки, покрытые тонким-тонким слоем меди. Для нас этот вариант был неприемлем. Мы нашли российского производителя медного крепежа. Объем нашего заказа вызвал у него видимо гомерический смех, но заказ был выполнен. Стоимость и сроки его выполнения добавили несколько седых волос в наши шевелюры))) Беда пришла позже, когда контейнеры стали работать. Многократные включения и выключения, прогрев до рабочей температуры и охлаждение привели к тому, что крепление болтов перестало быть герметичным, пары теплоотводящей жидкости сифонили сквозь переходную панель питания.
Хочу сказать слова благодарности нашим заказчикам, отважившимся купить наши контейнеры. Совместными усилиями мы выявили все слабые места. По результатам испытаний была выполнена «работа над ошибками». Мы разработали новый контейнер.
Комментарии (14)
AlexAlk90
23.03.2018 08:40А не поделитесь как считали внутренние теплообменники?
Тоже есть интерес к этой теме, но не могу придумать методику расчета, кроме метода научного тыка, очень уж много факторов влияет. Или просто подбирали экспериментально?
Tolstopuz Автор
23.03.2018 08:50+1Мы рассчитывали, а затем пробовали))) Есть в компании 3М Phil Tuma, который выполнил много исследований и написал много работ, посвященных двухфазному жидкостному охлаждению. Из этих работ можно подчерпнуть значения коэффициентов теплопередачи, парообразования, смачивания и др. Потом рассчитать теплообменник. Затем кинуть в емкость нагреватель и смотреть как кипит. Мы так делали.
dlinyj
23.03.2018 13:24Скажите, жидкость для охлаждения, которую вы используете (какой марки?) как взаимодействует с различными материалами? В частности с прокладками электролитических конденсаторов и т.п.? Есть ли утечки, как вы их выявляете и как боретесь?
Tolstopuz Автор
24.03.2018 11:49Мы используем жидкости компании 3М семитысячной серии. Есть также 649 и фторкетон. Взаимодействие с различными материалами многократно описано в специальной литературе. Эти жидкости были специально сделаны для таких применений.
Утечки у нас были через фланец, соединяющий крышку с корпусом. Замена крышки на листовой пластик 20 мм и использование на корпусе 40 мм уголка для жесткости решили эту проблему.dlinyj
24.03.2018 13:06А вы не могли бы дать рекомендации по этой литературе?
На сколько я знаю, достаточно мало исследованы влияния данных жидкостей на различные пластики, и вымывает пластификаторы. (поправьте меня, если я не прав, быть может есть нормативные документы). Поэтому от электролитических конденсаторов в данных жидкостях надо отказываться (разбухают прокладки). А следовательно применение погружных БП просто нецелосообразно. Плюс. если плохой ток жидкости охлаждения в следствиии пузырьков газа в БП, то он сгорает.
rPman
24.03.2018 01:21Про риги на видеокартах:
По стоимости это решение выгоднее замены воздушной системы охлаждения на фулкавер водоблоки? Все типовое, доступное и т.п.
И главное, жидкостная система охлаждения не нуждается в фиксированном корпусе, можно хоть на стене развешивать карты (правда вверх/вниз все же пределы есть порядка 1-2 метра, иначе фитинги сифонить начнут), ну и замена и монтаж сухой и удобный.Tolstopuz Автор
24.03.2018 11:43Я писал, что риги не наша аудитория. У каждого решения есть свои плюсы и минусы, с моей точки зрения нет универсального, самого лучшего и устраивающего всех решения. Одним из наших плюсов является универсальность системы — она подходит всем устройствам, которые удалось погрузить в ванну. За это приходится платить стоимостью жидкости. Риги очень рыхлые, жидкости нужно много. Фулкавер блоки хороши, но они оптимизированы под те или иные карты. Сменили карты — скорее всего надо будет менять и блоки. И требования к качеству исполнения и монтажа тоже остаются — вода дырочку найдет(((.
rPman
24.03.2018 13:34Так я и спросил про стоимость!
Неужели эта универсальность (слабовата по мне так) стоит высокой цены жидкости?
Фулкавер система охлаждения — это актив, у которого фактически нет амортизации или она минимальна, т.е. вы просто избавляетесь от старых видеркарт вместе с частью жидкостной системы охлаждения.
p.s. кстати очень велик шанс получить совместимую систему охлаждения к новым видеокартам.
rPman
24.03.2018 13:56Про асики, когда то я всерьез подумывал о жидкостном охлаждении к ним, и это не так дорого, кустарно собрать свое.
В интернете помню были неплохие туториалы, слоеный бутерброд из алюминиевой пластины, собранных на клею/герметике каналов (я рассчитывал на обычную 3D-печать и нейлон) и оргстекла сверху, в который вкручиваются фитинги (поэтому оргстекло рекомендуется толстое, чтобы крепление фитинга было механически прочным).
Между чипами и пластиной радиатора — нарезаются кусочками термопрокладка (на свой чип квадратик), это эффективнее и дешевле чем на всю поверхность платы (но многие платы асиков охлаждаются с обратной стороны, где нет ничего, так что можно тут и схалявить, разместив термопрокладку на всю площадь).
Есть проблема, для больших плат (такие редкость но бывают, помню у авалона такие были) понадобится система прижима водоблока к плате по всей площади (для этого еще одна пластина, так же через прокладки, можно просто силиконовые, выравнивает прижимает чипы, а там водоблок и эта пластина на винтовых соединениях.
Я помню пытался проектировать систему из длинных универсальных водоблоков (если понадобится, несколько в ряд ставить), когда несколько плат насаживаются на них вместо крепления на корпусе.
Радует что вовремя одумался, вкладываться в асики после 2013-го и по сей день смысла не стало никакого.
piligrim130
24.03.2018 11:49+1корпус от сгоревшего трансформатора с подстанции, готовое решение, он уже с наружными
ребрами или каналами для охлаждения.:))Tolstopuz Автор
24.03.2018 11:51+1Да, корпус хорош. Трудно только получить его по требованию в нужные сроки — ну не поджигать же подстанцию, да и не одну)))
kaftanati
Я хотел написать сразу очень интересный и уместный комментарий, чуть позже понял, что, не обойдусь без ошибок, но тем не менее попробовал. Первое многословное предложение было с ошибками, которые я исправил и ответственно заявляю — я написал новый комментарий:
Молодцы.