Компания BitFury выводит охлаждение погружением на новый виток развития: руководство заявило о намерении построить новую ферму для майнинга криптовалюты, мощность которой составит около 40 МВт. При этом на одну стойку будет приходиться около 250 кВт. Для достижения указанных целей BitFury планирует использовать оборудование от 3М.
Новый объект будет крупнейшим в мире, где используется иммерсионное охлаждение. Основная цель — увеличение плотности размещения оборудования. Ферма будет оптимизирована для работы с технологией погружного охлаждения, здесь не будет многих элементов инфраструктуры, характерных для традиционных дата-центров. Очень высокая плотность размещения оборудования и высокая эффективность работы этого оборудования — критичны для криптомайнинговых ферм.
Пытаясь найти новые способы повышения эффективности работы оборудования, компания BitFury купила Allied Control, специализирующуюся на двухфазном иммерсионном охлаждении (2PIC), с использованием хладагента от 3М.
«Плотность в 250 кВт на стойку — не предел, и сейчас мы получили возможность быстро расти, эффективно используя систему охлаждения нового типа», — сообщил представитель компании.
Работает все это по известному принципу: как только оборудование нагревается до определенной температуры, жидкость закипает, отводя лишнюю тепловую энергию, превращаясь в пар. Далее пар конденсируется, стекая обратно в резервуар.
Система такого типа чрезвычайно эффективна, показатель Power Usage Effectiveness (PUE) здесь равен примерно 1.02. Все это становится возможным благодаря тому, что не требуется использовать инфраструктуру охлаждения воздухом, с фальшполами и прочими элементами этой инфраструктуры.
Переходя из жидкой фазы в газообразную, хладагент от 3M отводит тепловую энергию от оборудования.
Интересно, что сейчас средняя нагрузка на стойку в большинстве дата-центров составляет около 5 кВт, с повышением до 8-10 кВт на серверных фермах определенного типа.
Иммерсионное погружение может найти более широкое применение в высоконагруженных системах. Так, сейчас правительство США ищет возможность повышения производительности суперкомпьютеров. На последней конференции SC14 эксперты предсказали быстрое расширение областей применения технологии охлаждения погружением.
Переосмысление концепции охлаждения дата-центра
Охлаждение оборудования дата-центров — ключевая задача, вернее, одна из ключевых. Обычно для этой цели используется воздушная система охлаждения с горячими/холодными коридорами, с использованием водоохлаждающих контуров, заключенных в системы очистки воздуха и CRACs, расположенных по периметру зала.
Альтернативная — жидкостное охлаждение, либо с использованием жидкости, заключенной в трубопроводы, и подводимой к местам, где требуется охлаждение, либо с прямым погружением серверов в жидкость. Некоторые производители оборудования интегрируют системы водяного охлаждения прямо в сервера или стойки.
Погружное охлаждение сейчас используется в различных сферах, эта технология работает в научных дата-центрах, в системах сейсмического моделирования, военных компьютерах. И эта тенденция не случайна. По словам представителей той же компании 3М, погружное охлаждение способно снизить операционные затраты на 95%.
Bitcoin-фермы — идеальная сфера для использования иммерсионного погружения. Создателям таких ферм требуется максимальная плотность оборудования с максимальной производительностью. Чем выше производительность оборудования — тем больше прибыль фермы. А маржа сейчас все меньше, поскольку биткоин за пару лет упал по отношению к доллару с $1100 до $295.
Многие фермы просто закрылись, или же изменили ценовую политику для клинтов. Выжили многие китайские майнинговые фермы и производители майнингового оборудования вроде BitFury. В прошлом году эта компания получила около $20 млн на расширение мощностей, и теперь компания планирует открыть новые дата-центра в Финляндии, Исландии, Грузии.
Масштабирование технологии
Как и указывалось выше, мощность новой майнинг-фермы от BitFury будет достигать 40 МВт. В жидкость от 3М разработчики погрузят около 160 стоек с планируемой нагрузкой в 250 кВт на каждую стойку.
«PUE, которого нам удалось достичь, выводит на новый уровень охлаждение в дата-центрах», сообщил Валерий Вавилов, СЕО BitFury. По словам Вавилова, компания предпринимает достаточно активные шаги по оптимизации инфраструктуры охлаждения своих дата-центров. Этот опыт, считает руководитель компании, может быть полезным в плане создания дата-центров нового поколения, с повышенной производительностью.
Кроме повышения производительность оборудования, погружное охлаждение позволяет еще и значительно урезать расходы на инфраструктуру дата-центра, снимая необходимость создания фальшполов, систем воздушного охлаждения, установки водяных контуров. Также нет необходимости использовать кулеры, которых обычно довольно много в майнинговом оборудовании.
Контейнеры погружного охлаждения позволяют быстро заменять железо — как отдельные компоненты, так и целые стойки. BitFury приходится часто это делать со своими ASIC.
Комментарии (22)
plin2s
01.11.2015 20:06А я вот не могу понять откуда берется «средняя нагрузка на стойку в большинстве дата-центров составляет около 5 кВт».
5 кВт при современном оборудовании — это два блейд шасси или одно блейд шасси и хорошая дисковая полка. Что, в общей сложности, будет занимать меньше половины стойки.
Если мы говорим о сферическом ЦОД с арендой стоек, 5 кВт — это такая средняя цифра, которую очень легко перешагнуть при заполнении стойки, а каждый лишний киловат стоит конских дененег. А вот 8-10 кВт это как раз полноценное использоваине предоставленного пространства.
blind_oracle
01.11.2015 21:06+2Я думаю — имеется в виду среднее потребление энергии со стойки, а не максимальное. Нагрузка на сервера совсем не всегда близка к 100%, поэтому и энергии они кушают, в среднем, меньше.
Но, конечно, 5квт всё равно мало как-то. У меня 6КВА Symmetra на 85% нагружена 5 серверами обычными и 4 дисковыми полками (без мозгов, просто диски по SAS).plin2s
02.11.2015 00:37Вот примерно это я и имел в виду. Если стойка наполовину пуста или оборудование попросту простаивает без нагрузки, то речи о целесообразности такого охлаждения особо нет. Да и с обслуживанием проблемы лишние появляются.
Опять таки, в тексте гооврится «Иммерсионное погружение может найти более широкое применение в высоконагруженных системах». А это как раз один из тех случаев, когда потребление явно больше 5 кВт.
phprus
02.11.2015 10:11В некоторых высоконагруженных системах сейчас уже практически повсюду вода и рекорд среди продающегося оборудования сейчас до 400кВт теплоотведения на стойку (суперкомпьютеры РСК).
BasilioCat
02.11.2015 11:06В московских ДЦ мощность на стойку выделяется в среднем 4-5 кВт, при этом часто стоит автомат прямо на стойке — и если какая-нить СХД при старте потребляет много, то он и отщелкивается сразу. Часто дополнительные киловатты дают за деньги, но не везде — просто нет мощностей, особо в старых ДЦ
DartMedved
02.11.2015 15:23Все это конечно замечательно, но совершенно не понятно, что в такой системе они будут делать с кавитацией и эрозией материалов.
Во что бывает с гребными винтами например:
safari2012
02.11.2015 18:21там же не вода, на самом деле, а специальная жидкость, что то типа этого, возможно более новая формула ru.wikipedia.org/wiki/Novec_1230
DartMedved
02.11.2015 18:37так и кавитация — это свойство не только воды, а любых жидкостей.
а вот это вообще супер:
Пары вещества разлагаются в атмосфере под воздействием солнечного света, ультрафиолета или при нагревании с образованием токсичных веществ, в том числе фтороводорода (при взаимодействии с парами воды), трифторуксусной кислоты, угарного и углекислого газов.
safari2012
03.11.2015 16:29я же написал, что не уверен, что именно Novec 1230 применяется в качестве хладагента (возможно какое-то другое вещество), но именно в этом качестве он был запатентован изначально, согласно статье в википедии.
кроме того, скорее всего контур там закрытый применяется и нечего за пределы стоек не испарится.
про винты вообще не понял смысла вопроса. вряд ли там вентиляторы охлаждения вообще применяются.
blind_oracle
02.11.2015 20:52+1Кавитация разрушает винты энергией, образующейся при схлопывании разреженных пузырьков, насколько я помню.
А в данном случае будет обычное кипение — при нагреве жидкость превращается в пар, пузырёк пара всплывает, охлаждается и конденсируется.
Никакой кавитации.DartMedved
02.11.2015 21:03Дома воду в чайнике или кастрюле кипятили когда-нибудь? шум и бурление воды наблюдали? так это и есть, она родненькая, кавитация. и, что характерно, никаких винтов и движущихся частей. а теперь можно представить себе микросхемы которые в таком режиме 24x7 варятся…
blind_oracle
02.11.2015 23:05Да, только там не те энергии схлопывания — раз, и локализация процесса в другом месте — два. Пузыри будут схлопываться где-то ближе к верхней части этой ванны, при охлаждении и понижении давления.
vvzvlad
02.11.2015 23:17Схлопываются они как раз на нагревателе. Пузырек появляется, попадает в окружающую его холодную воду и схлопывается. Другое дело энергия, да. Никогда не видел кавитационных повреждений на чайниках или кипятильниках.
DartMedved
03.11.2015 16:50ну у вас же чайник или кипятильник не в режиме 24/7 пашет. а граждан выше будет именно такой режим. и поэтому мне вот очень интересно что будет с корпусами микросхем и печатными платами через полгода/год работы в таком режиме
vvzvlad
04.11.2015 17:25Промышленные нагреватели в таком режиме и работают. Накипь есть, повреждений от кавитации нет.
sintex
03.11.2015 12:08Картинка взята с вики? Там же как раз и описано различие между гидродинамической кавитацией и кипением. Посмотрите :)
blind_oracle
Я всегда удивляюсь сколько трудов люди пускают на, по сути, бесполезное дело. Я могу ещё понять SETI, Folding и прочие подобные проекты с достаточно реальными целями. Тут же — столько энергии и сил уходит на бесполезный просчёт дофигалиардов хэшей.
И, если бы биткоин был бы качественным продуктом, без архитектурных проблем (огромный размер блокчейна, разделение валюты на две разные, проблема 50% и прочее), то, может быть, стоило бы прилагать силы к созданию децентрализованной валюты.
Я лично биткоин в этом качестве не вижу, слишком много недостатков.
polym0rph
А печатать бумагу, содержать банки, с огромной обвязкой от кассиров до инкассаторов, платить им ЗП этими же деньгами, которые они производят и перевозят, держать различные клиринговые компании и еще кучу институтов, которых можно заменить скриптом, который быстрее и надежнее — это норм только потому что более привычно?
blind_oracle
А я и не утверждаю, что текущая система — правильная, скорее наоборот.
Но, раз мы собираемся вкладывать много усилий в новую систему, у которой не будет недостатков существующей, то нужно эту новую систему спроектировать более продуманно, тщательно, а не каким-то анонимным Сатоши.
У биткоин есть фундаментальные недостатки, которые в будущем могут привести к невозможности её использования как платёжного средства или затруднению этого процесса. Про остальные *коины не знаю, их слишком много, но принципиальных различий в том же Litecoin я не видел, разве что хеш сложнее.
Grox
Пока кто-то задумывается или озвучивает идеи, анонимный Сатоши не только всё это реализовал, настолько тщательно, насколько мог, но и подтолкнул остальных подумать, как будет ещё лучше.