Инженерам ЦОД хорошо известно, что жидкость является более эффективным методом охлаждения оборудования, чем воздух. Данное решение пользуется большой популярностью и имеет спрос в сфере суперкомпьютеров для охлаждения чипов и не только. Но, так, как технологии не стоят на месте и плотность комплектующих в обычных серверных платформах растет — эту технологию начали применять в обычных дата центрах. Ее использует гигант электронной коммерции eBay.



Разработка проводилась подразделением Extreme Scale Infrastructure (ESI) в составе американской корпорации Dell, которая занимается изготовлением оборудования под заказ для крупнейших дата центров по всему миру. Одним из таких была уникальная разработка системы жидкостного охлаждения (СЖО) серверного оборудования для компании Ebay.



В СЖО основным элементом является вода. Стоит заметить, что система Dell имеет свои преимущества: она перемещает воду непосредственно с градирен ЦОД к теплообменникам на каждом чипе внутри корпусов серверных систем. Конструкция не предусматривает центральных блоков распределения рабочего тела, которые, как правило, размещаются между градирней и серверными стойками в суперкомпьютерах и дата центрах с жидкостным охлаждением. Еще одной особенностью проекта под кодовым названием «Project Triton» является использование более теплой воды по сравнению с обычной системой жидкостного охлаждения.



Разработанную корпорацией Dell систему уже используют в одном ЦОДе Ebay, где температура воды на входе достигает 33 градусов по Цельсию. Это еще не предел для СЖО и на данный момент теплообменники используют воду на горячих процессорах, которые работают при очень высокой тактовой частотой и характеризуются повышенным тепловыделением. Если бы систему Project Triton использовали в тандеме с процессорами с низким энергопотреблением, то температура подаваемой воды могла достигать 60 градусов по Цельсию.

Процессоры eBay нуждаются в более эффективном охлаждении, предоставляет собой модифицированную версию чипов из семейства Intel Xeon E5 v4. Каждый чип в базовой версии включает в себя по 22 физических ядра и может одновременно выполнять до 44 потоков команд. Объем кэш-памяти составляет 2,5 МБ в расчете на ядро, то есть суммарно — до 55 МБ. В зависимости от числа ядер, TDP будет лежать в пределах от 55 до 145 Вт. В оснащении Broadwell-EP можно отметить наличие до 40 линий PCI-Express и четырехканальный контроллер DDR4. Процессоры будут рассчитаны на установку в разъем Socket R3. Также инженеры eBay и Intel произвели модификацию чипов и теперь они могут работать на более высокой частоте. По аналогии, компания Intel на протяжении нескольких лет разрабатывает чипы для других гипер масштабных дата центров, таких как Facebook и Amazon.



Система Project Triton охватывает не только одноконтурную СЖО. Она представляет собой решение стоечного масштаба: то есть все компоненты, которые входят в стойку (включая теплообменники, блоки PDU и серверы), разработаны целостно как единая система. Подобный подход инженеры Dell используют при разработке специализированных решений для гипер масштабных ЦОД.

Продавцы оборудования для дата центров традиционно сосредоточивают свое внимание на разработке индивидуальных самодостаточных продуктов – не важно, будь то серверы, системы хранения данных или сетевые коммутаторы. При создании решения стоечного масштаба можно более рационально использовать ценные ресурсы системы электроснабжения и охлаждения, а также внутристоечное пространство и сетевые подключения. Перечисленные ресурсы могут быть более рационально разделены между вычислительными узлами для повышения общей эффективности дата центра.

Система Project Triton использует серверную стойку шириной в 21 дюйм, которая очень похожа на стойки, разработанные инженерами Facebook в рамках инициативы Open Compute Project. Вода в системе циркулирует по медным трубам, подведенным к теплообменникам над процессорами внутри каждого серверного корпуса. Отсутствие дополнительных распределителей рабочего тела и насосов позволяет добиться очень низкого энергопотребления. Коэффициент эффективности использования энергии (PUE) в ЦОД с системой Project Triton составляет всего 1,03 (согласно данным Dell).



По словам представителей Dell, система Project Triton использует на 97 процентов меньше электроэнергии для охлаждения серверов по сравнению со среднестатистической системой воздушного охлаждения дата-центра. Кроме того, новинка использует на 62 процентов меньше электричества, чем решение для высокопроизводительных вычислений с водяным охлаждением Apollo 8000 от конкурирующей HPE (Hewlett Packard Enterprise), о которой писал ранее в статье

Чтоб обезопасить операторов ЦОД от возможной протечки воды на другие элементы электроники, инженеры Dell провели испытание на сварных соединениях труб под высоким давлением с помощью имитационного моделирования. Таким образом давление в трубе поднялось до 350 PSI (при нормальной работе давление воды в трубах при подаче составляет 70 PSI). При этом каждый элемент в серверной стойке и в самом сервере комплектуется дополнительными механизмами поиска утечки и устройствами аварийного отключение. Также инженеры Dell используют герметичные ограничители для устранения попадание жидкости на электроэлементы сервера, используя армейскую технологию.