Производительность чипов растёт экспоненциально по закону Мура и не думает останавливаться. Но вместе с ней растёт и энергопотребление, и тепловыделение микросхем. В 2023 году с появлением суперчипов GH200 (на КДПВ) ускорители перешли киловаттный диапазон. И это очень большая проблема. Инженерам приходится принимать неординарные решения по теплоотводу.

Для подтверждения примерно геометрического роста вычислительной мощности и энергопотребления чипов посмотрим на показатели некоторых CPU за последние пару десятилетий (ограничимся процессорами Intel). Если помните, до некоторых пор процессоры вообще работали без вентиляторов:

Процессор Год выпуска Тактовая частота, макс. TDP, макс.
80386DX 1985 33 МГц 1,95 Вт
80486DX 1989 50 МГц 5 Вт
Pentium 66 1993 66 МГц 16 Вт
Pentium II 1997 300 МГц 43 Вт
Pentium III 1999 600 МГц 34,5 Вт
Celeron 2000 2,5 ГГц 35 Вт
Pentium 4 2000 2 ГГц 100 Вт
Core 2 2007 2,2 ГГц 65 Вт
Core i7 EE 2008 3,2 ГГц 130 Вт
Core i7-3970X 2011 3,5 ГГц 150 Вт
Core i7-5960X 2014 3,5 ГГц 140 Вт
Core i7-8086K 2018 5 ГГц 95 Вт
Core Ultra 9 2023 5,1 ГГц до 115 Вт
Pentium III

С какого-то момента пальма первенства в росте вычислительной мощности и энергопотребления перешла скорее к GPU. По крайней мере, здесь эти показатели растут более явно в геометрической прогрессии, в то время как у CPU в последние годы тенденция не прослеживается настолько же чётко (опять, ограничимся только картами Nvidia GeForce для наблюдения общего тренда):

Видеокарта Год выпуска Производительность, TFLOPS TDP, макс.
8500 GT 2007 0,04 TFLOPS 45 Вт
8800 Ultra 2007 0,58 TFLOPS 171 Вт
9800 GX2 2008 1,15 TFLOPS 197 Вт
GTX 295 2009 1,8 TFLOPS 289 Вт
GTX 590 2011 2,5 TFLOPS 365 Вт
GTX 690 2012 6,3 TFLOPS 300 Вт
GTX 1080Ti 2017 11,3 TFLOPS 250 Вт
RTX 3070 2020 20,3 TFLOPS 220 Вт
RTX 3080 2020 29,8 TFLOPS 320 Вт
RTX 3090 2020 35,6 TFLOPS 350 Вт
RTX 4080 2022 48,8 TFLOPS 320 Вт
RTX 4090 2022 82,6 TFLOPS 450 Вт
Можно добавить к этой таблице несколько видеоускорителей, предназначенных конкретно для вычислений в области ИИ:

Ускоритель Дата выпуска Производительность (fp32) TDP
P100 2016 10,61 TFLOPS 300 Вт
V100 2018 14,9 TFLOPS 300 Вт
A100 2020 19,5 TFLOPS 250 Вт
A10 2021 31,24 TFLOPS 150 Вт
H100 2022 66,9 TFLOPS 700 Вт
H200 2024 67 TFLOPS 700 Вт
Конечно, «закон Мура» более чётко виден в росте производительности, в то время как показатели энергопотребления иногда снижаются от старой к новой модели, за счёт уменьшения размера транзисторов и соответствующей оптимизации. Но так или иначе, есть некоторая тенденция к росту, особенно с последними моделями ускорителей H100 и H200.

Если посмотреть на большинство современных сверхмощных систем, то многие из них тоже преодолели барьер 500 Вт, а некоторые и 1000 Вт, как MGX ARS-111GL-NHR от Supermicro, пишет The Register.


Supermicro MGX ARS-111GL-NHR

Все они, в основном, имеют воздушное охлаждение. Хотя чипы сильно разогреваются, но тепловая нагрузка вполне приемлема и составляет около 21−24 кВт на стойку. Это вполне соответствует возможностям современных центров обработки данных.

▍ Жидкостное охлаждение


Однако ситуация меняется, когда производители систем начинают устанавливать в каждое шасси ускорители с тепловыделением более киловатта. В этот момент большинство OEM-систем переходят на прямое жидкостное охлаждение. Например, в сервере Gigabyte H263-V11 устанавливается до четырёх узлов Nvidia GH200 Grace Hopper в одном корпусе 2U.


Gigabyte H263-V11

Сервер Gigabyte H263-V11 поддерживает до 480 ГБ памяти LPDDR5X ECC на модуль, а также до 96 ГБ графической памяти HBM3 (или 144 ГБ GPU HBM3e) на модуль, совместим с Nvidia BlueField-3 DPU, имеет восемь портов LAN 10Gb/s на Intel X550-AT2, порт CMC, 16 разъёмов горячей замены накопителей 2,5" Gen5 NVMe, восемь слотов M.2 с интерфейсом PCIe Gen5 x4, четыре разъёма FHHL PCIe Gen5 x16, а также оснащён блоком питания Triple 3000W 80 PLUS.

Система вроде DGX H100 с воздушным охлаждением от Nvidia с восемью 700-ваттными H100 и двумя процессорами Sapphire Rapids имеет более высокий TDP (10,2 кВт), но на самом деле она менее энергоёмкая — всего 1,2 кВт на единицу.



Nvidia DGX H100 (на фото) — мощная система искусственного интеллекта, ускоренная высокопроизводительным графическим процессором Nvidia H100 с тензорными ядрами. Это четвёртое поколение первой в мире специализированной инфраструктуры ИИ, полностью оптимизированная аппаратная и программная платформа, включающая поддержку программных решений Nvidia для искусственного интеллекта. DGX H200 — следующее поколение этой системы, которое недавно появилось на рынке.

Новейший чип H200 хотя и показывает такую же производительность в вычисления fp32, но компания заявляет значительный рост производительности в специализированных приложениях, таких как вывод моделей Llama2 70B (1,9 раза) и GPT-3 175B (1,6 раза):



У жидкостного охлаждения есть несколько преимуществ, помимо более эффективного отвода тепла от этих плотно упакованных ускорителей. Чем выше мощность системы, тем больше статическое давление и поток воздуха, необходимые для отвода тепла от системы. Это означает использование более горячих и быстрых вентиляторов, которые потребляют больше энергии — в некоторых случаях до 20% мощности системы.

При мощности свыше 500 Вт на стойку большинство OEM-производителей предпочитают использовать шасси с жидкостным охлаждением.

Достаточно взглянуть на блейды Cray EX254n от HPE, чтобы понять, как много даёт шасси с жидкостным охлаждением:



Cray EX254n для ускорения задач ИИ поставляется вместе с ускорителями Nvidia NextGen 96GB GPU 128GB LPDDR. Платформа может поддерживать до четырёх GH200. Это потенциально 4 кВт мощности в вычислительном блоке высотой 1U, даже не считая сетевых карт.

Конечно, сотрудники подразделения Cray компании HPE знают толк в охлаждении сверхплотных вычислительных компонентов. Однако это наглядно демонстрирует, насколько продуманно производители систем подходят к созданию своих серверов, причём не только на уровне систем, но и на уровне стоек.

Если попытаться заполнить стойку ускорителями вроде Nvidia DGX H100 в блейдах, нужно учитывать мощность стойки и охлаждение объекта, пишет The Next Platform.

Во многих случаях хостерам и операторам дата-центров приходится перестраивать инфраструктуру электропитания и охлаждения, чтобы обеспечить 40 с лишним киловатт мощности и теплоотвода, необходимых для установки четырёх систем DGX H100 в одну стойку.

Но если ЦОД или хостер не может справиться с тепловыделением, то нет смысла пытаться сделать системы большой вычислительной плотности, потому что большая часть стойки будет пустовать.

С выпуском GH200 эксперты обращают внимание, что Nvidia уделяет меньше внимания отдельным системам и больше — развёртыванию в масштабах стойки. Впервые это можно было заметить на выставке Computex весной 2023 года с кластером DGX GH200. Эта система состоит из 256 узлов высотой 2U, в каждом из которых установлен один ускоритель GH200:



В совокупности система способна выдавать эксафлопс производительности fp8. Вместо 1,2 кВт на единицу мощности теперь можно рассчитывать на 500 Вт на единицу, что как раз соответствует уровню большинства OEM-производителей, использующих собственные системы воздушного охлаждения.

Осенью прошлого года Nvidia представила уменьшенную версию этой системы в одной стойке: GH200-NVL32:





Эта система объединяет в одной стойке 16 модулей 1U, каждый из которых оснащён двумя узлами GH200, и соединяет их вместе с помощью девяти коммутационных разъёмов NVLink. Нет необходимости говорить о том, что при мощности вычислений 2 кВт на юнит это очень горячие системы. Поэтому они изначально спроектированы с жидкостным охлаждением.

▍ Ещё более горячие чипы


Nvidia — не единственный производитель микросхем, который бьёт рекорды по TDP в погоне за производительностью и эффективностью.

В декабре AMD рассказала о своих новейших GPU и APU для ИИ и высокопроизводительных вычислений, в которых показатель TDP ускорителей Instinct подскочил с 560 Вт до 760 Вт. Это ещё не киловатт, как у GH200, но всё равно значительное увеличение.




Судя по всему, это далеко не предел технического прогресса, и в будущем мы будем наблюдать дальнейший рост мощности ускорителей, а также тепловыделения. Пока охлаждение справляется с теплоотводом, производители чувствуют возможность увеличивать TDP.

Возможно, через несколько лет жидкостное охлаждение станет стандартом для топовых графических ускорителей. Например, AMD собирается изначально поддерживать как воздушное, так и жидкостное охлаждение на своих платформах. Но на примере нового APU AMD MI300A мы видим, что выбор в пользу воздушного охлаждения почти наверняка приведёт к снижению производительности.

Номинальная мощность MI300A составляет 550 Вт, но при адекватном охлаждении он может разгоняться ещё больше. Так, в специализированных системах для высокопроизводительных вычислений чип можно настроить на работу при 760 Вт.

Тем временем, Intel уже изучает новые методы охлаждения 2-киловаттных чипов с помощью двухфазных охлаждающих жидкостей и радиаторов. Технология копирует природный метод, как кораллы образуют пузырьки в морской воде:


В резервуаре с синтетическим неэлектропроводящим маслом находятся 24 сервера на базе Intel Xeon, см. фото выделения пузырьков

Компания Intel также объявила о партнёрстве с поставщиками инфраструктуры и химикатов для расширения использования технологий жидкостного охлаждения. Последние действия направлены на разработку решения для охлаждения предстоящего ускорителя Intel Guadi3 AI с использованием технологии двухфазного охлаждения Vertiv.

В то же время появляются и принципиально новые методы охлаждения микросхем, как термоэлектрическое охлаждение на основе эффекта Пельтье:



Исходя из технического описания, оно пока не способно снимать много ватт с поверхности чипов, но всё равно это довольно перспективная технология пассивного охлаждения.

Судя по нынешним темпам развития технологий, теплоотвод с микросхем станет в будущем одной из самых важных технологических задач и для производителей чипов (они должны минимизировать тепловыделение), и для поставщиков хостинг-услуг и операторов дата-центров.

Telegram-канал со скидками, розыгрышами призов и новостями IT ?

Комментарии (58)


  1. rus-spb
    22.05.2024 09:50
    +7

    Технология Пельтье довольно старая.
    Одна из её проблем, что КПД там низкий.
    Общее количество тепла, которое надо отводить практически от того-же самого тепловыделителя (модуль Пельтье маленький) сильно увеличивается.


  1. CitizenOfDreams
    22.05.2024 09:50
    +3

    Опередил, хотел написать то же самое. Пельтье при таких мощностях не годится, ни по физическим размерам, ни по энергопотреблению. Эта технология применяется там, где требуется охлаждение ниже температуры окружающей среды при умеренной (единицы, десятки ватт) мощности. Например, фоточувствительные матрицы.


    1. balamutang
      22.05.2024 09:50

      Вообще Пельтье уже использовали в охлаждении процессоров лет 15 назад какими-то бодрыми инноваторами. И там была засада в том что при загрузке то все было нормально (ну или "нормально" тк грелось оно огого), а в простое проц переохлаждался, выпадал конденсат который коротил материнку. Вот смеху то было.


      1. strvv
        22.05.2024 09:50
        +3

        а использовать обратную связь с термодатчиком, чтобы не допускать конденсата? не опускай температуру до границы точки росы и будет тебе счастье.

        или же обеспечь достаточный воздухообмен, тогда конденсирующаяся и тут же испаряющаяся вода ещё улучшит характеристики элемента.


        1. balamutang
          22.05.2024 09:50

          ну задним умом то понятно, но это все выяснилось уже на готовых изделиях у юзеров и видимо эффективность тоже была под вопросом, поэтому никто повторять уже не стал. Я думаю и так цена с пельтье была лихая, а с мк и датчиками влажности-температуры по тем временам вообще бы зашкалило. А еще в мк надо прошивку написать, тоже расходы.


  1. Bedal
    22.05.2024 09:50

    Пузырьки - это красиво, но явно не толково. Во-первых, конвекцией жидкости можно снимать потоки тепла в десятки киловатт без особых ухищрений, так что двухфазность представляется избыточной. Во-вторых, кипение резко усложняет конструкцию теплоотводящей системы, не делать же ее открытой. Плюс неизбежная деградация ОЖ при кипении, выпадение накипи в самых горячих местах... оно надо?


    1. ToSHiC
      22.05.2024 09:50
      +4

      В холодильниках и кондиционерах фреон отлично себе кипит без каких либо деградаций. В двухфазных системах, во всяком случае в тех описаниях, что я видел, тоже фреоны используют: R134a, R1336.


      1. Bedal
        22.05.2024 09:50

        2 @Moog_Prodigy и @ToSHiC

        Боюсь, Вы невнимательно прочли, или весьма традиционно восприняли в чёрно-белом стиле. Речь не о невозможности, а о том, что двухфазная система - значительное усложнение. Пример тепловых трубок не подходит, там подача жидкости ограничена капиллярным принципом, и мощность больше 150Вт не передают. А нужно по условию в статье - раз в двадцать больше.

        Так что - компрессор, давление, герметизация соответствующая. В то время как обычные жидкостные системы требуют только небольшой помпы и рассеивают десятки кВт.


    1. Moog_Prodigy
      22.05.2024 09:50
      +4

      Фазовый переход - наиболее теплоемкая штука если речь идет об обмене температурами. Это именно кипение и превращение жидкости в пар. В теплотрубках у компьютеров используется тот же принцип - вода под вакуумом доводится до того, что кипеть начинает скажем уже при 70 градусах. Там она превращается в пар, пар улетает в холодную часть трубки, конденсируется и жидкая вода возвращается обратно к месту нагрева. И внутри это еще как бурлит и испаряется.


      1. strvv
        22.05.2024 09:50

        О, так там можно использовать и нашатырь (водный раствор аммиака), благо что трубки герметичные.
        Тогда и замерзнуть надо постараться, но другое дело, что градиент давления у данной системы будет круче водяной.


  1. BBQ39
    22.05.2024 09:50
    +7

    В Якутии, Магаданской области где минус 65 нормально всё будет работать и без охлаждения! Новая супер локация для дата центров! И каскад колымских ГЭС в помощь с дешёвой электроэнергией!


    1. CitizenOfDreams
      22.05.2024 09:50
      +4

      И программирователей можно будет набрать задешево. Даже льготную ипотеку не придется обещать.


    1. Kreatifchk
      22.05.2024 09:50

      И через пару лет в Якутии будут тропики.


      1. strvv
        22.05.2024 09:50

        Бананы, бананы, их уже сибири и якутии давно обещают.


    1. VGG_1
      22.05.2024 09:50

      А летом выключать?:-) Лучше уж в океан чиллеры утопить.


  1. cahbeua
    22.05.2024 09:50
    +8

    Статья про кВт отвод тепла и в конце шутка про элементы Пельтье...

    Это как на серьёзных щах рассказывать про покрышки к формулам1 и закончить про колесо от повозки с стальной набивкой


    1. CitizenOfDreams
      22.05.2024 09:50
      +8

      "Этот курсовой проект все равно никто не будет читать, поэтому сердечник трансформатора сделаем из дерева".


  1. CBET_TbMbI
    22.05.2024 09:50
    +2

    Производительность чипов растёт экспоненциально по закону Мура и не думает останавливаться

    А растёт ли? Что-то мне кажется, последние годы рост куда медленнее. По крайней мере в товарах широкого спроса. "Древние" видяхи 1050/1660 до сих пор актуальны и конкурируют с современными аналогами. С процессорами примерно та же ситуация. А если брать цена/производительность, то и вовсе старое может выиграть.


    1. SanSeich_78
      22.05.2024 09:50

      полностью согласен. По мне, так рост (именно рост) закончился где-то чуть позже Пентиум-4.


      1. shares-caisson
        22.05.2024 09:50
        +2

        Рост чего? Пентиум 4 сейчас до распбери пай не дотянет :)


      1. CBET_TbMbI
        22.05.2024 09:50
        +1

        Ну, пентиум не пентиум, а 12-летний i5-3570 в практических задачах (например расчётная программа лира) отстаёт от современных аналогов от силы раза в 2.


        1. beeruser
          22.05.2024 09:50
          +1

          И почему же все сейчас не сидят на 12-летних процах за 3 копейки? :)

          Не знаю что у вас за Лира, но однопоток у свежих процессоров быстрее раза в 4-5.

          Где-то возможен перекос, потому что упирается в латентность памяти, например. Но в среднем по больнице - так.

          Если же взять 16+ ядрер, то ускорение в многопоточной нагрузке уже составит вплоть до пары десятков раз.


          1. JediPhilosopher
            22.05.2024 09:50
            +3

            У меня вот есть сделанная мной софтина для моделирования движения пешеходов и предсказания стихийных троп на газонах. Там много A* параллельно крутится, моделируя сотни и тысячи бегающих по карте человечков.

            Мой ноутбучный i7 10 поколения (H серии) на такой задаче ровно в два раза быстрее моего старого десктопа на i7 5 поколения. При том что между ними 10 лет разницы в возрасте, а разница в производительности на реальной задаче вот где-то как раз в два раза. Засекал по среднему времени одной итерации поиска путей.

            почему же все сейчас не сидят на 12-летних процах за 3 копейки

            А с чего вы взяли что не сидят? Вполне себе сидят. Если не играть в топовые игры, не вижу вообще смысла процессор обновлять.


            1. Osnovjansky
              22.05.2024 09:50

              Проц АМД под сокет FM1, кажется 11ого года, пару лет назад стал тормозить при воспроизведении Ютуб, в ХД качестве. А в остальном - терпимо.

              Ютуб, как побудитель покупать свежее железо ))


              1. nikitoshe4ka
                22.05.2024 09:50

                Ну он и тогда не брал рекордов производительности


              1. Javian
                22.05.2024 09:50
                +1

                Тормоза Ютуб напрямую зависят от видеокарты, что в браузере решалось установкой расширения h264ify


            1. ZirakZigil
              22.05.2024 09:50

              10 лет разницы в возрасте

              6, всё же.


            1. kevinv
              22.05.2024 09:50

              I5 3570 это 2012 год, i7 10 поколения 2019. А по сути, архитектурно, все тот же skylake родом из 2015 года. Если взять 10 лет, то это уже сравнение между 3570 и 12600, там даже в однопоточной производительности 3-3.5 раза, не говоря уже про многопоточную.


          1. strvv
            22.05.2024 09:50

            память уже давно, еще на sdram остановилась на 200МГц, все эти ваши ддр, qdr(ddr-2), ddr3 и далее - это способы выдать большую часть заранее выбранной информации с частоты 200МГц за последовательную цепочку передачи данных.

            т.е. уширение шины 200МГц в 1600


        1. SanSeich_78
          22.05.2024 09:50
          +1

          это и имел в виду. Моему ПК - лет 10 точно (BIOS пишет, что он 2001 года). Атлон II X2 250 3GHz, памяти 4 ГГб и Win7. Видео строенное. После покупки большого монитора на 32" поставил внешнюю видеокарту, так как при скроллинге текста экран мерцал.

          Буку еще больше лет! Применяю в командировках. Экран-трансформер, Win7, памяти может 2 ГГб и будет.

          Последний раз рост скорости работы приложений после замены проца встречал во во времена П3. Бухгалтерия ЗП обсчитывала за 14 часов (тогда 1С не было, сидели на ДОСовском ИНФИНе). После замены - за 3-4 часа.
          Сам занимался компами и оргтехникой, бросил 21 год назад (ну, полностью лет 18 назад). Игры не играю, было прикольно во времена Спектрумов, Атари, Львив.... Последнее, во что играл - ДюкНюнен (как в народе называли)


        1. balamutang
          22.05.2024 09:50

          Ну почти если тесты старые гонять.

          А потом выясняется что новому софту нужна поддержка инструкций AVX и в лучшем случае привет разрыв в производительности, а в худшем - вообще перестает запускаться, как mongodb 5й версии.


    1. konstanttin
      22.05.2024 09:50

      Как сказать. В старых системах не было такого серьезного управления потреблением. Сейчас, если все ядра проца по честному вывести на максимальную производительность на максимальной частоты потребление и за 200вт без проблем вылетает. Поэтому и базовая частота и турбо.


    1. Shaginov
      22.05.2024 09:50

      Конечно растёт. Просто ей никто не пользуется, этой производительностью. Я имею в виду то, что большую часть времени домашние процессоры стоят в простое. Всю заявленную супер-производительность чип выдаёт только в короткое время. Но производительность эта не дутая, а самая что ни на есть настоящая.
      Отсюда, кстати, дикая несуразность с тепловыделение в таблице в статье. Приводятся паспортные данные на современные чипы, посчитанные не в пиковой нагрузке, а неизвестно как.


    1. ZirakZigil
      22.05.2024 09:50

      Да куда они там конкурируют, о чём вы. То, что кто-то сидит на древнем железе потому, что ему не интересно ничего кроме древних же игр или простеньких вычислений не значит, что 1060 с чем-то действительно конкурирует.


    1. 500rur
      22.05.2024 09:50

      Поэтому то и растет тепловыделение - Мур не может обеспечить рост вычислительной мощности, поэтому это приходится делать увеличивая площадь кристалла (и их количество).


    1. kevinv
      22.05.2024 09:50

      Как раз в последние годы прирост хорошо заметен. Если говорить о мейнстрим платформах, то за последние 7 лет это Core I7 7700 в начале 2017 и I9 14900K/Ryzen 9 7950X сейчас. Прирост в однопотоке почти в 2 раза, в многопотоке почти в 6 раз.

      В видеокартах тоже смотря что считать актуальными, как по мне 1050 в момент выхода уже не была актуальной.


  1. shares-caisson
    22.05.2024 09:50
    +1

    Конечно, если вспомнить, что первые ламповые компьютеры тоже жрали энергию как не в себя, то проблема в общем-то извечная и решаемая. К тому же, компьютеры не самые горячие и не самые мощные из объектов, от которых нам приходится тепло отводить, так что опыт в общем-то есть. Пока градирни у датацентров не начали ставить считай и не начинали заморачиваться с охлаждением.


  1. yafice
    22.05.2024 09:50

    Пора уже менять кремний на оптику. Частоту можно увеличить на два порядка.


    1. strvv
      22.05.2024 09:50

      рисуй оптические логические элементы, оценивай скорость переключения, размеры элементов, сложности межэлементного соединения, т.к. в отличии от проводников - для света есть куча ограничений по углам ПВО, короче - это тупик.


  1. Neitr
    22.05.2024 09:50

    Лучше проверенных и надежных холодильных установок подающих холодный воздух для охлаждения серверов пока ничего нет. Как минимум по цене и минимуму хлопот в целом. При этом ничего не надо менять в самих серверах. легко регулируется с одного пульта на всю серверную.
    А в целом да, конечно нужно все сверхэнергоёмкие вычисления переносить в холодные регионы планеты, сразу и отопление и вычисления. в России вообще бери любой город посевернее и ставь рентабельный ДЦ. И вычисления прибыль, и за отопление можно ЖКХ собирать платежи. Я бы на месте всех ЖКХ так и делал бы.
    Вот энергосбыт же генерирует электричество, побочный продукт у них горячая вода на ТЭЦ, они и электричество продают и побочный продукт горячую воду умудряются продавать. ДЦ могли бы перенять. Я уже не говорю про теплицы на севере при ДЦ, и/или аквапарки, бассейны, фитнес центры.


    1. yafice
      22.05.2024 09:50

      Отличный бизнес-план для Якутии. Качаем газ. Вырабатываем энергию на газотурбинной электростанции. Подключаем сервера. Тепло отправляем в теплицы. Можно еще майнинг битков добавить и никакие трубы за границу даром не нужны.


      1. Neitr
        22.05.2024 09:50

        К сожалению нет не этот способ - газотурбинные электростанции для КПД более 60% дооснащают вторым звеном - парогенераторной и паросиловой установкой. Так что тепла побочного там и без ДЦ куча, которое нужно утилизировать. Рентабельно только если есть ГидроЭС или приливная


    1. shares-caisson
      22.05.2024 09:50
      +1

      Только датацентры людям хочется как-то поближе к населённым центрам. А люди предпочитают жить там где потеплее.


  1. DenSigma
    22.05.2024 09:50

    А у меня вопрос, почему производители не организуют воздушную вентиляцию в виде отдельного большого и эффективного вентилятора с подачей потока воздуха в коробах/трубах напрямую к процессорам и отводом тоже трубой и выбросом в атмосферу? Вместо маленьких неэффективных вентиляторов в каждом юните?


    1. ToSHiC
      22.05.2024 09:50

      В целом, проблема не в том, чтобы снять столько тепла воздухом - это отлично решения задача. Проблема - увести 1кВт тепла с чипа площадью 5см^2 на радиатор, с такой задачей с трудом справляются даже штуки типа vapor chamber, обычные медные пластины с тепловыми трубками уже скорее не справляются.


      1. Neitr
        22.05.2024 09:50

        Если охлаждающий воздух подавать охлажденным, то на столько же градусов снижается и температура радиатора, и более эффективно снимает тепло с чипа из-за большей разницы температур. В шкафы поток подается снизу холодный, сверху отводится нагретый.


        1. ToSHiC
          22.05.2024 09:50

          У тех, кому не жалко денег, он и подаётся охлаждённым - PUE таких дата-центров 1.5 и выше. В энергоэффективных, где PUE <= 1.1 используется фрикулинг, возможно, сдобренный адиабатикой, и там температура в холодном коридоре может быть +35..+40 градусов - можете посмотреть на спецификации серверов OCP.


    1. Shulbert
      22.05.2024 09:50

      Распределить поток трудно. Пойдет по наименьшему сопротивлению и кому-то не достанется обдува.


  1. anzay911
    22.05.2024 09:50

    Так у майнеров уже есть технология иммерсионных охладителей. Наливай да грей!


  1. Javian
    22.05.2024 09:50

    "у меня сервер потёк" /s


  1. arthuru1
    22.05.2024 09:50
    +1

    А про иммерсионное охлаждение перфторуглеродными жижами ни слова


    1. Moog_Prodigy
      22.05.2024 09:50

      Вкратце - дорого. Очень дорого. У майнеров чистые деньги капают, какая - то окупаемость этого всего есть, и то - дорого даже для них. Это дома можно сделать бак, купить эту дорогущую жижу, организовать как-то сброс тепла в атмосферу. И то дорого и геморно.


  1. narkomart
    22.05.2024 09:50
    +1

    На текущий момент есть большая сложность с жидкостным охлаждением в дата-центрах. (по крайней мере в России). Многие дата-центы не хотят разрешать ставить сервера с жидкостным охлаждением и их можно понять... Остаётся ждать когда придумают стандарт по которому дата-центр при размещении начнёт предоставлять помимо электричества и холодного воздуха подвод теплоносителя. Тогда дело сдвинется с мёртвой точки.


  1. AlexSvts
    22.05.2024 09:50

    Странно, что не упомянуто использование в качестве теплоносителя жидких металлов.


    1. vvzvlad
      22.05.2024 09:50

      Зачем? В реакторах это позволяет повысить температуру рабочей зоны без повышения давления, а тут-то температуры все равно в районе сотни градусов на кристалле и гарантированно не дотягивают точки кипения у воды. Водой с присадками проще и дешевле.


      1. AlexSvts
        22.05.2024 09:50

        Можно галлий и его сплавы использовать но, его недостатком является разрушительное действие на металлы.


        1. vvzvlad
          22.05.2024 09:50

          Зачем использовать?


        1. vvzvlad
          22.05.2024 09:50

          К тому же, если я правильно посчитал, то по обьемной теплоемкости вода все еще выигрывает больше чем в два раза у галлия.