«Чиповый бум» может привести к дефициту электроэнергии уже в ближайшие годы. Многие современные технологии становятся все более ресурсоемкими, а в первую очередь это касается ИИ. Рассказываем, как это влияет на работу и развитие дата-центров, какие меры можно предпринять для увеличения энергоэффективности, а также делимся опытом Selectel.
Приглашаем 10 октября на Selectel Tech Day
Расскажем о новинках на рынке и обновлениях в наших продуктах. Вас ждут доклады, нетворкинг, мастер-классы и вечерняя программа. Участие бесплатное, но нужно зарегистрироваться.
Развитие ИИ требует все больше электроэнергии
В декабре 2023 года группа ученых опубликовала исследование с оценками того, сколько энергии используют для операций различные модели искусственного интеллекта.
Авторы провели тесты на 88 различных моделях искусственного интеллекта для ряда задач, включая создание изображений. После этого они рассчитали, сколько электроэнергии нужно произвести на электростанции для выполнения этих запросов и сколько углекислого газа в результате этого окажется в атмосфере.
В среднем на одну задачу по генерации текста нужно несколько милливатт-часов. Однако для создания изображений это количество примерно в 1000 раз больше: мы говорим о нескольких ватт-часах на одну картинку.
Согласно исследованию, для создания одного изображения с помощью ИИ требуется почти столько же энергии, сколько для зарядки смартфона.
Или другой пример: рассчитаем, сколько электроэнергии нужно для обучения ChatGPT:
- Минимальное время обучения нейросети — 1 месяц, или 720 часов. За это время нейросеть обучится минимум на 3 петабайтах данных.
- Потребляемая мощность минимального кластера ИИ — аппаратного объединения мощностей дата-центра для формирования достаточной для ИИ вычислительной мощности — составляет в среднем 600–800 кВт.
- Умножаем на часы: 800 × 720 = 576 МВт·ч.
Таким образом, по логике этого расчета на месяц обучения ChatGPT потребуется 576 МВт·ч. Это примерно месячное потребление электроэнергии городком с населением 3000 человек.
Тезис о том, что на обучение нейросети потребуется месяц — предположение. Через 30 дней нейросеть начинает выдавать результаты, однако ее обучение еще не закончено. Длительность обучения ИИ зависит от объема материала и от размера, то есть числа нейронов в ней.
Чтобы добиться от искусственного интеллекта точности выполнения задачи на 95%, ему нужно пройти обучение на 10–20 тысячах изображений. Затем для повышения точности на каждый 1% нужно увеличивать существующий датасет в два раза. Каждый шаг нейросети требует затрат электроэнергии, поэтому 576 МВт·ч лишь примерный показатель. Проблема касается и ЦОД: серверы, работающие с искусственным интеллектом, становятся все более мощными и потребляют все больше энергии.
Увеличить скорость работы ИИ помог модуль ускорения вычислений для работы нейросетей. Это видеокарта (Graphic Processing Unit, GPU), которую используют для правильных и быстрых расчетов. Она требуется, например, когда компьютер активно занят ресурсоемкими задачами по отрисовке сцен для игр или мультфильмов.
Чтобы повысить скорость вычислений, в один компьютер можно поставить несколько видеокарт. В 2022 году число модулей ускорения вычислений увеличилось до 4–8. Такой сервер потребляет до 3 кВт. Спустя год появился серверный модуль ИИ, который содержит восемь GPU — графических процессоров, способных выполнять вычисления с высокой скоростью, — и потребляет уже 8 кВт. При этом такой сервер будет полностью загружен задачами, чтобы оправдать свою высокую стоимость, а значит, потребляет энергию постоянно и на максимум.
Затем появляются вычислительные кластеры для задач ИИ, которые потребляют уже о–800 кВт.
Эволюция серверных модулей за четыре года. Оборудование становится мощнее, производительнее и энергозатратнее.
Кластеры создали в целях увеличения вычислительной мощности. Кроме того, плотное размещение серверов позволяет достичь экономии на дорогих соединительных кабелях между ними. Серверы рентабельнее объединять в единую структуру, а не распределять по стойкам в зале.
Однако на маленькой площади при размещении кластера растет потребление электроэнергии на охлаждение системы. В случае серверного шкафа мощностью 10 кВт на вентиляторы для его охлаждения тратится 6% общего потребления электричества этим шкафом. Если взять серверный шкаф, в который можно разместить оборудование суммарной мощностью до 50 кВт, расходы электричества только на вентиляторы составят до 60% общего энергопотребления шкафа.
Если поставим 16 серверов в 16 шкафов на 10 кВт, то каждый будет потреблять 10 кВт, и на вентилятор надо будет потратить 600 Вт. Если поставить 16 серверов в четыре шкафа по 40–50 кВт, то на охлаждение каждого шкафа потребуется до 30 кВт.
Большую часть энергии ЦОД получают за счет сжигания ископаемого топлива. Из-за этого в атмосферу выбрасывается огромное количество углекислого газа, который вызывает парниковый эффект.
Чтобы оценить, какой урон ИИ наносит экологии, рассмотрим Сургутскую ГРЭС-2 (ГРЭС — государственная районная электростанция, не путать с ГЭС — гидроэлектростанцией). Эта тепловая электростанция (ТЭС) — самый крупный производитель электричества в России, который в основном сжигает полученный из нефти попутный нефтяной газ. Доля СО2 в нем составляет 0,10–2,77%. Возьмем минимум — 0,10%.
Удельный расход топлива на парогазовых установках ТЭС — 225 г на 1 кВт·ч. Для выработки 576 000 кВт·ч, которые потребляет нейросеть при обучении, нужно 129 600 000 г топлива. Доля СО2: 129 600 000 г × 0,10% = 129 600 г.
Одна легковая машина в день выбрасывает 9000 г СО2. Чтобы понять, сколько легковых машин выбросит 129 600 г СО2, разделим это число на 9000. Получается, минимальное обучение нейросети наносит экологии такой же урон, как и работа 14–15 автомобилей.
Как Selectel решает проблему потребления ресурсов для таких задач
Внутри Selectel мы внедрили несколько решений, которые уже сейчас помогают снизить потребление ресурсов для таких задач.
Увеличиваем энергоэффективность ЦОД
В первую очередь требуется увеличить энергоэффективность дата-центров, то есть уменьшить долю электроэнергии, которую дата-центр расходует, помимо обеспечения работы вычислительных ресурсов (охлаждение, освещение и другие дополнительные нужды). В этом нам помогает PUE — показатель оценки энергоэффективности ЦОД.
Для обслуживания одного и того же количества серверов можно использовать разные системы охлаждения: например, чиллеры имеют более низкий PUE, чем стандартные кондиционеры с фреоном, и более энергоэффективны.
Диапазоны PUE. Показатель, стремящийся к единице, пока практически недостижим, но является хорошим ориентиром
Как мы снижаем PUE
1. Расширяем рабочие температурные диапазоны IT-оборудования. Ранее допустимым для дата-центров считалось значение в районе 18–20 °C, но теперь мы допускаем, что температура может достигать 27 °C.
2. Используем чиллеры вместо фреоновых кондиционеров. Показатель PUE системы охлаждения на базе классических фреоновых кондиционеров по современным меркам довольно высок и составляет 1,6–1,7 и выше, в то время как PUE системы охлаждения на базе чиллеров — в районе 1,4. Второй вариант более энергоэффективен.
Используем фрикулинг и дополнительное охлаждение
Фрикулинг бывает прямой и непрямой. В случае прямого фрикулинга воздух с улицы напрямую подается вентиляторами в машинный зал (через систему фильтров, конечно же), при непрямом вентиляторы используются два раза: когда воздух с улицы подают на теплообменник и когда его подают в зал.
В нашем дата-центре «Дубровка 3» используем прямой фрикулинг с блоком дополнительного охлаждения на базе абсорбционной холодильной машины (АБХМ) — на случай летней жары, а в дата-центре «Берзарина» (Москва) — прямой фрикулинг с адиабатической системой дополнительного охлаждения.
Суть такой системы вот в чем: для работы адиабатической системы доохлаждения нужен достаточно сухой воздух. Он бывает обычно летом, поэтому адиабатика работает только при теплой погоде. Воздух, проходя через блок дополнительного увлажнения, снижает свою температуру до 8 ℃. Систему включают в районе 1 мая, когда пиковая температура становится больше 25 ℃, и отключают условно 1 октября. Такая система доохлаждения особенно эффективна для южных регионов.
Использование энергоэффективных подходов позволяет нам обеспечивать необходимые рабочие температуры для оборудования и при этом не затрачивать лишних ресурсов на его охлаждение.
В 2003 году действовали рекомендации (ASHRAE), которые определяли верхний предел температуры в дата-центрах до 24 ℃. Сейчас постоянный верхний предел температуры по текущим рекомендациям — 27 ℃, а временный — до 30 ℃. Диапазон возможных температур расширился за счет технического прогресса серверных решений, поэтому сейчас мы можем широко использовать фрикулинг с адиабатическим доохлаждением для дата-центров.
Рационально используем мощности дата-центра
Чтобы не тратить электроэнергию зря, где она не нужна, нам помогают технологии. Расскажем о каждой подробнее.
Мониторинг энергоснабжения
Для того чтобы начать экономить, надо знать, где это расходуется. Дизельный генератор даже на холостых оборотах или на минимальной мощности, неиспользуемый, но включенный ИБП или включенный кондиционер потребляют электроэнергию. При отсутствии нагрузки их целесообразно отключить.
Чтобы понять, когда необходимости в оборудовании нет, мы в Selectel используем специальные DCIM-системы для мониторинга. Это программное обеспечение, которое собирает информацию с датчиков внутри дата-центра и сообщает о ситуации. На основании показаний этой системы мы принимаем решение о том, что можно исключить источник бесперебойного питания или кондиционер в зале.
Например, когда дата-центр загружен на 100%, ему требуется работа четырех генераторов. При нагрузке дата-центра в 10–15% достаточно одного дизельного генератора, а два можно выключить (один все равно остается в резерве). Это значит, что у них как минимум выключается система обогрева, а электричество не тратится на постоянную готовность.
Динамические ИБП вместо статических
Динамические источники бесперебойного питания (ДИБП) более экологичны, чем статические (СИБП), потому что:
- Им нужно меньше дополнительного охлаждения — диапазон их работы 4–50 ℃, а не 20–25 ℃, как у СИБП.
- Их реже обслуживают, следовательно, они генерируют меньше использованных расходных материалов.
- Они занимают меньше места, следовательно, экологический след при строительстве помещения для них ниже.
- Для добычи 20 тонн свинца для СИБП нужно приложить примерно в четыре раза больше усилий, чем для получения пяти тонн железа для ДИБП.
- После окончания срока службы переработка ДИБП легче, и в итоге получается меньше отходов. В них содержится железо без примесей, а в СИБП — загрязненный кислотой свинец, который надо очищать.
Умное освещение
В дата-центрах мы используем датчики присутствия. Свет включается, только когда в серверной есть человек. Кроме оптимизации энергопотребления, есть еще один способ позаботиться об экологии — продлевать жизнь старой техники или правильно утилизировать ее. У Selectel большое количество оборудования, которое устаревает со временем. Мы нашли три способа давать железу вторую жизнь: модернизировать, перепродавать детали или отправлять на утилизацию.
Selectel сотрудничает с несколькими лицензированными компаниями, которые специализируются на утилизации техники. В утиль идут неисправные жесткие диски (после уничтожения внутренностей в специальной «черной коробочке») и другие серверные комплектующие, а также этиленгликоль из систем охлаждения. Кабельная продукция идет на цветмет, а оптика — в утилизацию. Туда же чаще всего отправляется мелкая офисная техника — мышки, клавиатуры и т. д. Все это помогает снижать негативное влияние на экологию.
Темпы развития ИИ продолжают ускоряться, при этом оборудование для искусственного интеллекта модернизируется. Например, следующее поколение платформ для ИИ уже будет рассчитано на жидкостное охлаждение. Эффективность охлаждения можно будет снизить со значения показателя PUE в 1,6 до 1,2. При этом Selectel не ждет их ввода в работу, а уже заботится об экологии, используя фрикулинг, АСД, DCIM-систему, динамические ИБП и другие решения.
Поделитесь в комментариях — в каких сценариях вы уже замечали, что новые технологии требуют все больших мощностей?
Комментарии (40)
blik13
02.09.2024 10:48+2Согласно исследованию, для создания одного изображения с помощью ИИ требуется почти столько же энергии, сколько для зарядки смартфона.
А для создания этого же изображения художником в графическом редакторе?
Smartor
02.09.2024 10:48+1Работа художника дорого стоит. Для не-эксклюзивных требований использовали картинки со стоков. Впрочем, сейчас стоки тоже предлагают использовать ИИ.
RichardMerlock
02.09.2024 10:48Какие-то надуманные выводы о неэкологичности ИИ. Наоборот, это хорошо для энергетиков, датацентры создают спрос на электроэнергию, поддерживая безудержное развитие генерирующих мощностей, которые как раз таки загрязняют. Но строить и генерировать еще больше выгодно - датацентры всё скупят. Достаточно волевым решением ограничить генерацию и датацентрам придется заняться оптимизацией имеющихся вычислительных мощностей, а скорость загрязнения будет зафиксирована.
Blaine_Mono
02.09.2024 10:48Достаточно волевым решением ограничить генерацию и датацентрам придется заняться оптимизацией имеющихся вычислительных мощностей, а скорость загрязнения будет зафиксирована.
Вы просто будете покупать электроэнергию по той же цене по которой ее покупают датацентры, будет у вас в итоге одна лампочка на два ватта на квартиру, никакого холодильника, а лифт будет постоянно выключен.
Ну а так как генерация ограничена волевым решением, периодически (примерно раз в сутки), будете испытывать веерные отключения, так как ваш жилой дом - потребитель третьей категории.
Вам нравится такое будущее?
Goron_Dekar
02.09.2024 10:48+6У меня тут была интересная идея объяснить некоторым это-активисткам, что отправлять голосовое сообщение в телеге во много раз более энергозатратно, чем текст. Для этого хотел прикинуть количество электроэнергии на переданный килобайт информации. Но так и не нашел, как это хоть примерно посчитать.
Ну и туда же пост-фоточка и пост-видео в инстаграмке.
Вообще интересна тема "углеродного следа" от стримминговых сервисов vs торренты.
avshkol
02.09.2024 10:48+4У любого оборудования есть базовое потребление энергии, и только если режим работы приближается к пиковому, оно возрастает. Так, если 100 человек шлют текстовые сообщения, а одна экоактивистка - голосовое, то потребление не сильно возрастает, а условно когда экоактивисток станет пятеро....
vcKomm
02.09.2024 10:48А если учитывать износ чипов памяти на кэширование бо́льшей информации на устройствах пользователей?
Vdm_ro
02.09.2024 10:48Учитывая ЦА там не нужно ничего считать, ваши расчеты будут биты фразой "мой телефон соответствует экологическим стандартам, и поэтому он экологии не вредит"... еще и занудой обзовут =)
Daddy_Cool
02.09.2024 10:48+2Да в космос это всё надо вынести! Там охлаждать на самом деле не сложно - просто конструкции нужны большие, а места там хватает.
А на Землю доставлять флешки с весами нейросетей или передавать азбукой морзе лазерным лучом. Ничего так идея для фантастического романа?
frozzzen
02.09.2024 10:48+3Оо! 40 квт га стойку! Это моё любимое. Заказчик: хочу 40 квт на стойку. Инженер: для чего? С какой целью? Под какие задачи? Пришлите спеки оборудования. Заказчик: аа, не можете? Для чего я ещё не при думал. И вообще, я читал в журнале...
CitizenOfDreams
02.09.2024 10:48+10ИИ хотя бы голых фуррей умеет рисовать, а вот всякие биткойны жрут энергию просто так, без полезного результата - кроме перераспределения разноцветных фантиков с нарисованными на них важными рожами.
Raxtor
02.09.2024 10:48Да, что-то в этом плане, про крипту не любят вспоминать :) Там-то сплошное экофрендли и польза...
agat000
02.09.2024 10:48+4Это узкий локальный анализ самой системы. Если говорить глобально про экологию - нужно смотреть весь комплекс явления. Извините уж за банальщину. Смотреть не только увеличение, но и снижение выбросов, экономию энергии.
Простой пример - ИИ (ну нейросеть, ладно) накатал курсовик студенту за 5 минут. Сжег условный киловат-час энергии. При этом студент не сидел за ноутом по ночам 10 часов, не сжег 3 киловт-часа на сам ноут, на освещение и кофеварку. Экономия. (да, я знаю, что студенты сейчас не сидят по ночам, а качают курсовики с инета. Это условный добросовестный студент).
Другой пример - ИИ уменьшил работу для 100 сотрудников. Жжет свои 50 кВт. При этом - уменьшается потребление всего офиса на компы, кондиционеры, на кулеры и кофеваркии (да, кого то уволили в итоге), на воду в туалете, на лифты. Экономия. Для людей плохо (особенно уволеных), но для энергетики даже лучше.
В отличии от криптовалют, которые просто жгут энергию, вычислительные мощности ИИ и нейросетей используются для конкретных задач и могут существенно экономить рабочее время, а значит и энергию.
Vytian
02.09.2024 10:48А по факту -- с увеличением доступного резерва любого актуально ресурса, резко возрастает его востребованность и потребление, а отнюдь не эффективность использования. Что с дорогами, что с энергией, что с выч. мощностями. Не так бывает, только когда технологическое развитие опережающее.
agat000
02.09.2024 10:48.Это да, возрастет. Особенно если бесплатно, как сейчас нейро-рисовалки котиков. Но это можно баллансировать как раз долями платного-бесплатного.
Wizard_of_light
02.09.2024 10:48Так тогда и криптовалюты надо рассматривать в этом ключе. Перевёл два биткоина вместо пересылки килограмма золота, а углеродный след килограмма золота рассмотреть с учётом его добычи...
agat000
02.09.2024 10:48Крипту тоже можно. Вряд ли там большой положительный эффект и экономия, но для точности картины было бы интересно. Только нет данных по многим замещенным операциям, особенно с черного и серого рынка.
qyix7z
02.09.2024 10:48+4«Чиповый бум» может привести к дефициту электроэнергии и трансформаторов уже в ближайшие годы.
Именно трансформаторов? Генераторов, кабелей, ячеек, возбудителей и подвозбудителей, распредустройств и прочего электрооборудования дефицита не ожидается? /s
DimDimDimDimDim Автор
02.09.2024 10:48Добрый день! Спасибо за внимательность, поправили)
qyix7z
02.09.2024 10:48ИМХО стало хуже. Выглядит как "компонентов электроэнергии". Оставьте просто "... к дефициту электроэнергии уже в ближайшие... ". Тем более, что дальше только про электроэнергию, а про оборудование ни слова.
artptr86
02.09.2024 10:48А как вы так лихо умножили месячное потребление 800 кВт на 720 часов?
qyix7z
02.09.2024 10:48+2А как Вы так лихо решили, что мощность (800 кВт) - это месячное потребление?
artptr86
02.09.2024 10:48Так написано же:
Ежемесячное энергопотребление минимального кластера ИИ [...] составляет в среднем 600–800 кВт.
И здесь, очевидно, не мощность (кВт•ч), а работа (кВт).
Но соглашусь, что цифра сама по себе для кластера странная.
qyix7z
02.09.2024 10:48+2не мощность (кВт•ч), а работа (кВт).
Я бы рекомендовал освежить курс физики, а после договориться с НЛО на удаление камента.
А еще рекомендую автору @DimDimDimDimDim действительно изменить формулировку на:Потребляемая мощность минимального кластера ИИ [...] составляет в среднем 600–800 кВт.
Для исключения подобных перлов в каментах.
vadimk91
02.09.2024 10:48+1У меня на работе конечно не дата центр, небольшой участок, но что заметил: если лет 20 примерно назад кондиционирование помещений с оборудованием делали "по науке", была и приточная вентиляция с фильтрами (практически тот самый прямой фрикулинг), то сейчас просто влепят очередной промышленный кондиционер. По температуре-то все в норме, но вот этот застойный воздух в аппаратных залах -это пипец, так и хочется открыть окна (если есть) и впустить свежего. Оборудованию впрочем всё равно.
sappience
02.09.2024 10:48+2основном сжигает полученный из нефти попутный нефтяной газ. Доля СО2 в нем составляет 0,10–2,77%. Возьмем минимум — 0,10%
...
Для выработки 576 000 кВт·ч, которые потребляет нейросеть при обучении, нужно 129 600 000 г топлива. Доля СО2: 129 600 000 г × 0,10% = 129 600 г.Это у вас какая-то странная математика. Или странная химия. Да, в попутном газе до сжигания было 0,10 (по минимуму) процентов CO2. Вот эти 129 600 грамм они как пришли с газом, так и вылетели в трубу без изменения. Но ведь к ним добавится еще и CO2 от сгорания газа. Попутный газ это смесь различных углеводородов от метана и до бутана (более тяжелых углеводородов мало, они уже не настолько летучи). Но окажется там чистый метан или чистый бутан, в любом случае разница невелика. Для метана CH4 соотношение углерода к водороду по массе 3 к 1 (один атом углерода с атомной массой 12 и 4 атома водорода с массой 1), а для бутана C4H10 это 4,8 к 1. То есть от 75% массы (метан) до 82,8% (бутан) всего попутного газа это углерод. Путь будет 80%, для ровного счета, что соответствует этану. К каждому атому углерода при сгорании присоединяется два атома кислорода образуя CO2. Атомная масса кислорода - 16. Итого из 12 грамм углерода образуется 12 + 2*16 = 44 грамма CO2. А из 129 600 000 грамм (почему вы начали считать не в системных единицах СИ? ну да ладно) образуется 129600000 * 0.8 * 44 /12 = 380160000 грамм CO2. Это более 42 тысяч автомобилей, а не 14-15.
nsmcan
02.09.2024 10:48Ваши цифры более похожи на правду. А то ведь вот эта фраза из статьи
Получается, минимальное обучение нейросети наносит экологии такой же урон, как и работа 14–15 автомобилей (в течение дня)
обозначает полный пшик всей теме.
Хотя и 42 тысячи автомобилей, наверное, не так уж печально. Так как нейросетей таких масштабов обучают не так и много. И пользы от них будет всяко поболее, чем 42 тысячи машин покатаются один день
ksbes
02.09.2024 10:48Т.е. вы реально готовы оказаться от подвоза продуктов в магазины в вашем районе на несколько лет ради обучения нейросети? Полезность - вещь такая: можно по-разному считать!
Но вообще сам подход к проблеме ущербный: из серии "если вся страна по рублю скинется - сможете спутник в космос запустить?". Нельзя сравнивать несравнимое. И всю экологию и климат к одной цифре сводить - это гиперпрофанация!
dilukhin
02.09.2024 10:48Интересно, почему все так парятся за выбросы CO2 и не парятся за выбросы H2O, который даёт парниковый эффект в разы больше.
То есть я догадываюсь, но хотелось бы задать этот вопрос лично тем, кто эту моду, хм, задаёт. И посмотреть на их бегающие глазки.
krote
02.09.2024 10:481) Глаз зацепил ошибочный посыл будто генерация текста дешевле генерации картинки. Это вообще не так. Зачастую наоборот - для генерации текста зачастую используются нейросети в десятки раз крупней тех что генерят картинку, а по времени примерно одно и то же - картинку сгенерить условные 30 секунд и текст тоже далеко не мгновенно.
2) Вы потребление электричества майнингом криптовалют смотрели? Ваши расчеты даже с обучением таких сетей как ChatGPT выглядят сущими копейками на этом фоне.
Kopilov
Когда-то на всё хватало мощности в одну лошадиную силу в натуральном эквиваленте :)
gres_84
И 640 кб