Преодоление непостоянства возобновляемой энергии является фундаментальной проблемой, ключевыми ответами на которую являются переключение нагрузки и хранение в масштабе сети. Будущее, основанное на устойчивых источниках энергии, может спасти мир от разрушительного изменения климата, сократив расходы за электроэнергию. Но у возобновляемых источников энергии есть проблема прерывистости — Солнце ночью не даёт энергии, а ветер может прекратиться. Кроме того, электрические сети должны поддерживать баланс между спросом и предложением, иначе возникнут риски перенапряжений и отключений электроэнергии. Вследствие чего возобновляемая энергия сбрасывается во время избыточного производства, в то время как в другое время электростанции сжигают ископаемое топливо, чтобы восполнить дефицит в сети. При таком раскладе, через пять лет количество возобновляемой энергии, например, ежегодно теряемой в Калифорнии, будет эквивалентно количеству энергии, используемой Лос-Анджелесом каждый год.
Оптимальное использование батарей считается ключом к решению проблемы прерывистости за счёт накопления энергии при сильном ветре и солнце. Но текущие решения для хранения, включая литий-ионные батареи и гидронасосы, дороги и сложны в масштабировании.
Что если бы избыток возобновляемой энергии можно было бы вместо этого хранить в виде вычислений? Идея «информационных батарей» предложенная студентами из Калифорнийского университета в Сан-Диего, опубликовано в ACM Energy Informatics Review.
Прогнозирование возможных вычислений
Проект является доказательством реализации концепции системы с нулевым выбросом углерода, которая включает рекуррентные нейронные сети для прогнозирования доступности возобновляемых источников энергии в будущем и предстоящих задач в дата-центрах. Инфраструктура будет географически распределённой, состоящей из множества небольших ЦОД, каждый из которых будет расположен в регионе страны, где известно, что доля ветровой или солнечной энергии высока.
Дата-центры по всему миру потребляют большое количество электроэнергии (250–500 ТВтч в 2018 г.) и, согласно прогнозам, станут ещё более мощными (840–3640 ТВтч в 2030 г.). Многие вычислительные задачи можно предварительно вычислить полностью или частично. Доступность электроэнергии по отношению к вычислительным ресурсам несколько предсказуемы, поэтому возможно сделать спекулятивное переключение нагрузки. Вместо того, чтобы хранить избыточную энергию в виде химической (литий-ионного) или гравитационной (перекачиваемый гидронасос) потенциальной энергии, система IB хранит это в качестве информации — завершённых вычислений.
Основная идея информационных батарей (IB) проста: когда возобновляемая энергия доступна в избытке, она используется для спекулятивных вычислений в больших энергоёмких центрах обработки данных. По данным Управления по энергоэффективности и возобновляемым источникам энергии, эти центры обработки данных — от Google и Facebook до студий рендеринга голливудских фильмов — потребляют от 10 до 50 раз больше энергии, чем среднее корпоративное здание. Сохранённые результаты вычислений можно использовать позже, когда зелёной энергии станет меньше.
Визуализация переноса вычислительных задач на разное время суток, чтобы согласовать доступность низкоуглеродной энергии. На этой иллюстрации энергия ветра вечером и солнечная энергия днем.
Например, каждый день дата-центры YouTube рендерят более 700 000 часов видео различного разрешения. Многие из этих вычислений предсказуемы и могут быть выполнены в то время, когда существует избыток зелёной энергии. На этом этапе данные хранятся на серверах для последующего использования, когда в сети будет меньше возобновляемой энергии, что, по сути, является отсрочкой потребления электроэнергии из одного периода времени в другой.
Итак, как это работает? В целом, батареи являются хранилищами потенциальной энергии для выполнения полезной работы. Большая часть накопленной энергии в батареях преобразуется из одного типа в другой вид потенциальной энергии, например, электрическая в гравитационную. В нашем случае информация обеспечивает энергией так же, как батарея, потому что электрическая энергия превращается в то, что можно назвать «информационной потенциальной энергией». В дополнение к преимуществам предсказуемости задачи, система также является гибкой: вычисления, выполненные заранее, необязательно должны точно совпадать с вычислениями, выполненными позже.
Чтобы попытаться сравнить IB с литий-ионными аккумуляторами, авторы создали распределённую систему, используя цепочки компилятора для языка Rust, хранилища ключей и значений и другие важные элементы современных гипермасштабируемых вычислений. Прелесть системы в том, что она не требует специализированного оборудования и требует очень мало накладных расходов. IB предназначены для работы с существующими центрами обработки данных. Некоторая очень ограниченная вычислительная мощность зарезервирована для кластера машин IB, который управляет планированием как вычислительных задач в реальном времени, так и предварительных вычислений. Кэш IB, в котором хранятся результаты этих предварительных вычислений, доступен локально для быстрого поиска. Никакой дополнительной инфраструктуры не требуется.
«У нас была теория, что если мы можем предсказать возможные вычисления, которые могут произойти в будущем, мы можем сделать эти вычисления сейчас, пока есть энергия, и сохранить результаты, которые теперь воплощают энергию. Мы поддерживаем предварительное вычисление многих задач, а затем выбираем небольшие фрагменты этих вычислений и собираем их вместе, чтобы быстро получить совершенно новую вычислительную задачу. Если предварительно вычисленные задачи не совсем соответствуют тому, что необходимо, то фрагменты вычислений могут быть повторно собраны для новой задачи, как кусочки головоломки».
По словам автором, для определённых типов рабочих нагрузок система IB обеспечивает более высокую эффективность, чем литий-ионные батареи. Конкретная эффективность зависит от множества факторов, таких как типы проводимых вычислений и предсказуемость мощности. Но в отличие от литий-ионных аккумуляторов IB экономически выгоднее. Этот процесс может помочь ЦОД снизить на 30 % потребляемой ими энергии за счёт ВИЭ, что может помочь снизить зависимость от ископаемого топлива, на которое приходится три четверти глобальных выбросов парниковых газов.
Замена сетевых батарей
Не каждая задача подходит для IB, но для многих ЦОД определённые нагрузки можно спрогнозировать с достаточной точностью и кэшировать для последующего извлечения. Такие компании, как Netflix, например, могут получать видео в одном формате, а затем перекодировать его, чтобы оптимизировать для различных устройств — процесс, который не всегда зависит от времени. То же самое верно и при обучении алгоритмов машинного обучения: разработчики могут ставить в очередь обучающие данные и позволять диспетчеру IB решать, когда проводить обучение.
Диспетчер IB в некотором роде имитирует планировщиков, имеющихся в операционных системах ПК или смартфонов. Там планировщики оптимизируют поток данных через ЦП и другие микросхемы, чтобы обеспечить бесперебойную работу. В зависимости от задачи и требований к системе планировщик может поддерживать реакцию интерфейса на вводимые пользователем данные или может отдавать приоритет ресурсоёмкому заданию, чтобы оно завершалось быстрее.
В случае с информационными батареями диспетчер оптимизирует нагрузку, исходя из цены на электроэнергию и наличия задач, которые можно выполнить раньше времени. Диспетчер состоит из трёх основных частей: механизма прогнозирования цен, механизма предварительного расчёта и планировщика. Чтобы определить, какие задачи выполнять, планировщик взвешивает информацию от механизмов прогнозирования цен и предварительного расчёта.
Инструментарий программы
Memoize (мемоизация) — это хорошо известный метод, используемый для повышения производительности программ путем кэширования результатов дорогостоящих вычислений для последующего использования.
Выполнение предварительных вычислений на функциональном уровне достигается на этапе MIR (Mid-Level Intermediate Representation) компилятора Rust.
Симулятор системного уровня для изучения производительности 100-дневного запуска тестовой модели IB:
1 cycles_trad = 0 , cycles_op = 0
2 every 5 minutes :
3 predict = model price prediction
4 actual = actual price according to trace
5 job_size = number cycles per job
6 hit_rate = accuracy of task prediction
7 if predict <0 and actual <0: # true positive
8 cycles_op += job_size
9 cycles_trad += (1 - hit_rate ) * job_size
10 elif predict <0 and actual >0: # false positive
11 cycles_trad += job_size
12 + (1 - hit_rate ) * job_size
13 elif predict >0 and actual <0: # false negative
14 cycles_trad += overhead of memoize
15 else : # true negative
16 cycles_trad += overhead of memoize
cycles_op — количество возможностей IB, фактически использованных для вычислений
cycles_trad — количество энергии сети, которая использовалась для вычислений
Прогон считается успешным, если количество энергии в сети используется для вычислений меньше, чем от энергии IB.
В модели, созданной для проверки концепции, диспетчер IB опрашивал операторов сети каждые пять минут — наименьший временной интервал, предложенный операторами, — чтобы проверить цену на электроэнергию для обоснования своих прогнозов. Когда цены опускались ниже установленного порога, менеджер давал зелёный свет пакету вычислений и кэшировал их на потом.
Система была довольно эффективной в снижении потребности в дорогостоящей «сетевой мощности» даже когда механизм предварительных вычислений относительно плохо предсказывал, какие задачи потребуются в ближайшем будущем.
Накопление энергии — это простой ответ на перепроизводство. Однако текущие цены на батареи делают это несостоятельным; литий-ионное хранилище в масштабе сети сегодня стоит 356 долларов за кВтч, не включая затраты на установку.
В типичном крупном дата-центре рабочие нагрузки можно прогнозировать примерно на 1-2 часа вперёд с точностью до 90 %. С прогнозным окном в 60 минут «такой центр обработки данных на основе IB может хранить 150 МВтч, что значительно больше, чем в большинстве сетевых проектов хранения на основе литий-ионных аккумуляторов». Эквивалентная сетевая батарея будет стоить около 50 миллионов долларов.
Хотя авторы не дают оценки того, сколько будет стоить работа информационной батареи, она, вероятно, будет значительно дешевле, поскольку опирается на существующую инфраструктуру и реализована в программном обеспечении, которое можно оптимизировать на основе цены на электроэнергию и вычислительные потребности центра обработки данных. IB это не универсальное решение, но будет эффективным для многих распространённых рабочих нагрузок. Учитывая, что ЦОД потребляют около 2 % всей электроэнергии, используемой в США, и это число будет расти, информационные батареи могут стать рентабельной альтернативой массивным и дорогостоящим батареям.
Комментарии (17)
Bedal
21.02.2022 11:36+5Для реализации идеи требуется состояние простоя для 20-30% вычислительных мощностей. Но потребности в вычислениях превышают производительность всех средств вычисления. И конца этой ситуации в обозримом будущем не видно.
А так — да, остроумно.
deema35
21.02.2022 11:54+8Проект включает в себя кэш, в котором хранятся функции, и модифицированный компилятор для автоматического изменения кода для сохранения и извлечения результатов.
Где-то ученый изнасиловал журналиста.
Razoomnick
21.02.2022 13:05+2А потом второй заход.
При таком раскладе, через пять лет количество вычислительных мощностей, например, ежегодно простаивающих в Калифорнии, будет эквивалентно количеству вычислительных мощностей, используемых Лос-Анджелесом каждый год.
И окажется, что существуют (как концепция, по крайней мере) электростанции на газу, которые можно включать во время недостатка мощности.
TilekSamiev Автор
21.02.2022 13:23+1газ — ископаемое топливо, от которого собираются отказываться по концепции
alexeykuzmin0
21.02.2022 14:32+1Можно использовать дрова или любое другое углерод-нейтральное топливо
Razoomnick
21.02.2022 17:21+2Да на самом деле я намекаю на то, что это не работает вот так. Судьба пингвинов в Антарктиде - безусловно, важно, но коммерческие компании создаются для получения прибыли. И действенными являются экономические методы. Вот, например, дешевая электроэнергия во время избытка и дорогая во время дефицита. А в этом случае уже становится все равно, как именно её потреблять. Если датацентру будет выгоден простой мощностей во время дефицита энергии, он сам появится без всякого булшита типа "Информационные батареи". И если стирку будет выгодно запускать ночью, на рынке появятся стиральные машины с таймером.
Хотя, погодите...
gameplayer55055
21.02.2022 17:03+4Цифровое - значит связанное с виртуальным нашим миром, к экологии никакого отношения не имеет, но все же получить бабла можно больше таким способом.
Так же меня напрягает биткоин и индусский код. Почему гринписовцы не делают протесты против криптовалют, и говнокода что лишний раз греет процессоры?
Gigatrop
21.02.2022 19:06Основная идея информационных батарей (IB) проста: когда возобновляемая энергия доступна в избытке, она используется для спекулятивных вычислений в больших энергоёмких центрах обработки данных. По данным Управления по энергоэффективности и возобновляемым источникам энергии, эти центры обработки данных — от Google и Facebook до студий рендеринга голливудских фильмов
Не слабо так, спекулятивно отрендерить голливудский фильм. Просыпается потом монтажер, доделывает кадры, а рендер в помойку.
Foreglance
22.02.2022 09:58Лет 30 назад контора по продаже компьютеров (в Сибири) предоставляла услуги рендеринга на сетевом кластере программой 3D Max (компов то много непроданных в запасе) , понятно, что и ночью рендерили. Да и сам я тогда на 386м на ночь ставил ролики рендерить 3D Max-овские, и конечно иногда они в помойку потом отправлялись.
tmin10
21.02.2022 20:13+2Хм, какая эта батарея, если накопленную энергию нельзя высвободить?
А так это же прямой аналог спотовых инстансов амазона: когда потребности ниже, цена инстансов за час ниже, можено запускать свои вычисления. Когда наступает пик потребления, цена растёт и мы ставим вычисления на паузу, пока снова не будет ниже.
george_vernin
21.02.2022 21:10+3Переизобретатели - они такие переизобретатели .
Еще 20 лет назад читал о промышленных холодильниках и прочем добре, которое усиленно работает ночью, - когда электроэнергия дешевая( или тогда, когда это нужно), а днем простаивает - сглаживая суточные пики потребления.
Хоть бы про алюминий написали для приличия. А то - будем байты добывать
kovserg
22.02.2022 09:43+2система IB хранит это в качестве информации — завершённых вычислений.
Какая-то явная подмена понятий. Это не батарея это динамическое ограничение сильно жрущего потребителя. Это например если не хватает электроэнергии то отключать майнеров для балансировки нагрузки. Но кто ж вам даст, все эти дата центры не просто сжигают электроэнергию, а приносят деньги, причем гораздо больше чем банальные майнеры. А вы предлагаете динамически уменьшать чью-то прибыль. Вас просто сожгут на костре за такое как еретика.
ps: www.youtube.com/watch?v=Sddb0Khx0yA&t=87
Sap_ru
Какая такая "батарея" если нет хранение энергии?! Модное слова ради хайпа?
И чем это отличает от обычных рыночных механизмов, когда в часы высокой нагрузки электроэнергия дорожает, что стимулирует потребителей использовать её в периоды низких цен? Вычислительные центры - обычные рыночные потребители и если их задачи позволяют плавающую нагрузку, то нет проблемы адаптировать её к колебанию цен на электроэнергию.
Какое-то изобретение велосипеда.
Poo-ool
Этож прям из разряда "милениалы переизобрели ..."