Центры обработки данных становятся все более и более крупными и это, в свою очередь, создает новые вызовы для инфраструктуры энергоснабжения. В то время, пока ведется долгий спор о том, в чем статические ИБП превосходят динамические и наоборот, есть одна вещь, с чем согласятся большинство инженеров – в том, что чем выше мощность, тем больше для работы с ней подходят электрические машины: именно генераторы используются для выработки электрической энергии на электростанциях.
Все динамические ИБП используют мотор-генераторы, однако они имеют разные конструкции и, определенно, различаются свойствами и характеристиками. Одним из таких довольно распространенных ИБП является решение с механически подключаемым дизельным двигателем – дизель-роторный ИБП (ДРИБП). Однако, в мировой практике строительства ЦОДов, настоящая конкуренция присутствует между статическими ИБП и иной технологией динамических ИБП – роторными ИБП, которая представляет собой комбинацию электрической машины, вырабатывающей синусоидальное напряжение естественной формы и силовой электроники. Такие роторные ИБП имеют электрическую связь с накопителями энергии, которыми могут быть как аккумуляторные батареи, так и маховики.
Современные достижения в области технологий управления, надежности, эффективности и плотности мощности, а также снижения удельной стоимости мощности ИБП являются факторами, присущими не только для статических ИБП. Недавно представленная серия Piller UB-V является достойной альтернативой.
Рассмотрим далее некоторые ключевые критерии оценки и выбора системы ИБП для современного крупного ЦОДа в контексте того, какая технология выглядит более предпочтительной.
1. Капитальные затраты
Это правда, что статические ИБП могут предлагать более низкую цену за 1 кВт для небольших систем ИБП, но такое преимущество быстро испаряется, когда речь заходит о системах большой мощности. Модульная концепция, которую неизбежно вынуждены применять производители статических ИБП, вращается вокруг параллельного включения большого числа ИБП небольшой номинальной мощности, например, размером 250 кВт как в приведенном ниже примере. Такой подход позволяет достичь требуемого значения заданной выходной мощности системы, но из-за сложности множества дублированных элементов теряет 20-30% преимущества в цене по сравнению со стоимостью решения на базе роторных ИБП. Более того, даже у этого параллельного соединения модулей есть ограничения по числу блоков в одной системе ИБП, после чего сами параллельные модульные системы должны быть параллельными, что ещё больше увеличивает стоимость решения за счет дополнительных распределительных устройств и кабелей.
Табл. 1. Пример решения для ИТ нагрузки 48МВт. Больший размер моноблоков UB-V позволяет экономить время и деньги.
2. Надежность
В последние годы ЦОДы становятся все более коммодитизированными предприятиями, в то время как надежность все чаще воспринимается как должное. В связи с этим, все более возрастают опасения, что это приведет к проблемам в дальнейшем. Поскольку операторы стремятся к максимальному показателю отказоустойчивости (количеству «9») и при этом предполагается, что недостатки статической технологии ИБП лучше всего преодолеваются благодаря малому времени на ремонт (MTTR) за счет возможности выполнения быстрой и «горячей» замены модулей ИБП. Но этот аргумент может быть саморазрушительным. Чем больше задействовано модулей, тем выше вероятность отказа и, что более важно, тем выше риск того, что такой отказ приведет к потере нагрузки в общей системе. Лучше вообще не иметь сбоев.
Иллюстрация зависимости числа аварий оборудования от величины показателя времени наработки на отказ (MTBF) в период нормальной эксплуатации приведена на рис. 1 и соответствующими расчетами.
Рис. 1. Зависимость числа аварий оборудования от показателя MTBF.
Вероятность отказа Q(t) оборудования в период нормальной эксплуатации, на участке (II) графика нормальной кривой отказов, достаточно хорошо описывается экспоненциальным законом распределения случайных величин Q(t) = e-(?x t), где ? = 1/MTBF – интенсивность отказов, а t – время работы в часах. Соответственно, через время t в безаварийном состоянии будет N(t) установок от начального числа всех установок N(0): N(t) = Q(t)*N(0).
Среднее значение MTBF статических ИБП составляет 200.000 часов, а MTBF роторных ИБП серии UB-V Piller составляет 1.300.000 часов. Расчет показывает что за 10 лет эксплуатации в аварии окажутся 36% статических ИБП, и только 7% роторных ИБП. С учетом разного количества оборудования ИБП (Табл.1) это означает 86 отказов из 240 модулей статических ИБП и 2 отказа из 20 роторных ИБП Piller, на одном и том же ЦОДе с полезной ИТ нагрузкой 48МВт в течение 10 лет эксплуатации.
Опыт эксплуатации статических ИБП на ЦОДах в России и в мире подтверждает достоверность приведенных расчетов, основываясь на статистике отказов и ремонтов, доступных из открытых источников.
Все роторные ИБП Piller, и в частности серия UB-V, используют электрическую машину для генерации чистой синусоиды и не используют силовые конденсаторы и IGBT транзисторы, которые очень часто являются причинами отказов во всех статических ИБП. Более того, статический ИБП — это сложная часть системы электроснабжения. Сложность снижает надежность. Роторные ИБП UB-V имеют меньше компонентов и более прочную конструкцию системы (мотор-генератор), что повышает надежность.
3. Энергоэффективность
Современные статические ИБП имеют гораздо лучшую энергоэффективность в режиме онлайн (или «нормальный» режим), чем их предшественники. Как правило, с пиковыми значениями КПД на уровне 96,3%. Часто приводятся более высокие цифры, но это достижимо только тогда, когда статический ИБП работает, переключаясь между онлайн и альтернативными режимами (например, режимом ECO-mode). Однако, при использовании альтернативного энергосберегающего режима нагрузка работает от внешней сети без всякой защиты. По этой причине, на практике в ЦОДах в большинстве случаев используется только режим онлайн.
Серия роторных ИБП Piller UB-V не изменяет состояние при нормальной работе, при этом обеспечивая эффективность до 98% в режиме онлайн для уровня загрузки 100% и на уровне 97% при загрузке 50%.
Такая разница в энергоэффективности позволяет получать существенную экономию на электроэнергии в процессе эксплуатации (Табл.2).
Табл. 2. Экономия затрат на электроэнергию на ЦОДе 48 МВт ИТ нагрузки.
4. Занимаемое пространство
Статические ИБП общего применения стали существенно более компактными с переходом на технологию IGBT и исключением трансформаторов. Однако, даже с учетом данного обстоятельства, роторные ИБП серии UB-V дают выигрыш 20% и более по показателю занимаемого места на единицу мощности. Возникающая экономия пространства может быть использована как для увеличения мощности энергоцентра, так и для увеличения «белого», полезного, пространства здания для размещения дополнительных серверов.
Рис. 2. Занимаемое место ИБП на 2МВт разных технологий. Реальные установки в масштабе.
5. Доступность
Одним из ключевых показателей хорошо спроектированного, построенного и эксплуатируемого ЦОДа является его высокий коэффициент отказоустойчивости. Несмотря на то, что 100% времени бесперебойной работы всегда является целью, в отчетах указывается, что более 30% центров обработки данных в мире испытывают как минимум один незапланированный сбой в год. Многие из них вызваны человеческими ошибками, но энергетическая инфраструктура также играет важную роль. Серия UB-V использует годами проверенную технологию роторного ИБП Piller в моноблочном исполнении, надежность которых существенно выше всех других технологий. Более того, для самих ИБП UB-V в ЦОДах с надлежащим образом контролируемой средой не требуется их ежегодное отключение для выполнения технического обслуживания.
6. Гибкость
Нередко ИТ-системы ЦОДов обновляются и модернизируются в течение 3-5 лет. Поэтому инфраструктуры систем электропитания и охлаждения должны быть достаточно универсальными, чтобы соответствовать этому и иметь достаточную перспективу на будущее. Как обычные статические ИБП, так и ИБП UB-V могут быть сконфигурированными различными способами.
Однако состав решений на базе последних более широкий, и, говоря в общем, поскольку это выходит за рамки данной статьи, позволяет иметь возможность реализации систем бесперебойного электроснабжения на средневольтном напряжении 6-30кВ, для работы на сетях с возобновляемыми и альтернативными источниками генерации, для построения экономичных сверхнадежных систем с изолированно-параллельной шиной (IP Bus), соответствующих уровню Tier IV UI в конфигурации N+1.
В качестве заключения можно сделать несколько выводов. Чем больше развиваются ЦОДы, тем сложнее становится задача их оптимизации, когда необходимо одновременно контролировать экономические показатели, аспекты надежности, репутации и минимизации воздействия на окружающую среду. Статические ИБП применялись и будут применяться в будущем в центрах обработки данным. Однако, бесспорно и то, что есть альтернативы существующим подходам в области систем электроснабжения, обладающие существенными преимуществами перед «старой доброй статикой».
wmgeek
А не выгоднее ли весь ДЦ перевести на постоянный ток и избавиться от лишних преобразований? На входе подавляющего большинства БП устройств в дата центре всеравно происходит выпрямление...
VladRtn Автор
Поспорили как-то Никола Тесла с Томасом Эдисоном… Война токов AC vs DC продолжалась более 100 лет и завершилась окончательной победой идеи переменного тока в 2007г. Хотя электрический стул, как творение Т.Эдисона, до сих пор живет. Для малых ЦОДов, наверное, и можно применять постоянный ток. Хотя сразу вопрос — а как питать системы охлаждения? Ставить инверторы с постоянки на переменку? На больших и мега ЦОДах, что сейчас в тренде, постоянный ток потребует огромной инфраструктуры для передачи DC тока, либо большого числа малых выпрямительных систем. Децентрализация? Но ЦОДы только растут. Централизация!
fougasse
Что значит победа AC?
NordicEnergy
AC победил в головах тех, кто немного не в курсе про HVDC линии
VladRtn Автор
Спору нет. У постоянного тока тоже есть свои плюсы — отсутствие необходимости синхронизации, отсутствие реактивки, например. Может быть, мир когда-нибудь и вернется вновь массово к DC на очередном витке эволюции.
VladRtn Автор
В 2007г. в Нью-Йорке не осталось ни одного потребителя постоянного тока. Об этом можно почитать интересную статью "Война токов" на очень известном ресурсе.
fougasse
Это, конечно, всё меняет. А кроме статей на ресурсе?
wmgeek
Системы охлаждения можно питать так же как и сейчас — сеть внутри ЦОД у них выделенная. И можно напрямую от дизель генераторов. Перерыв питания на 3 минуты, пока старт дизеля и ступенчатый набор мощности — жидкого фреона из ресиверов хватит.
VladRtn Автор
Согласен — можно.
Gengenid
Разве инверторный привод не побеждает в системах кондиционирования и вентиляции?
DGN
Логично стойки и системы охлаждения питать разными ветками. Если из всех серверных БП выкинуть диодный мост, будет почти процент экономии только на этом.
Мне интуитивно кажется, что динамические ИБП нужны там где могут быть долговременные перерывы в подаче энергии, нельзя аккумуляторами запасти энергии для ЦОД на сутки. А дизеля вытянут без проблем, только солярку подвози.
drWhy
При использовании синхронного выпрямителя потери на выпрямлении могут быть околонулевыми.
Crazyvlad
Токи посчитайте. Стойка 10кВт, 12В — это 800А. Если напряжение выше — то все равно нужно будет ставить преобразователи dc-dc. Внутри стойки еще можно постоянный ток разводить, что собственно и делается в идеологии OCP. Но тянуть в машзале шины питания постоянного тока крайне неудобно в эксплуатации и на круг выходит дороже.
Gengenid
А зачем 12? Те же 220 или 310 вольт. Вся проводка будет того же сечения, что и сейчас.
А учитывая воможность выкинуть все ИБП, как статические так и динамические, заменив их простыми стационарными батареями, 100% надежный статический АВР…
Много плюсов дает постоянный ток.
DGN
Учитывая, что в БП конденсаторов на напряжение менее 400 В не ставят, можно смело подавать и 350 В. В итоге потребное сечение проводов даже уменьшится, либо уменьшится нагрев и потери в них. Вырастут мощности блоков питания, то есть БП на 1 кВт автоматически станет на 1.2 кВт.
Crazyvlad
сарказм ON — А давайте сразу 380 подадим, что мелочиться? А то ноль простаивает — подадим туда вторую фазу. Так иногда делают электрики (понятно что не специально — так получилось)
сарказм OFF
Согласно ГОСТ — у нас пока в бытовой сети 230В переменного тока. И БП проектируются конечно с запасом, но все-таки на 230-250В. 400В это предельный режим, при его использовании никто не дает гарантию долговременной работы, ибо если нужен кондер в цепь 400В — бери на 600В+.
Temtaime
В БП с APFC ставят конденсаторы на 400В, при этом напряжение на нём достигает 390В. И ничего, все живут. Конденсаторы и так допускают небольшие всплески.
Semy2002
<Зануда on>Согласно ГОСТ 32144-2013 — у нас пока в бытовой сети 220В</Зануда off>
Crazyvlad
Для техники действует ГОСТ 29322-2014.
ГОСТ, что Вы привели действует только для поставщиков электроэнергии.
Semy2002
А в «бытовую сеть» (Вас цитирую) кто кроме «поставщиков электроэнергии» подает напряжение?
VladRtn Автор
Спасибо за уточнение действующего стандарта!
RUSMRG
После выпрямления среднеквадратичное напряжение становится больше в 1,41 раз (корень из 2). А значит после диодного моста в импульсном БП постоянное напряжение по любому около 325-350 В в нормальном режиме. А значит если избавиться от переменки, туда можно смело сразу постоянку 325-350 В подавать. А конденсаторы в серверных БП стоят всегда на 450 В.