В эксплуатации дата-центров мы уделяем тестированию инженерных систем и оборудования много внимания. Один из самых важных тестов – это запуски дизель-генераторных установок (ДГУ). Эти испытания помогают проверить работоспособность сразу нескольких инженерных систем.
ДГУ отвечают за гарантированное энергоснабжение. В случае перебоев с городским питанием на них ложится вся нагрузка дата-центра. Питание от ДГУ обычно называют резервным, но относиться к нему стоит как к основному: только этим видом энергоснабжения мы можем управлять. Это еще одна причина, почему тесты ДГУ так нужны.
На всех площадках у нас работает суммарно 30 ДГУ мощностью от 1200 до 1750 кВт. Сегодня расскажем, как мы тестируем ДГУ в своих дата-центрах и на что обращаем внимание в процессе. Надеемся, что наш опыт будет полезен и обладателям небольших серверных.
Перед прочтением рекомендуем пробежаться по нашей прошлой статье и освежить знания об устройстве электроснабжения в дата-центрах.
ДГУ в помещении и в контейнерном исполнении.
Тестировать ДГУ нужно под нагрузкой. На холостом ходу вы не проверите, как ДГУ справляются с нагрузкой и синхронизируются, если их несколько. Такие испытания — все равно что тест-драйв, во время которого вы только завели машину, но не проехали и метра.
Тестировать ДГУ под нагрузкой можно двумя способами:
Чтобы протестировать ДГУ под нагрузкой, нужно отключиться хотя бы от одного ввода городского питания. Кратко напомним, как это происходит. Переключением на питание от ДГУ управляет автоматический ввод резерва (АВР): он дает сигнал на включение ДГУ. Пока ДГУ заводятся, нагрузку держат аккумуляторные батареи ИБП. Как только ДГУ вышли на рабочий режим и синхронизировались, АВР переводит нагрузку дата-центра на них. Вот как примерно это происходит:
Во время запуска ДГУ задействуется вся система гарантированного и бесперебойного энергоснабжения. Поэтому помимо работы самих ДГУ мы также проверяем работу и этих систем:
Попутно мы тестируем систему мониторинга: корректно ли она отображает состояние системы и оборудования энергоснабжения. Проверяем четкость регламентов и работу инженеров по ним.
Под испытания также попадет оборудование, которое не подключено к бесперебойному питанию. Как только городское электроснабжение пропадет, это оборудование выключится, и включится только после запуска ДГУ. То же самое произойдет, когда будем возвращаться с ДГУ на городское питание. Такие упражнения – это дополнительные испытания для оборудования. Поэтому после каждого выкл./вкл. проверяем индикацию на наличие ошибок. В нашем случае к такому оборудованию относятся кондиционеры: только половина запитана через ИБП.
В этом деле важна не частота тестовых запусков, а их регулярность: нужно выработать четкий график тестирований, которому вы будете следовать. Считаете, что достаточно проверять ДГУ раз в квартал, замечательно. Главное – четко придерживаться этого графика и не халявить.
Помимо плановых тестирований нужно проводить тесты после любых ТО и ремонтов,
чтобы проверить:
Оповещение. В регламенте тестирования нужно заранее прописать, кого нужно оповещать и за какое время. Этот список может меняться в зависимости от внутренних требований и процессов. Вот как может выглядеть список заинтересованных лиц:
В письме-оповещении оставляем контакты ответственного за тестовый запуск, чтобы в случае вопросов с ним можно было связаться.
Осмотр ДГУ. Чтобы не отправляться на тестирование с заведомо неисправным оборудованием, перед тестом снимаются следующие показатели:
Проводится визуальный осмотр:
Проверка оборудования системы энергоснабжения. Такая же процедура проводится с остальным оборудованием систем гарантированного и бесперебойного энергоснабжения. Проверяется индикация на наличие ошибок и внешнее состояние. Инженеры снимают показания с анализаторов тока на ГРЩ, проверяют индикацию ИБП, правильно установленное время.
1. Отключаем реле контроля фаз в ГРЩ, т.е. имитируем исчезновение городского питания по одному из лучей.
2. ИБП фиксирует исчезновение питания на входе и мгновенно переключается на автономное питание от аккумуляторных батарей.
Дисплей ИБП. На индикации видно, что электроснабжение отключено и дата-центр питается от батарей.
3. Одновременно автоматический ввод резерва (АВР) в ГРЩ фиксирует перебой с городским питанием. АВР выжидает 5 секунд и подает сигнал на запуск ДГУ. В рабочем режиме эта задержка избавляет от запуска ДГУ по ложной тревоге. Если городское питание просто “моргнуло” и снова восстановилось за эти 5 секунд, то команды на запуск ДГУ не будет.
Дисплей АВР ГРЩ. LN1 обозначает питание от города, которое “пропало” (белый овал). LN2 – питание от ДГУ.
4. ДГУ запускаются, выходят на рабочий режим в 1500 оборотов в минуту и синхронизируются между собой за 10–20 секунд.
5. Когда питание от ДГУ появляется на резервной линии, АВР размыкает автоматический выключатель основной линии городского питания.
Черный овал рядом с LN2 говорит о том, что напряжение от ДГУ начало поступать на шину. Автомат линии питания от города разомкнут. Секундомер отсчитывает время, через которое нагрузка будет переброшена на ДГУ.
6. Через 30–35 секунд с момента команды на запуск ДГУ АВР замыкает выключатель резервной линии. Теперь дата-центр питается от ДГУ.
7. ИБП видит восстановление питания на входе и возвращается в стандартный режим.
Чтобы убедиться, что все работает правильно, на дизелях лучше “простоять” не менее 40–60 минут. Наш опыт показывает, что основные ошибки появляются либо при запуске, либо в период 40–60 минут. За это время без спешки можно проверить все основные параметры дизельных генераторов:
В нашем случае если нагрузка на каждый ДГУ меньше 30%, то ДГУ по одному начинают выходить в резерв. В случае сбоя на работающих ДГУ он быстро вернется в строй. В работе всегда остаются минимум два ДГУ, чтобы соблюдалось резервирование N+1.
Пока работают ДГУ, инженеры также проверяют инфраструктурные объекты, которые выключались во время перехода на питание от дизельных генераторов.
Дата-центр возвращается на питание от города следующим образом:
После возврата на городское питание инженер снова проверяет индикацию ИБП, замеряет токи на обоих вводах, топливо в ДГУ, инженерное оборудование, которое отключалось.
Весь подготовительный процесс, тайминг, показания оборудования во время и после теста, а также замечания заносятся в отчет.
На сегодня все. Тестируйте свои ДГУ. И пусть они вас не подводят.
ДГУ отвечают за гарантированное энергоснабжение. В случае перебоев с городским питанием на них ложится вся нагрузка дата-центра. Питание от ДГУ обычно называют резервным, но относиться к нему стоит как к основному: только этим видом энергоснабжения мы можем управлять. Это еще одна причина, почему тесты ДГУ так нужны.
На всех площадках у нас работает суммарно 30 ДГУ мощностью от 1200 до 1750 кВт. Сегодня расскажем, как мы тестируем ДГУ в своих дата-центрах и на что обращаем внимание в процессе. Надеемся, что наш опыт будет полезен и обладателям небольших серверных.
Перед прочтением рекомендуем пробежаться по нашей прошлой статье и освежить знания об устройстве электроснабжения в дата-центрах.
ДГУ в помещении и в контейнерном исполнении.
Что тестируем и как
Тестировать ДГУ нужно под нагрузкой. На холостом ходу вы не проверите, как ДГУ справляются с нагрузкой и синхронизируются, если их несколько. Такие испытания — все равно что тест-драйв, во время которого вы только завели машину, но не проехали и метра.
Тестировать ДГУ под нагрузкой можно двумя способами:
- под эквивалентной нагрузкой, т.е нагрузка создается искусственным способом, например, через подключение тепловых пушек. Такой вариант подойдет для приемо-сдаточных испытаний, когда ИТ-нагрузки еще нет.
- под нагрузкой (ИТ-оборудование + инфраструктура). Далее речь пойдет именно о таком виде тестирований.
Чтобы протестировать ДГУ под нагрузкой, нужно отключиться хотя бы от одного ввода городского питания. Кратко напомним, как это происходит. Переключением на питание от ДГУ управляет автоматический ввод резерва (АВР): он дает сигнал на включение ДГУ. Пока ДГУ заводятся, нагрузку держат аккумуляторные батареи ИБП. Как только ДГУ вышли на рабочий режим и синхронизировались, АВР переводит нагрузку дата-центра на них. Вот как примерно это происходит:
Во время запуска ДГУ задействуется вся система гарантированного и бесперебойного энергоснабжения. Поэтому помимо работы самих ДГУ мы также проверяем работу и этих систем:
- автоматика: автоматический ввод резерва (АВР);
- ИБП и состояние аккумуляторных батарей (АКБ);
- ДГУ.
Попутно мы тестируем систему мониторинга: корректно ли она отображает состояние системы и оборудования энергоснабжения. Проверяем четкость регламентов и работу инженеров по ним.
Под испытания также попадет оборудование, которое не подключено к бесперебойному питанию. Как только городское электроснабжение пропадет, это оборудование выключится, и включится только после запуска ДГУ. То же самое произойдет, когда будем возвращаться с ДГУ на городское питание. Такие упражнения – это дополнительные испытания для оборудования. Поэтому после каждого выкл./вкл. проверяем индикацию на наличие ошибок. В нашем случае к такому оборудованию относятся кондиционеры: только половина запитана через ИБП.
Когда тестируем
В этом деле важна не частота тестовых запусков, а их регулярность: нужно выработать четкий график тестирований, которому вы будете следовать. Считаете, что достаточно проверять ДГУ раз в квартал, замечательно. Главное – четко придерживаться этого графика и не халявить.
Помимо плановых тестирований нужно проводить тесты после любых ТО и ремонтов,
чтобы проверить:
- все ли неисправности устранены;
- не допущены ли новые ошибки;
- нет ли изменений в логике работы после проведения ТО.
Подготовка к тестированию
Оповещение. В регламенте тестирования нужно заранее прописать, кого нужно оповещать и за какое время. Этот список может меняться в зависимости от внутренних требований и процессов. Вот как может выглядеть список заинтересованных лиц:
- внешние и внутренние заказчики;
- коллеги, ответственные за смежные системы (кондиционирование, ИБП, мониторинг и пр.);
- подрядчик по обслуживанию ДГУ, если в договоре не прописано обязательное участие в тестировании.
- сотрудники компании. Если офис запитан от тех же источников, что и серверная, то у коллег временно может пропасть свет, перезагрузятся компьютеры. Предупредите их об этом заранее.
В письме-оповещении оставляем контакты ответственного за тестовый запуск, чтобы в случае вопросов с ним можно было связаться.
Осмотр ДГУ. Чтобы не отправляться на тестирование с заведомо неисправным оборудованием, перед тестом снимаются следующие показатели:
- напряжение заряда аккумуляторов;
- уровень топлива и масла;
Проводится визуальный осмотр:
- включен ли подогрев двигателей;
- на наличие неисправностей
- на ошибки в индикации
- на наличие потеков различных жидкостей (масло, антифриз).
Проверка оборудования системы энергоснабжения. Такая же процедура проводится с остальным оборудованием систем гарантированного и бесперебойного энергоснабжения. Проверяется индикация на наличие ошибок и внешнее состояние. Инженеры снимают показания с анализаторов тока на ГРЩ, проверяют индикацию ИБП, правильно установленное время.
Переключение на питание от ДГУ
1. Отключаем реле контроля фаз в ГРЩ, т.е. имитируем исчезновение городского питания по одному из лучей.
2. ИБП фиксирует исчезновение питания на входе и мгновенно переключается на автономное питание от аккумуляторных батарей.
Дисплей ИБП. На индикации видно, что электроснабжение отключено и дата-центр питается от батарей.
3. Одновременно автоматический ввод резерва (АВР) в ГРЩ фиксирует перебой с городским питанием. АВР выжидает 5 секунд и подает сигнал на запуск ДГУ. В рабочем режиме эта задержка избавляет от запуска ДГУ по ложной тревоге. Если городское питание просто “моргнуло” и снова восстановилось за эти 5 секунд, то команды на запуск ДГУ не будет.
Дисплей АВР ГРЩ. LN1 обозначает питание от города, которое “пропало” (белый овал). LN2 – питание от ДГУ.
4. ДГУ запускаются, выходят на рабочий режим в 1500 оборотов в минуту и синхронизируются между собой за 10–20 секунд.
5. Когда питание от ДГУ появляется на резервной линии, АВР размыкает автоматический выключатель основной линии городского питания.
Черный овал рядом с LN2 говорит о том, что напряжение от ДГУ начало поступать на шину. Автомат линии питания от города разомкнут. Секундомер отсчитывает время, через которое нагрузка будет переброшена на ДГУ.
6. Через 30–35 секунд с момента команды на запуск ДГУ АВР замыкает выключатель резервной линии. Теперь дата-центр питается от ДГУ.
7. ИБП видит восстановление питания на входе и возвращается в стандартный режим.
Что проверяем, когда ДГУ работают
Чтобы убедиться, что все работает правильно, на дизелях лучше “простоять” не менее 40–60 минут. Наш опыт показывает, что основные ошибки появляются либо при запуске, либо в период 40–60 минут. За это время без спешки можно проверить все основные параметры дизельных генераторов:
- давление;
- напряжение заряда аккумуляторов;
- температура охлаждающей жидкости;
- равномерность распределения нагрузки по фазам;
- работу впускных и выпускных жалюзей системы вентиляции.
В нашем случае если нагрузка на каждый ДГУ меньше 30%, то ДГУ по одному начинают выходить в резерв. В случае сбоя на работающих ДГУ он быстро вернется в строй. В работе всегда остаются минимум два ДГУ, чтобы соблюдалось резервирование N+1.
Пока работают ДГУ, инженеры также проверяют инфраструктурные объекты, которые выключались во время перехода на питание от дизельных генераторов.
Возврат на городское электроснабжение
Дата-центр возвращается на питание от города следующим образом:
- Включаем реле контроля фаз.
- АВР через 5 секунд дает сигнал на размыкание выключателя резервной линии.
- ИБП переходит на питание от батарей.
- АВР еще через 5 секунд замыкает выключатель на основной линии городского питания.
- ИБП возвращается в стандартный режим.
- АВР ждет 60 секунд, после чего дает команду на остановку ДГУ.
После возврата на городское питание инженер снова проверяет индикацию ИБП, замеряет токи на обоих вводах, топливо в ДГУ, инженерное оборудование, которое отключалось.
По итогам теста
Весь подготовительный процесс, тайминг, показания оборудования во время и после теста, а также замечания заносятся в отчет.
На сегодня все. Тестируйте свои ДГУ. И пусть они вас не подводят.
Поделиться с друзьями
Комментарии (7)
AstorS1
20.01.2017 22:10У нас еще и рабочие места админов, сетевиков ЦОДа, черeз ДГУ питаются, в отличие от программистов, бухов, еtc. Важно обеспечить не только непрерывность, но и должную поддержку сервиса для клиентов при отсутствии внешнего питания.
ggo
21.01.2017 15:45Обычно все рабочие места подключаются к бесперебойному снабжению (п.3, 4 из классификации чуть выше)
Ну как обычно, тем кому не нужны простои в работе людей.
Под рабочим местом понимается обычно комп.
armature_current
21.01.2017 21:33Ух тыж, вот это я удачно заглянул!!!
Есть несколько вопросов по существу, а именно:
- Каким порядком можно характеризовать постоянную времени ДГУ. Из сказанного
синхронизируются между собой за 10-20 секунд
можно судить о скорости переходных процессов не менее 1 секунды. Но если честно, то больше всего интересует порядок передаточной характеристики замкнутого контура.
- Описанные методики испытаний конечно интересны для "обывателя", но, извините за нескромный вопрос, а нет ли у Вас ПМИ?
Вопросы идут вот откуда. Мы делаем для заказчика ИБП на 100 кВт — 2 МВт. Заказчик спит и видит параллельную работу ИБП с ДГУ. Параллельная работа преобразователя (в составе ИБП) по типу обращенного инвертора напряжения на ДГУ сопряжена со сложностью идентификации динамики самого ДГУ в переходных режимах нагрузки. Грубо говоря, преобразователь синхронизируется с ДГУ и формирует синфазный ток. В силу известных принципов работы ДГУ, а именно уходу частоты генерируемого напряжения в случаях сброса/наброса нагрузки есть вероятность рассинхронизации преобразователя и ДГУ, что может привести к опрокидыванию инвертора. Нам, как разработчикам этих преобразователей, очень хочется понять специфику работы ДГУ в динамике, а еще лучше, характеристический полином замкнутой системы управления ДГУ.
- Каким порядком можно характеризовать постоянную времени ДГУ. Из сказанного
4ebriking
Давно-давно хотел спросить кого-нибудь из людей реально занимающихся бесперебойностью сложных объектов — на самом объекте сеть вся бесперебойная, или есть разной степени «устойчивости»? Всюду на схемах вижу, что сам ЦОД — почти один объект, который надо энергоснабжать. (та же ситуация насколько знаю почти у всех крупных потребителей в стране — от метрополитена до отдельных домов, чисто классами различаются)
Ну очевидный простой пример — на время работы от батарей на время запуска ДГУ — ясно что несколько минут ЦОД проживёт если не без кондиционеров, то без вентиляции, увлажнения и освещения например. И без циркуляции отопления буде таковое есть и много чего ещё. А ещё лучше — если бы можо было бы даже сами сервера делить по степени «важности» и снижать производительность не сильно важных вычислений (напр. майнинга криптовалют)).
Жилые дома проживут получасовую аварию без элетроплит и даже без лифта, хотя холодильники и компьютеры можно было не трогать — и тоже это никак не решено, «системно/архитектурно» вообще — ввод в дом и квартиру всюду один.
Вцелом по стране раньше телефон и радиоточка были «энергонезависимы» от локальной домовой сети
Знаю один коттеджный посёлок (энергетиков :)) ) где две линии (каждая трёхфазка) — одна дорогая но качественная, вторая дешёвая, но «после большого завода» — и к какой из них себя подключать или к обоим (счётчики всё равно на столбе) — каждый решает сам, реле автоввода резерва сейчас недорого, в общем стоят. Но это всё же экзотика, даже думаю недолго проживёт, а вот в ЦОД-ах — встречались ли вам решения с разными линями вплоть до шкафов и включения в тарифные планы «какие мощности к какой надёжности по питанию подключить» (ну там типа «не больше 2 сек часов простоя по питанию в месяц» — одна цена, «не более 2х часов» — другая, «не более 20 дней днём и не более 20 часов ночью» — третья). Понимаю что это большой геморр для инженерной и финансовой составляющей, но глядя как делают маломощные БП например (сотни деталей) ли на тарифные планы инфраструктурных компаний (связь, транспорт) компаний — не вижу в этом чего-то запредельно сложного.
Отвечать коротко-односложно типа «это сложно»/«никому не надо»/«не стоит овчинка выделки»/«проблема надумана» и т.п.или риторическими вопросами — не надо, я это всё и сам знаю, мне бы от спецов в теме _размышения_ на этот счёт почитать, можно ссылками и/или расчётами.
Спасибо.
4ebriking
Р.s. статьи отличные!
5000shazams
Спасибо за вопрос. Вы как раз обратились по адресу, про бесперебойность — это к нам. :-)
Постараемся ответить, но если не совсем верно поняли вопрос, извините.
По существу ЦОД — это уже сложная система с разделением электропитания по уровням устойчивости.
ВСЕ стойки с оборудованием, понятное дело, подключены к последнему типу, так как мы коммерческий ЦОД и не можем управлять критичностью сервисов, которые крутятся в стойках наших клиентов. В корпоративных ЦОД так можно делать, вынося, например тестовые среды в менее зарезервированные стойки, и экономя на инфраструктуре.
А дальше — интереснее. Так, половина кондиционеров подключена бесперебойно, а половина только на гарантированном питании. То же самое с освещением: аварийный свет на ИБП, остальной — нет.
К тому же ИТ-нагрузка подключается к одним ИБП (резерв 2N), а всё остальное — к другим.
И этот список можно продолжать долго. :-)
electronus
Из своего опыта, в одном ДЦ были две линии снаружи+ независимые трансформаторы (А и B), потом Батарейный UPS (С) и дизельгенераторы (D) со своими ATS-ами которые могли стать не только D, но и А/B/C. В каждой стойке стойке стояло по 2 двухвходовых ATS-а A-C(B-C) и С-D и два powerstrip-а.
В другом DC стояли Hitec drups и никаких кислотных ups-ов