Сегодня подробно поговорим о системе энергоснабжения дата-центра: узнаем, какой путь проходит электричество до стойки и что происходит, когда в ЦОДе пропадает городское электричество. Сабж разберем на примере одного из наших дата-центров.
Поговорим по понятиям
Прежде, чем отправиться маршрутами электричества в дата-центре, разберем основные термины и определения, которые нам сегодня понадобятся.
Ввод — место подключения дата-центра к городской электросети.
Трансформатор — устройство для преобразования электрического напряжения, в нашем случае с 10 кВ до 400 В.
Луч — маршрут электричества от трансформатора до блока питания сервера.
Распределительный щит — устройство для приема, распределения электроэнергии и защиты при перегрузках и коротких замыканиях.
Дизель-генераторная установка (ДГУ) — автономная энергетическая установка, которая вырабатывает электричество посредством сжигания дизельного топлива. В дата-центре с помощью ДГУ обеспечивается гарантированное питание. Обычно ДГУ стоят выключенными, но теплыми. На запуск им нужно около 30 секунд.
Источник бесперебойного питания (ИБП) — устройство, питающее дата-центр при кратковременном отключении основного источника электроснабжения. Пропадание электричества хотя бы на секунду, приведет к отключению ИТ-оборудования. Задача ИБП не допустить этого перерыва.
Автоматический ввод резерва (АВР) — устройство, используемое в случаях, если система электроснабжения имеет не менее двух питающих вводов. В случае проблем с одним из вводов нагрузка автоматически переключается на второй. В дата-центрах АВР используется для переключения нагрузки дата-центра на ДГУ и для резервирования электроснабжения серверов с одним блоком питания.
Power distribution unit, PDU (распределитель питания) — устройство для распределения электроэнергии. В английской традиции PDU называют как электрические щиты, так и блоки розеток. У нас это только блоки розеток в стойке.
Да будет свет
Дата-центр подключается к городской электросети через два ввода. Эти вводы независимы: идут от разных подстанций и по отдельным трассам. Мы проследим путь электричества по одному из таких вводов от трансформатора до сервера в стойке.
Через вводы городское электричество попадает на понижающие трансформаторы дата-центра. Здесь 10 кВ преобразуются в 400 В.
Эти 400 В приходят на главный распределительный щит (ГРЩ). Отсюда питание расходится по всем инженерными системам и ИТ-оборудованию дата-центра.
Два ряда серых шкафов — это и есть ГРЩ. Каждый ряд (секция) питается от своего ввода и дублирует тот, что стоит напротив.
ГРЩ включает в себя:
- вводной автоматический выключатель (вводные автоматы). Если на пути от ГРЩ до нагрузки произойдет короткое замыкание или превышение допустимого тока, то вводной автомат отключится. Принцип работы этих автоматов такой же, как у пробок в электрощитке у вас дома. В каждой секции ГРЩ два вводных автомата: один работает, когда дата-центр запитан от городской электросети, другой — при включенных ДГУ.
- распределительная шина. На нее поступает все электричество и передается дальше в ИБП или другие распределительные щиты.
В верхней части расположены кабели, по которым приходит электричество из трансформатора. В средней части — вводной автомат, внизу медная распределительная шина.
- автоматический ввод резерва (АВР). Он контролирует вводные автоматы от города и ДГУ, дает команды на запуск и остановку ДГУ, переключает питание дата-центра с трансформаторов на ДГУ и обратно.
На дисплее отображается, от какого источника питается дата-центр. В данный момент питание приходит от городской сети (LN1). LN 2 — это резервное линия питания от ДГУ.
- отводные автоматы. Они защищают от перегруза и короткого замыкания каждую трассу, которая отходит на другие щиты и конечные потребители: стойки, ИБП, кондиционеры, освещение и пр.
- секционный переключатель. У нас два ГРЩ, так как к дата-центру подведены 2 ввода. Он позволяет питать обе секции ГРЩ от одного ввода, когда нужно отремонтировать один из траснформаторов.
В помещении с ГРЩ также находится щит, в котором собраны выходы со всех ДГУ (обычно их от 3 до 5 шт.). Когда пропадает городское электроснабжение, питание из этого щита подается в ГРЩ и расходится дальше по всему дата-центру.
Все вырабатываемое ДГУ электричество поступает на медную распределительную шину и оттуда идет на вводной автомат от ДГУ.
Итак, попадая в ГРЩ, 400В поступают на вводной автомат от города. Далее электричество попадает на распределительную шину и отводные автоматы. АВР в случае перебоев с городской электросетью, переключает дата-центр на питание от ДГУ. От ГРЩ электропитание идет уже гарантированное, но все еще:
а) “грязное”: городское напряжение не слишком стабильно, бывают скачки, временные повышения и понижения.
б) не бесперебойное: ДГУ потребуется до 30 секунд, чтоб завестись и выйти на рабочую нагрузку.
Обе эти проблемы решает источник бесперебойного питания (ИБП). Именно туда поступает электричество после ГРЩ. ИБП выравнивает напряжение до заданного значения, а при потере питания от города ИБП автоматически переключает свою нагрузку на аккумуляторные батареи. На батареях ЦОД может работать автономно около 15 минут. Этого более чем достаточно, чтобы ДГУ успели завестись.
ИБП обыкновенный.
Стеллажи с аккумуляторными батареями.
От ИБП питается распределительный щит ИБП (ЩИБП). От отводных автоматов ЩИБП электричество поступает на распределительные щиты машинных залов (ЩР), кондиционеров (ЩК), аварийного освещения (ЩС) и другие щиты.
В ЩР для каждой стойки устанавливается свой отводной автомат нужного номинала и фазности. Например, чтобы запитать стойку мощностью в 6,5 кВт устанавливаем однофазный автомат 32А.
ЩР в машинном зале.
В машинных залах NORD 4 вместо ЩР используются шинопроводы, находящиеся под фальшполом.
На шинопроводе устанавливаются отводные коробки с автоматами, ведущими к стойкам.
Осталось запитать оборудование в стойке. Для этого в стойку устанавливается два PDU, которые подключаются к разным лучам питания. Оборудование с двумя блоками питания подключается в разные PDU. Если у оборудования один блок питания, то к PDU оно подключается через АВР. При потере питания на одном из PDU АВР переключает нагрузку на второй.
Принципиально важно правильно подключить оборудование к АВР и PDU. Если напутать, то никакое резервирование по питанию в дата-центре не поможет пережить вашему серверу перебои с городским электроснабжением.
Схема правильного подключения серверов с одним и двумя блоками питания в стойку.
Вот такой путь проходит электричество по одному лучу от трансформатора до сервера в стойке. Аналогичным маршрутом электричество добирается до стойки и по второму лучу. На общей схеме все вышеописанное выглядит вот так:
Тушите свет
Теперь разберем ситуацию, когда в дата-центре пропадает городское электроснабжение. При этом сценарии происходит следующее:
— ИБП переключаются на питание от аккумуляторных батарей;
— автоматический ввод резерва в ГРЩ запускает ДГУ и переключает дата-центр на питание от них.
Вот как это происходит:
- ИБП фиксирует пропадание питания на входе и автоматически переключается на автономное питание от аккумуляторных батарей.
- Одновременно с этим АВР в ГРЩ также фиксирует перебой с городским питанием. АВР Ждет 5 секунд. Если питание не восстановилось, то АВР подает сигнал на запуск ДГУ.
- ДГУ запускаются и синхронизируются между собой за 15-30 секунд.
- Когда питание от ДГУ появляется на резервной линии, АВР размыкает автоматический выключатель основной линии и замыкает выключатель резервной линии с выдержкой 10 секунд. С этого момента дата-центр питается от ДГУ.
- ИБП видит восстановление питания на входе и возвращается в стандартный режим.
Когда питание по городской сети возобновляется, то тот же АВР автоматически возвращает дата-центр на питание от городской сети:
- АВР фиксирует возврат городского питания, ждет 5 секунд отключается от ДГУ.
- Одновременно с этим ИБП переходят на питание от батарей.
- АВР размыкает выключатель на резервной линии (питание от ДГУ), и через 5 секунд замыкает выключатель на основной линии питания от города. ИБП возвращается в стандартный режим.
- АВР ждет 60 секунд, после чего дает команду на остановку ДГУ.
Одна из групп ДГУ на площадке OST.
В этом посте мы подробно разобрали, как система электроснабжения выглядит в динамике. Если хочется узнать подробности по мощностям, маркам и схемам резервирования каждого из элемента системы в дата-центре TIER III, то можно пробежаться по нашей последней экскурсии по NORD 4. Задавайте вопросы в комментах, если что-то интересное для вас осталось за кадром.
Комментарии (34)
saint_paul
21.09.2016 11:46+1На рис. «Схема правильного подключения серверов с одним и двумя блоками питания в стойку.» в ШР1 Автомат 32А не туда установлен
Iv38
21.09.2016 12:12+1А как осуществляется синхронизация фаз от разных ДГУ? И что значит «обычно ДГУ стоят выключенными, но теплыми»?
dataline
21.09.2016 13:42С помощью контролеров. Как именно это происходит — тема для отдельной статьи :)
Под теплыми ДГУ подразумевается, что антифриз в рубашке охлаждения двигателя постоянно находится в подогретом состоянии (до 40 градусов). Благодаря этому ДГУ быстро стартуют.
vilgeforce
21.09.2016 12:57Не совсем понял «Если на пути от ГРЩ до нагрузки произойдет короткое замыкание или превышение допустимого тока, то вводной автомат отключится.» Вы же пишете что у вас еще куча автоматов стоит от ГРЩ до конечной нагрузки и вылетать должны они при КЗ, а не вводной.
dataline
21.09.2016 13:45Все верно. Под нагрузкой в данном предложении имеется в виду ближайший щит. Если замыкание произойдет дальше по цепи, то отработает автомат в соответствии с селективностью.
Igorjan
21.09.2016 13:06+2Спасибо за интересную статью!
К сожалению, за кадром остались пара моментов:
1. Что происходит при пропадании одного ввода? Включается СВ или (почему бы и нет) подается напряжение с ДГУ только на одну секцию?
2. есть ли взаимодействие с вышестоящими подстанциями? (ускорение АВР при аварийном сигнале, например).
3. Диспетчеризация всей этой красоты. Если, например, какой-то нехороший человек отключит автомат в ШР, как скоро об этом узнают и где какая лампочка загорится?dataline
21.09.2016 13:511. Запускаются ДГУ.
2. Нет, и не знаем такой практики в Москве. Если что, звоним диспетчеру.
3. Нехороших людей стараемся не пускать:) Мониторим вводы ЩР. У нас обязательно будет подробная статья по системе мониторинга, где расскажем и про это.
mink_h
21.09.2016 16:31+1Интересно было бы услышать пару слов о хранении дизельного топлива для ДГУ:
— что происходит с неизрасходованным топливом к концу «срока годности», по истечении которого оно теряет свои свойства;
— применяется ли разделение на «летнее» и «зимнее» дизельное топливо?dataline
21.09.2016 17:19— С проблемой истечения «срока годности» за 7 лет не сталкивались. Часть топлива регулярно расходуется на тестовые запуски ДГУ: каждый две недели ДГУ работают под нагрузкой от 30 до 60 минут. Дополнительно проверяем состояние топлива в лаборатории.
— Разделения на «летнее» и «зимнее» топливо нет, так как дизельные установки находятся в отдельных подогреваемых контейнерах или в помещении, как на фото в посте. Там зимняя и летняя температуры не сильно отличаются.
artvio
22.09.2016 12:28Я правильно понимаю, что часть дизельного топлива находится в хранилище при ЦОДе, а также имеется договор с поставщиком, у которого хранятся (зарезервированы) более существенные объёмы? На какой максимальный срок по TIER III необходимо топливо(день, неделя, месяц, год)?
operby
21.09.2016 22:24+2Четкая статья, классные гифки!
Жаль не все режимы на гифках. А то целое пособие бы вышло для понимания процесса!woodhead
22.09.2016 10:07-1На мой взгляд, гифки не очень удачные. Автоматы включаются/отключаются, хотя по факту должны быть всегда включены. Контакты АВР пропадают при замыкании, сразу не поймёшь, есть там контакт, или нет. Ну, и трансформаторы включены в схему, конечно, чудесно. Надо бы развернуть их на 90 градусов.
dataline
22.09.2016 10:09АВР как раз и переключает питание дата-центра с города на ДГУ. Перед тем, как замкнуть автомат на ДГУ, размыкается автомат на город.
woodhead
22.09.2016 11:01Вы не правы, автоматы всегда включены. При переходе на питание от ДГУ в АВР размыкается контактор питания от сети и замыкается контактор питания от ДГУ.
dataline
22.09.2016 12:45Выше я писал про автоматические выключатели, которые управляются АВР http://joxi.ru/E2pzQYbhBlpQEr Контактор это все-таки немного не то.
Когда питание от ДГУ появляется на резервной линии, АВР размыкает автоматический выключатель основной линии и замыкает выключатель резервной линии с выдержкой 10 секунд.
Не проговорил этот момент в статье. Из-за этого, возможно, и возникло недопонимание с контактами АВР.
woodhead
22.09.2016 12:54Я смотрю на гифку и вижу, что одновременно размыкаются последовательно включенные автоматический выключатель и контактор АВР сети, а также одновременно замыкаются автоматический выключатель и контактор АВР ДГУ. Какой смысл коммутировать и автоматический выключатель, и контактор?
Igorjan
22.09.2016 12:54хотя по факту должны быть всегда включены.
в ABB с Вами не согласныwoodhead
22.09.2016 13:00Тогда может вы объясните, зачем коммутировать последовательно соединённые автоматический выключатель и контактор АВР? Или у ABB есть ответ на этот вопрос?
occam
28.09.2016 22:13Тогда может и вам объявить награду за объяснение? Почему кто-то должен делать работу за релейщиков, которым вы как на духу верили и оплатили им же свой кредит доверия?
woodhead
29.09.2016 05:08Не совсем понял комментарий. Вы хотите, чтобы я объяснил, почему коммутируются одновременно автомат и контактор? Так я тоже понятия не имею. И я также не понял, кто кому поверил и оплатил кредит доверия.
Очевидно, что человек, писавший статью, не очень разбирается в вопросе, иначе был бы ответ на мой комментарий выше. А так, налицо ошибка, которую не торопятся исправлять. Да и ладно, лишь бы на объекте всё было правильно (в том, что реальная схема работает иначе, я нисколько не сомневаюсь).
Бывает, что в АВР для коммутации цепи вместо контакторов используются автоматические выключатели (АВ). С учётом того, что есть ещё секционный АВ, который должен включаться автоматически при пропадании сетевого питания одного из вводов, то понятно, что на схеме контакторы лишние.
Или можно было бы на схеме добавить контактор последовательно с секционным АВ. Тогда было бы ясно, что вся коммутация реализована на контакторах, и тоже вопросов бы не было. Единственно, тогда вводные сетевые АВ, АВ ДГУ и секционный АВ были бы всегда замкнуты, и срабатывали бы (размыкались) в аварийном режиме — перегрузке, коротком замыкании на шинах — или ремонтных работах.
cbone
22.09.2016 06:00сколько времени занимает выход дгу на рабочий режим? время от отключения питания сети до включения автоматов дгу? и по каким критериям вы определяете, что пора их включать?
dataline
22.09.2016 11:05— ДГУ выходят на рабочий режим и синхронизируются между собой максимум за 30 секунд.
— АВР ждёт 5 секунд, после чего отдает команду на запуск ДГУ. После этого ждёт ещё 30 секунд (для ввода №1) или 35 секунд (для ввода №2) и после этого переводит нагрузку на ДГУ. Получается, между отключением питания и переходом на ДГУ проходит 35-40 секунд.
— С переключениями питания от ДГУ у нас работает автоматика (АВР).Тут мы полностью исключаем человеческий фактор
artvio
22.09.2016 12:22Хотя «кондиционирование» это не совсем тема электропитания, но не описаны процессы взаимодействия систем электропитания и кондиционирования, в частности при аварийных сценариях (при отключении основного ввода, переходе на ИБП и ДГУ). Если не ошибаюсь, то кондиционирование это примерно добрая половина общей полезной нагрузки ЦОДа.
dataline
22.09.2016 14:13Да, мы сознательно сосредоточились только на маршруте электричества до стойки и не стали рассказывать про, то как запитано инженерное оборудование в дата-центре.
По кондиционерам ситуация следующая: в каждом зале половина кондиционеров запитана через ИБП (бесперебойное питание), остальные – без ИБП (гарантийное питание). Т.е. при пропадании городского питания кондиционеры, запитанные от ИБП, ничего не почувствуют и будут работать и дальше. Остальные подождут 40 секунд до запуска ДГУ и продолжат свою работу от них. Резервирование кондиционеров, производительность второй половины кондиционеров, запас холодного воздуха под фальшполом позволит пережить машинному залу кратковременное отключение кондиционеров безболезненно.
heleo
22.09.2016 16:21Занятно и хорошо написано. Можете пояснить почему выбор пал на ДГУ + ИБП, а не ДДИБП?
dataline
22.09.2016 18:20+1Вариант с ДГУ+ИБП подходил под наши основные критерии: более низкая стоимость владения, технология известная и проверенная не в одном нашем дата-центре, минимальные риски.
occam
28.09.2016 22:11Спасибо, грамотно. Вопросы:
1. Уверенность о независимости вводов подтверждена провайдером или является абстрактным предположением?
2. Был ли выбор между 400 и 440? И если был, то почему выбрали первое, ведь потенциал 440/60 интереснее?
3. Как организовано PE? Надеюсь без уголков :-)))
P0150N
Что за двигатели используються для ДГУ? Судя по фото что-то от большой техники. И сколько времени такой зверь сможет проработать на запасе топлива? К стати каков запас топлива?
dataline
На конкретной картинке — ДГУ SDMO T1900. Также используем и FG Wilson. В зависимости от модели и загрузки дата-центра, 1 ДГУ может проработать от 6 до 12 часов на запасах топливного бака. В нашем последнем дата-центре NORD-4 есть топливохранилище, из которого топливо автоматически поступает в бак работающего ДГУ. Этот дата-центр может автономно проработать более суток.
dataline
Двигатель у SDMO – Mitsubishi
У FG Wilson — Perkins
P0150N
Спасибо. Нашел характеристики двигателя T1900. Расход конечно поражает.