Одна из стоек внутренней виртуализации. Заморочились с цветовой индикацией кабелей: оранжевый обозначает нечетный ввод по питанию, зеленый – четный.
Мы тут чаще всего рассказываем про “крупняк” – чиллеры, ДГУ, ГРЩ. Сегодня речь пойдет о “мелочах” – розетки в стойках, они же Power Distribution Unit (PDU). В наших дата-центрах более 4 тысяч стоек, забитых ИТ-оборудованием, поэтому в деле я видел много всякого: классические PDU, “умные” – с мониторингом и управлением, обычные блоки розеток. Сегодня расскажу, какие PDU бывают и что лучше выбрать в конкретной ситуации.
Какие бывают PDU
Простой блок розеток. Да, тот самый, который живет у каждого дома или в офисе.
Формально это не совсем PDU в смысле промышленного использования в стойках с ИТ-оборудованием, но и эти устройства имеют своих поклонников. Единственный плюс такого решения – дешевизна (стоимость стартует от 2 тыс. руб.). Еще они могут выручить, если используешь открытые стойки, куда стандартный PDU никак не впихнуть, а терять юниты под горизонтальный PDU не хочется. Это снова к вопросу об экономии.
Минусов сильно больше: у таких устройств не всегда есть внутренняя защита от КЗ и перегруза, мониторить показатели и тем более не получится управлять розетками. Чаще всего размещаться они будут внизу стойки. Это не самое удобное положение розеток для расключения оборудования.
В общем, “пилоты” можно использовать, если:
- у вас тысячи серверов и вам нужно сэкономить,
- вы можете себе позволить вслепую подключать оборудование, не понимая, что там происходит с реальным потреблением,
- готовы к downtime оборудования.
Мы такое не используем, но у нас есть клиенты, которые достаточно успешно это практикуют. Правда, они строят инфраструктуру под свои сервисы таким образом, что отказ десятков серверов не сказывается на работоспособности клиентского приложения.
Дешево и сердито.
Вертикальное размещение.
“Тупые” PDU. Собственно, это классический PDU для использования в стойках с ИТ-оборудованием, и это уже хорошо. У них соответствующий форм-фактор для размещения по бокам стойки, за счет чего к ним удобно подключать оборудование. Есть внутренняя защита. Мониторинга у таких PDU нет, а значит, мы не будем знать, какое оборудование сколько потребляет, и что вообще происходит внутри. Таких PDU у нас почти не осталось, и в целом они постепенно уходят из массового использования.
Стоят такие PDU от 25 тыс. рублей.
“Умные” PDU с мониторингом. У этих устройств есть “мозги”, и они умеют отслеживать параметры энергопотребления. Есть дисплей, куда выводятся основные показатели: напряжение, текущий ток и мощность. Отслеживать их можно по отдельным группам розеток: секциям или банкам. К такой PDU можно подключиться удаленно, настроить отправку данных в систему мониторинга. Они пишут логи, по которым можно посмотреть все, что с ней происходило, например, когда именно выключилась PDU.
Еще они умеют считать потребление (кВт*ч) для технического учета, чтобы понимать, сколько стойка потребляет за определенное количество времени.
Это стандартные PDU, которые мы предлагаем своим клиентам в аренду, и таких PDU большинство в наших дата-центрах.
Если будете покупать, приготовьтесь выложить от 75 тыс. рублей за штуку.
График из нашего внутреннего мониторинга PDU.
“Умные” PDU с управлением. К выше описанным умениям у этих PDU добавляется управление. Самые крутые PDU управляют и мониторят каждую розетку: можно включать/выключать, что бывает нужно в ситуациях, когда есть задача удаленно перезагрузить сервер по питанию. В этом и прелесть, и опасность таких PDU: рядовой пользователь по незнанию может зайти в веб-интерфейс, что-то нажать и одним махом перезагрузить/выключить всю систему. Да, система дважды предупредит о последствиях, но практика показывает, что даже алармы не всегда защищают от необдуманных действий пользователя.
Большая проблема “умных” PDU – это перегрев и отказ контроллера и дисплея. PDU обычно устанавливаются на задней части стойки, там, где идет выдув горячего воздуха. Там жарко, и контроллеры не выдерживают. PDU при этом не нужно менять целиком, контроллер можно поменять на горячую.
Ну и по стоимости совсем кусаче – от 120 тыс. рублей.
PDU с управлением можно узнать по индикации под каждой розеткой.
На мой взгляд, функция управления в PDU дело вкуса, а вот мониторинг – это must have. В противном случае, нельзя будет отследить потребление и нагрузку. Почему это важно, расскажу чуть позже.
Как рассчитать нужную мощность PDU?
На первый взгляд, тут все достаточно просто: мощность PDU подбирается в соответствии с мощностью стойки, но есть нюансы. Допустим, вам нужна стойка 10 кВт. Производители PDU предлагают модели на 3, 7, 11, 22 кВт. Выбираете 11 кВт, и, к сожалению, вы будете не правы. Выбрать нам придется 22 кВт. Зачем же нам такой большой запас. Сейчас все объясню.
Во-первых, производители часто указывают мощность PDU в киловаттах, а не в киловольт-амперах, что более правильно, но не очевидно для обывателя.
Иногда производители сами вносят дополнительную путаницу:
Вот тут сначала говорится про 11 кВт,
А в подробном описании речь уже о 11000 VA:
Если вы имеете дело с чайниками и подобными потребителями, то разницы между кВт и кВА не будет. Стойка на 10 кВт с чайниками будет потреблять 10 кВА. А вот если у нас ИТ-оборудование, то там появляется коэффициент (cos ?): чем новее оборудование, тем ближе этот коэффициент к единице. В среднем по больнице для ИТ-оборудования можно брать 0,93–0,95. Поэтому стойка с 10 кВт с ИТ будет потреблять 10,7 кВА. Вот формула, по которой мы получили 10,7 кВА.
Pполн.= Pакт./Cos(?)
10/0.93=10.7 кВА
Ну и вы зададите резонный вопрос, 10,7 – это же меньше 11. Зачем нам ПДУ на 22 кВт? Есть второй момент: уровень электропотребления у оборудования будет меняться в зависимости от времени суток, дня недели. При распределении питания нужно учитывать этот момент и закладывать ~10% на колебания и скачки, чтобы в момент повышения потребления PDU не ушли в перегруз и не оставили без питания оборудование.
График потребления стойки 10 кВт за 4 дня.
Получается, что к имеющимся у нас 10,7 кВт мы должны прибавить еще 10%, и в итоге ПДУ под 11 кВт нам уже не подходит.
| Модель ПДУ |
Фазность |
Мощность производителя, кВА |
Мощность DtLN, кВт |
| AP8858 |
1 ф |
3,7 |
3 |
| AP8853 |
1 ф |
7,4 |
6 |
| AP8881 |
3 ф |
11 |
9 |
| AP8886 |
3 ф |
22 |
18 |
Фрагмент таблицы мощности конкретных моделей PDU по версии DataLine. С учетом перевода из кВа в кВт и запаса на скачки в течение суток.
Особенности монтажа
Удобнее всего работать с PDU, когда она крепится вертикально, слева и справа стойки. В этом случае она не занимает полезного пространства. Штатно в стойку можно установить до четырех PDU — два слева и два справа. Чаще всего ставят по одной PDU с каждой стороны. На каждую PDU приходит по одному вводу питания.
Стандартный “обвес” стойки — 2 PDU и 1 АВР.
Иногда в стойке нет места под вертикальные PDU, например, если это открытая стойка. Тогда на помощь приходят горизонтальные PDU. Единственное — в этом случае придется смириться с потерей от 2 до 4 юнитов в стойке в зависимости от модели PDU.
Здесь PDU съела 4 юнита. Такой тип PDU также используется, когда нужно разграничить двух клиентов в одной стойке. В этом случае у каждого клиента будет отдельная пара PDU.
Бывает, что стойку выбрали недостаточно глубокую, и сервер торчит, перекрывая PDU. Здесь самое печальное не то, что часть розеток будет простаивать, а то, что если такая PDU сломается, то придется ее похоронить прямо в стойке, или же отключать и вытаскивать все мешающее оборудование.
Не делайте так — 1.
Не делайте так — 2.
Подключение оборудования
Даже самая навороченная PDU не поможет, если оборудование подключено неправильно и нет возможности мониторить потребление.
Что может пойти не так? Немного матчасти. На каждую стойку приходят два ввода питания, в стандартной стойке два PDU. Получается, у каждого PDU свой ввод. Если с одним из вводов (читай PDU) что-то происходит, то стойка продолжает жить на втором. Чтобы эта схема работала, нужно соблюдать некоторые правила. Вот основные (полный список найдете здесь):
Оборудование должно быть подключено в разные PDU. Если у оборудования один блок питания и одна вилка, то к PDU оно подключается через АВР (устройство автоматического ввода резерва), или ATS (Automatic Transfer Switch). В случае неполадок с одним из вводов или самим PDU, АВР переключает оборудование на здоровое PDU/ввод. Оборудование ничего не почувствует.
Парная нагрузка на двух вводах/PDU. Резервный ввод спасет, только если он выдержит нагрузку упавшего ввода. Для этого нужно оставлять запас: загружать каждый ввод меньше чем наполовину от номинальной мощности, а суммарная нагрузка на двух вводах была менее 100 % от номинала. Только в этом случае оставшийся ввод выдержит двойную нагрузку. Если у вас не так, то фокус с переключением на резерв не состоится — оборудование останется без питания. Чтобы не допустить самого страшного, мы мониторим этот параметр.
Балансировка нагрузки между секциями PDU. Розетки PDU объединены в группы — секции. Обычно из 2 или 3 штуки. У каждой секции свой лимит по мощности. Важно не превышать его и распределять нагрузку равномерно по всем секциям. Ну и тут также работает история с парными нагрузками, про которую говорили выше.
Подытожу
- По возможности выбирайте PDU c функцией мониторинга.
- При выборе модели PDU оставляйте запас по мощности.
- Монтируйте PDU так, чтобы была возможность заменить его, не беспокоя ИТ-оборудование.
- Подключайте правильно: подключайте оборудование к двум PDU, не перегружайте секции и помните о парных нагрузках.
Комментарии (33)
vr_17
17.10.2019 11:34Смотрю я на ваши оранжевые и зеленые кабели и недоумеваю. Зачем цветовая дифференциация
штановесли маркировки все равно нет? Как нет её и на фотографиях где все кабели черные и в горизонтальных розеточных блоках. Особенно при использовании «умных PDU» актуально. Переставит монтажник питание, а ребутить будут по описанию в вэб-интерфейсе…
Конечно, в определенных условиях нет разницы куда чей кабель включен, главное чтоб разные лучи электропитания на один девайс и длина не способствовала зарождению макаронного монстра. Но все-таки как-то не аккуратненько. Везде где приходится что-то ставить все кабели на блоках распределения ЭП стараюсь подписывать на ярлычках разного цвета (по группам железа).Alexddropp Автор
17.10.2019 12:06По опыту могу сказать, что цветовой дифференциации кабелей питания вполне достаточно. Под фальшполом у нас силовые линии к стойки подходят тоже оранжевые и зеленые. Подписывать каждый кабель – это избыточно.
Представьте, что вы проводите регламентные работы по 1 лучу. Вам даже не надо задумываться и вы точно знаете, какие провода вам надо отключить, какую «грушу» под фальшполом отключить и с какой ПДУ работать.
Кстати, некоторые производители предлагают цветные PDU. Гляньте, какая красота)
JerleShannara
17.10.2019 18:21Без маркировки кабелей иногда фигово. Аудит к примеру превратится в настоящий АД, когда аудиторы будут проверять истинность чего-то типа «Ряд 4, Стойка 8, Юнит 15, два ввода, первый в левый PDU в розетку 15, второй в правый в розетку 11». Ну а если это будет личность(тм) не обременённая мозгами или гнездо/кабель будут с не очень хорошей фиксацией или контактом, то вы сможете на практике проверить резервирование блоков питания и работу АВРа. Плюс при замене PDU не удобно будет, а так прочитал на бирке что-то типа «U12_PDU1_SOKET3» и уже знаешь, кто, откуда и куда точно его надо подключить.
Zzzz9
17.10.2019 12:37Что-то не пойму связи 11000 Вт и мах тока 16 А, там что 600 В?, или просто цифры китайские?
И сильно сомневаюсь, что вилка штепсельная потянет 50 А (Если все таки в розетке на фазе 220 В)Alexddropp Автор
17.10.2019 13:10Если вы про скриншот, то обратите внимание на то, что для примера мы взяли 3-х фазную PDU.
Мощность можно посчитать по формуле 400В * 16А * 1.73 = 11 кВА
PDU, как мы писали в статье, разделяются на секции и как правило каждая секция — это 16 А. На ПДУ может быть 2 секции, а может и 6 секций по 16А.
В зависимости от требуемой мощности подбирается PDU, силовой разъем, кабель нужного сечения и автоматический выключатель требуемого номинала.
navion
17.10.2019 13:00Бывает, что стойку выбрали недостаточно глубокую, и сервер торчит, перекрывая PDU.
Ещё некоторые серверы выдвигаются назад и там тоже пропадёт часть розеток:
Supermicro TwinPro
Alexddropp Автор
17.10.2019 13:07В таком случае лучше использовать более широкие стойки 750мм. А то будет очень неприятно, если сервер упрется в розетку и придется обесточить какое-нибудь устройство.
DaemonGloom
17.10.2019 13:13А бывают минимальные PDU с управлением устройств на 6-8, например? Для совсем мелких стоек или для частных домов, чтобы можно было перезагрузить тупое оборудование (и, в идеале, узнать его потребление).
Alexddropp Автор
17.10.2019 13:28Мы больше про стойки и большое кол-во розеток. Если спуститься к бытовому сектору, то я бы посмотрел в сторону умного дома. Устройства на рынке масса, от Китая до отечественного производства. Тестировали мы как-то вот такую штуку, которую производители позиционируют в том числе и для использования дома.
JerleShannara
17.10.2019 18:27Минимум, который видел — 10 гнёзд. И там да, с мониторингом и управлением есть. Для дома — посмотрите на барахолках остатки продукции фирмы Avocent, контора уже давно трижды перепродана, поддержки нет и по этому её девайсы можно купить недорого. В частности посмотрите на PM3000 серию. Ну а если индивидуально мониторить не надо и хватит общего потребления, плюс вас устроит то, что это надо делать через RS232 COM порт — посмотрите на Avocent Cyclades PDU. Если же вы готовы пойти по принципу «ну ладно, по одному девайсу на девайс» — посмотрите на младшие SNR-ERD, кроме опции включить/выключить, они ещё умеют мониторить нагрузку (но не измерять потребление) путём её пингования. Если пинг пропал — то передёрнет питание автоматом. По практике — работает годами и не выносит мозг.
CherryPah
18.10.2019 17:28У меня валяется 19 дюймовое решение от gsmrozetka.ru на 8 выходов
Мониторинга нагрузки там вроде нет, но управлять каждой розеткой можно отправляя СМСки на симку вставленную в эту PDU. Вроде как и она сама может смсить при авариях и даже какие-то скрипты можно написать. Сам этим функционалом правда не пользовался, ориентироваться могу только по информации с их сайта
Простейший пример применения: Если температура в серверной превысит 40 градусов — выключить нагрузку (на нужных каналах) и включить дополнительный кондиционер (на других, нужных каналах управления нагрузкой)
Покупалась под один конкретный случай — нужно было погасить сервера «по звонку» Со своей задачей справилась, с тех пор пылится на складе
tbl
17.10.2019 22:51Почему до сих пор не сделают так, что до серверов в стойке отводится сразу 12В с полки PSU, работающих в параллелку? Сразу же можно убрать жгуты проводов с толстой изоляцией, да и в серверах освободится доп.место и облегчится их температурный режим. Ну и все, что связано с высоким напряжением, локализовано только на одном уровне стойки, а не размазано на всю высоту по ней.
JerleShannara
17.10.2019 23:39Потому что закон Ома. Провода имеют вполне себе сопротивление. При протекании тока на этом сопротивлении падает напряжение. Чем больше ток, тем сильнее падение. Да и сам провод нагревается, энергию ведь можно только перевести из одного вида в другой, но не уничтожить. Ну а теперь пара задачек:
Стойка потребляет 5 КВт. Какой ток будет, если:
1) Оборудование питается от 220В
2) Оборудование питается от 120В
3) Оборудование питается от 48В (это кстати один из стандартов)
4) Оборудование питается от 12В (ваше предложение)
Ну и вторым вопросом — какой диаметр проводника будет нужен для передачи этого тока на расстояние 2 метра, чтобы оный проводник не обжигал руки при прикосновении и не плавил свою изоляцию. Материал проводника — электротехническая медь.tbl
18.10.2019 11:57Так можно пару медных шин достаточной толщины пустить сверху вниз по стенке стойки. Ну а так, да, согласен, что 48в — это получше вариант
Alexddropp Автор
18.10.2019 10:36На самом деле лидеры рынка корпоративных цодов задумались об этой проблеме уже с десяток лет назад и в рамках инициативы Open Compute Project поддержали стандарт Open Rack. В серверах отсутствуют блоки питания. Постоянное напряжение внутри стойки распределялось по шинопроводу.
Есть тут неоспоримые плюсы и очевидные минусы. Фейсбук и Гугл кстати до сих пор использует такую систему распределения питания в некоторых своих ЦОДах
Нам тоже частенько приходится поработать с постоянным напряжением 48 В.
Телеком нуждается в прямом подключении постоянки. Обычно это сразу десяток подводов, большое сечение и специальные автоматы для постоянного тока.
shep
18.10.2019 07:19Было бы интересно посмотреть как вы сервис процессор или правый БП меняете в нетаппе из первой стойки "виртуализации".
Вообще на КПДВ фото с адом для перфекциониста.
Alexddropp Автор
18.10.2019 11:54При таком подключении можно прекрасно обслужить и сервер, и все его компонетны. Приходите к нам на экскурсию, все покажем;)
borishoz
18.10.2019 12:07Самые умные PDU могут измерять ток в каждой розетке?
Alexddropp Автор
18.10.2019 15:18+1Если не привязываться к конкретным моделям, то на рынке есть PDU которые измеряют все основные параметры питания по каждой розетке. Вы можете мониторить потребление каждого сервера. Так же существуют интересные функции приоритета. При превышении питания PDU отключит неприоритетные нагрузки дабы сохранить критикал сервисы (сомнительно, но интересно).
Скрин «старенькой» ПДУ с управлением каждой розеткой.
borishoz
18.10.2019 15:24Спасибо. Какова обычная погрешность измерения тока?
Alexddropp Автор
18.10.2019 16:08Несущественна для технического учета.
borishoz
18.10.2019 16:11То есть, она не нормирована в принципе? Вроде как, это не прибор, а индикатор? Без издевки, просто хочется разобраться.
Alexddropp Автор
18.10.2019 17:42Как вы могли заметить, мы старались не привязываться к конкретной модели PDU, те что на фото не умеют «считать » амперы по каждой розетки. Но в эксплуатации мне удалось поиграться с подобными PDU от других производителей, и там можно было настраивать порог срабатывания до сотых долей. То есть погрешность в пару Ватт
router
19.10.2019 09:40Как вы относитесь к такому подключению с сошедшей изоляцией
Является ли это нарушением регламентов/нормативов элекробезопасности или ЦОД?
(4е фото в вашем посте)Alexddropp Автор
19.10.2019 10:52да, это нарушает наши внутренние регламенты. Обычно такие моменты, как и неправильно подключенное оборудование, фиксируются во время ежедневных обходов. Если это клиентская стойка, то клиентам пишут и настоятельно просят устранить нарушения. По правилам мы не можем исправлять это сами без согласия клиента. Ну и иногда приходится «настоятельно просить» клиента не один раз;)
NAI
Как происходит расчет потребления стойки?
Берете по мощности всех БП или же есть какая-то своя статистика? Т.е. вот сервер в нем 2х500Вт БП, с одной стороны больше чем 500 Вт он потреблять не будет, с другой, не во всех серверах есть оборудование которое реально будет требовать столько мощности. Мы замеряли, по факту наш сервер ел под нагрузкой не более 170-200 Вт, в простое еще меньше.
Alexddropp Автор
Иногда заказчик сам уже все посчитал и заказал стойкую определенной мощности.
Другой случай, когда заказчик сомневается и просит нас помочь с расчетами. Можно пойти таким путем: сложить мощность всех блоков питания оборудования по 1 лучу, умножить на 0.7, и вы получите приблизительно реальную нагрузку вашей стойки. Не забудьте сверху заложить запас 10%, а лучше 20.Все это справедливо для большого объёма разношерстного оборудование
На рынке много оборудования которые кушают столько, сколько может дать блок питания (майнеры вы где?)
А бывает, что сервер с двумя блоками питания по 500 Вт в нормальном режиме может кушать больше чем 500 Вт, а в аварийном умерит свой пыл и будет питаться от одного БП.
А вообще можно всегда запросить информацию у производителя и он любезно предоставить среднюю и максимальную мощность конкретного оборудования.