Для работы любой серверной стойки в дата-центре необходимо электричество. Даже короткий сбой электроснабжения стоечного оборудования расценивается как серьезная авария, приводящая к отказу основных сервисов. Поэтому мониторинг напряжения в стойках так важен и операторы дата-центров уделяют ему значительное внимание.

Меня зовут Антон Бондарь, я работаю старшим инженером по эксплуатации в московском дата-центре Selectel — «Берзарина». Кстати, недавно этот ДЦ получил звание «ЦОД года» на премии ЦОДы.рф. В этом тексте я расскажу, как мы собираем данные по стойкам и почему решили установить для этого беспроводные датчики напряжения.

Как мы мониторили напряжение в стойках раньше

Ранее в ДЦ «Берзарина» для контроля наличия напряжения в стойках мы использовали «сухие» контакты положения вводных автоматов стоек. «Сухие» контакты использовались для серверной, в которой каждый ввод ряда стоек был подключен от своего распределительного щита. Все автоматические выключатели питания стоек находились рядом, и дополнительные контакты было просто обвязать и завести на модуль ввода.

Такое решение давало понять, находится ли автомат стойки во включенном положении или он по какой-то причине отключился.

В подходе были минусы:

• Не фиксировалось наличие или отсутствие напряжения в стойках. Если оно пропадало по причине, не зависящей от автомата стойки, мы не видели этого на мониторинге.
• Такая схема не давала данных по потреблению стоек. А значит, не могла служить инструментом для оценки загрузки стоек и предупреждению перегрузок.
• Схема не подходила для новой серверной. Распределение электроэнергии в ней осуществляется по шинопроводам и каждая стойка имела свой отдельный отводной бокс.

Так мы поняли, что нам нужен другой способ мониторинга потребления в стойках.

Выбор новых девайсов для мониторинга стоек

Для реализации новой схемы мониторинга электроснабжения стоек мы начали тестировать различные устройства с трансформаторами тока (ТТ).

Требования к выбираемым девайсам были такими:

• возможность мониторинга напряжения и токов для контроля загрузки стоек и возможности предупреждения перегрузки по вводам;
• простота монтажа, подключения и настройки устройств.

Основным минусом большинства устройств было то, что подключение каждого ТТ требовало протяжения провода до стойки. Для крупной серверной со стойками, подключенными от шинопроводов, количество проводов становилось внушительным.

Почему нам так не нравилась история с проводами?

Долго и сложно. Даже без точных расчетов потребовалось бы более 10 км провода и бесчисленные человекочасы на монтаж.

Нужны дополнительные лотки под фальшполом. Провода нужно куда-то прятать, а загромождать пространство под фальшполом не очень хотелось. Это могло ухудшить эффективность охлаждения: каждый дополнительным элемент под фальшполом создает дополнительное сопротивление воздуху и негативно влияет на распределение воздушных потоков.

Неэкологично. Производство меди и изоляции проводов вредят нашей планете.

Безусловно, проводное подключение менее подвержено помехам от внешних воздействий, поэтому работает более стабильно. Такой вариант был бы удобен для сборки в небольшом щите, но нам нужно было подключаться от шинопровода.

Параметры серверной ДЦ «Берзарина», третий этаж:

→ Серверная на 440 стоек мощностью от 3 до 25 кВа;
→ Шинопроводы Schneider Electric Canalis в качестве распределителей электроэнергии под фальшполом;
→ Охлаждение серверной по схеме чиллер-фанкойл с холодным фальшполом.


Точки подключения потребителей питания (серверных стоек) разнесены на большее расстояние, чем в случае подключения от распределительных щитов. Так как в качестве распределителя энергии у нас шинопровод, приборы учета нельзя скомпоновать в одном месте.

В результате поисков мы выбрали модули беспроводной связи и датчики энергии от зарубежного поставщика. Намеренно не будем называть его в тексте, так как не хотим делать ему лишней рекламы. Подходящего беспроводного аналога на российском рынке не было. Выбранные устройства заинтересовали простым способом подключения, отсутствием проводов и понятным интерфейсом.

Для работы необходимо было смонтировать модуль беспроводной связи (головное устройство) и беспроводные датчики энергии на «автоматы» стоек, расположенные в отводных боксах шинопроводов. Важно, что беспроводные датчики получают питание от автомата, на который монтируются. А значит, у нас нет проблем с заменой батареек и нет необходимости заморачиваться с подключением питания датчиков.

Параметры девайсов

Модуль связи (слева) и датчики (справа)

Модуль связи

• Габариты: 85х54х67 мм,
• Монтаж: на DIN-рейку,
• Среда передачи данных: радиочастота 2,4…2,4835 ГГц,
• Обмен данными: Ethernet Modbus.

Датчики

• Способ монтажа: на контакт автоматического выключателя,
• Максимальный ток: 63 A,
• Возможность монтажа на кабель до 16мм²,
• Тип измерения: напряжение, коэффициент мощности, активная энергия, ток, активная мощность.

Подводным камнем устройства было назначение, указанное в характеристиках, — «Распределительный шкаф». Это значит, что передача данных от датчика до модуля связи происходит внутри одного силового щита на расстояние в несколько метров.
Нам же требовалась передача данных на расстояние до 10 метров под фальшполом.

Тестовая установка

Для испытания реальной дальности передачи данных собрали тестовый стенд с датчиками и модулем связи, установили под фальшпол на шинопровод.

Датчики и модуль связи удобно монтировать в отводные боксы шинопровода.

Модуль связи размещен в отводном боксе 32A шинопровода Canalis.


Однофазные и трехфазные датчики смонтированы в отводные боксы.

Уровень сигнала отображается в веб-интерфейсе устройства.

В результате тестов мы выяснили, что датчики стабильно работают на дистанции до 15 метров при отсутствии серьезных физических препятствий для сигнала — стены, стойки и т.д. При размещении под фальшполом таких препятствий не было.

Тест закончился успехом: такой дальности передачи сигнала было достаточно для мониторинга стоек.

Установка первой партии датчиков

Перед монтажом модулей связи подготовили план расстановки устройств по рядам стоек (см. рисунок ниже). Важно было разнести их по серверной с учетом распределения частот. Диапазон частоты модулей связи составляет от 2,4 до 2,4835 ГГц, но в данном диапазоне модули связи имеют всего 26 каналов передачи данных.

План серверной с размеченными точками установки устройств и зонами покрытия.

Для первой установки мы закупили 200 беспроводных датчиков и модули связи двух типов: на 20 и на 100 датчиков

Поскольку это была скорее пилотная версия, первые датчики мы закупили не на всю серверную, а только для четырех рядов.

Также при первой установке мы планировали сделать резервирование питания модулей связи по двум вводам. Это было необходимо для точного отображения состояния стоек в мониторинге при отключении одного из вводов ряда стоек. Для резервирования использовали простую схему АВР с контактором, установленным в отводной бокс шинопровода.

На фото модуль связи и контактор, используемый для резервирования питания, смонтированы в отводные боксы и установлены на два шинопровода ряда стоек.

В результате пробной установки мы выполнили ряд задач и лучше поняли, что нам нужно.

Во-первых, смогли вывести сигналы с датчиков на нашу SCADA-систему и добавили триггер для получения уведомлений в alarm_chat. Это такой внутренний чат инженеров дата-центров, куда приходят уведомления о любых отклонениях в работе систем.

Отображение автоматического сигнала о потере и восстановлении питания ввода стойки в чате.

Во-вторых, проанализировали работу датчиков и головных устройств. Поняли, что нам нужны только модули связи на 20 датчиков. Модули связи на 100 датчиков часто зависали при продолжительной работе с покрытием большой площади.

При пилотной установке пользовались мониторингом SCADA, выделив четыре состояния ввода в стойке: серый — стойка не активирована, зеленый — питание на вводе стойки есть, красный — питания нет, оранжевый — потеря связи с датчиком либо модулем связи.

Полное оснащение серверной датчиками

Итак, мы выбрали модули связи на 20 датчиков. При новом варианте размещения каждый модуль отвечал за группу стоек и только один ввод, от которого был подключен. Это позволяло нам устанавливать модули, не резервируя их питание.

Перед монтажом мы вновь подготовили:

• план расстановки модулей связи,
• таблицу распределения датчиков по модулям связи и стойкам — в ней отразили параметры, необходимые для монтажа и настройки.

В таблице распределения датчиков при установке указывали:

• номера стоек,
• фазировку и номиналы,
• маркировку датчиков и RFID (Radio Frequency IDentification, или радиочастотная идентификация),
• Modbus-адреса.

Это было важно для корректной установки датчиков.

Далее мы перешли к полному оснащению серверной беспроводными датчиками, чтобы завести все стойки в мониторинг электроснабжения. Вся информация по распределению устройств была в таблице Exсel. Пока мы монтировали датчики в отводные боксы стоек, отрисовали схему для мониторинга. После завершения работы вывели новую схему на мониторинг в SCADA, а также в Grafana и Racks — нашу самописную DCIM-систему.

Отображение состояния стоек в SCADA.

Интеграция с DCIM-системой Racks

Как я уже писал, постоечный мониторинг электроснабжения помогает контролировать загрузку стоек по мощности и предупреждать перегрузки.

Отслеживание перегрузок важно для резервирования питания, поскольку при пропадании, например, первого ввода стойки вся ее нагрузка перейдет на второй ввод. А в случае перегрузки выше проектной мощности произойдет полное отключение IT-оборудования. Именно для защиты от таких аварий мы уделяем столько внимания правильному распределению нагрузки в стойках.

В Selectel для отслеживания загруженности стоек мы используем Racks.



Что мы можем узнать о стойке по схеме:

• Где она расположена в серверной,
• К какому проекту относится,
• Какие есть данные по загрузке стоек и распределению мощности.

По цвету стойки можно также сделать вывод о ее загруженности относительно своей проектной мощности.

В случае выявления перегруженного ввода стойки мы предпринимаем меры по распределению нагрузки. Перемещаем оборудование под собственные сервисы Selectel в соседние свободные стойки либо, если стойка арендована клиентом, даем рекомендации по правильному распределению нагрузки. Обычно это решается распределением серверов по большему количеству стоек.

Про минусы системы

За год использования основным минусом системы с беспроводными датчикам стало, пусть редкое, но зависание. Зависает головное устройство беспроводных датчиков, из чего следует недоступность веб-интерфейса устройства, а в дальнейшем — полная потеря связи с устройством по сети.

На данный момент подвисание «лечится» обновлением прошивки девайсов. А для своевременного выявления зависших устройств мы добавили отдельный аларм, сигнализирующий о потери связи. Также общаемся со специалистами компании-поставщика, чтобы решить проблему с зависанием полностью.

Планы

На данный момент такой мониторинг по загруженности стоек по мощности — это особенность серверной в московском дата-центре «Берзарина». Проект мы хотим масштабировать на другие серверные в Москве и дата-центры в Санкт-Петербурге. Сделаем это, как только наладятся поставки импортного оборудования или если найдем подходящие по функциям датчики российского производства.

Если вам интересна тема систем дата-центров, читайте другие наши тексты:

→ DCIM-платформа Racks: почему мы отказались от энтерпрайз-решения в пользу самописного приложения
→ Piller CPM300: зачем мы устанавливаем новые динамические ИБП
→ Облачный Узбекистан: как мы запускали новый удаленный регион облака