Мы решили вернуться к теме мониторинга ЦОД, но уже с другого ракурса. У телеком-компаний, живущих на рынке два-три десятка лет, набирается хорошая коллекция разного оборудования в автозалах, трансмиссионных узлах и базовых станциях. Все они оснащены, как правило, встроенными средствами мониторинга, но возникает проблема увязывания большого числа разных систем и интерфейсов.

Конечно, в идеальном случае нужно строить единую систему мониторинга, и в статье «Огонь, вода и всякие трубы: от чего защищает ЦОД система мониторинга» мы как раз рассказали о таком решении. К сожалению, в реальности все бывает иначе. В автозалах используются стойки с разным оборудованием и питанием (постоянный или переменный ток), своими интерфейсами мониторинга, со сложным регламентом согласования работ. Стойку чаще всего нельзя даже выключить на несколько минут, не говоря уже о том, чтобы вмешаться в ее конструкцию.

Как быть в таких ситуациях? Как обеспечить надежную работу оборудования, не «влезая» внутрь стойки? Как попытаться при этом еще и сэкономить, оптимизируя энергопотребление и PUE (Power Usage Efficiency)? В статье мы как раз расскажем о подобном неинвазивном решении на основе автозала телекоммуникационной компании в Санкт-Петербурге, которое сделал интегратор ЦОДУМ.

Дополнительные фото

Задачи

У телекоммуникационной компании большое количество автозалов — они имеют гетерогенную структуру с разными системами мониторинга. Интегратору была поставлена задача продемонстрировать возможность мониторинга энергоэффективности в автозале, где часть нагрузки запитана по постоянному току. В качестве пилота была сделана система мониторинга в одном автозале в Санкт-Петербурге. 

Дополнительное условие — решение должно было быть неинвазивным, то есть внедрение не должно никак влиять на работу автозала ни на каком этапе. Тут вопрос не только в бесперебойности работы оборудования самого автозала, но и в защите от злоумышленников: контур системы мониторинга отделен от основных систем автозала.

Задача усложнялась тем, что у телекоммуникационной компании в автозале используется большое количество оборудования с питанием постоянным током. Его мониторинг тоже выполняется.

Система мониторинга — это «глаза» сервисных инженеров, чтобы они «видели» все процессы, проходящие в инженерной инфраструктуре автозала, изменения параметров его микроклимата. Это позволяет им быстро принимать правильные решения, и тем самым гарантировать бесперебойную работу оборудования. А персоналу автозала система мониторинга энергоэффективности должна была предоставить данные, позволяющие оценить, как сказываются на PUE их действия по изменению инженерной инфраструктуры автозала и изменению режимов ее работы.

Решение

Все начинается с датчиков, информацию от которых использует система мониторинга. Можно выделить три основных типа датчиков:

• температуры воздуха в холодных и горячих коридорах;

• наличия и качества электроэнергии на вводах, на групповых линиях питания стоек, климатического оборудования;

• датчики потребляемого тока.

Мы посетили автозал, чтобы ознакомиться с устройствами, которые входят в систему мониторинга. Для охлаждения здесь установлены кондиционеры, между стойками чередуются горячие и холодные коридоры. Сделан фальш-пол, через который идет приток воздуха от кондиционеров в холодные коридоры. В горячих коридорах воздух забирается сверху.

В горячих и холодных коридорах установлены три датчика температуры WB-MS v.2 на коридор на мостиках выше стоек. На каждую стойку сверху установлен датчик 1-WIRE DS18B20.

В главном щите мониторинга установлены контроллер Wiren Board, счетчики электричества WB-MAP3E и WB-MAP12E, модули аналогового ввода WB-MAI6 для контроля потребления нагрузок постоянного тока. В выносных щитах вблизи оборудования автозала установлены  счетчики электричества и модули WB-M1W2 для датчиков 1-WIRE. Подключение оборудования  к контроллеру осуществляется по протоколу Modbus.

Дополнительные фото

Для учета постоянного тока в автозале используют датчики на основе эффекта Холла, которые устанавливаются на питающие кабели. Они преобразуют измеряемый ток в пропорционально изменяемое напряжение, которое измеряется с помощью WB-MAI6.

На вводные кабели автозала, кабели питания стоек и климатического оборудования переменным током подключены трансформаторы тока, информация с которых обрабатывается счетчиками электричества WB-MAP3E и WB-MAP12E.

Интегратор выбрал разъемные трансформаторы тока и датчики Холла, которые позволили подключиться к вводам без выключения оборудования дата-центра.

Дашборд мониторинга

Выше мы рассмотрели аппаратную составляющую системы мониторинга. Теперь перейдем к программной части системы мониторинга Smart DCIM. Система гибкая, полностью настраивается под требования заказчика. Например, цвета тепловой карты устанавливают в соответствии с пожеланием заказчика: если 30 градусов критично, эти области будут показаны красным.

Дополнительные фото

Улучшение PUE

Начнем с того, что система мониторинга — это инструмент в руках аналитика, позволяющий оценивать с точки зрения надежности и энергоэффективности, к чему приведут те или иные действия. В идеальном случае коэффициент PUE = 1, однако он, как и все идеальное, недостижим. Система мониторинга позволяет оценивать каждое действие в контексте изменения PUE. Здесь даже десятые процентов имеют значения, поскольку счета за электроэнергию в ЦОД очень большие.

Например, в рамках пилота были проведены следующие исследования.

• Оптимизация кондиционеров. Что будет, если на улице станет жарко или в автозал будет добавлено новое оборудование? Как это скажется на PUE? Как скажется на потреблении оборудования? Есть ли запас прочности? 

• Оптимизация воздухораспределения. Как более грамотно направить потоки воздуха и расположить вентиляционные решетки, чтобы эффективнее охлаждать и поднять PUE?

• Планирование мощностей и затрат. Корректная оценка стоимости подключения нового оборудования, которая показывает, например, что электричества для него нужно почти в полтора раза больше, чем его фактическое потребление (КПД преобразователей, мощность на охлаждение…). Да и просто оценить тренд загруженности. Не подошли ли мы к максимально возможному уровню потребления? Что будет примерно через год?

К сожалению, мы не можем рассказать все подробности, но применение данных системы мониторинга позволило персоналу автозала улучшить PUE на несколько десятых.

Заключение

В статье мы рассмотрели решение мониторинга, которое можно установить в любой дата-центр неинвазивным способом. Здесь не требуется интеграция «зоопарка» контроллеров в систему по SNMP или Modbus, которая по ряду причин не всегда возможна. Поскольку система мониторинга отделена от всего остального оборудования, то ее взлом не позволит злоумышленникам внести какие-либо изменения в функционирование автозала. 

Установка максимально упрощена: по дата-центру распределяют датчики температуры, на вводы автозала, стоек и оборудования устанавливают токоснимающие трансформаторы (переменный ток) или датчики Холла (постоянный ток). Контроллер Wiren Board отвечает за сбор информации с датчиков и передает ее на сервер мониторинга. 

За остальную часть отвечает система мониторинга Smart DCIM, которая обрабатывает данные и предоставляет различные отчеты. Она же обеспечивает рабочие места дежурного смены, энергетика, специалистов по климату и безопасности. Конечно, ответственным лицам приходят оповещения в случае инцидентов.

В качестве бонуса системы мониторинга — улучшение коэффициента энергоэффективности PUE. Аналитик получает в руки инструмент, позволяющий оценивать те или иные действия с точки зрения эффективности. Даже десятые доли здесь имеют значение, поскольку счета за электричество автозала весьма велики.

Наконец, благодаря типовому решению на контроллере Wiren Board и датчиках его можно легко масштабировать под конкретный автозал.