Многие организации сталкиваются с тем, что устаревшие ЦОД оказывается сложно контролировать, а энергопотребление неэффективных систем становится слишком дорогим. В этом посте мы расскажем о проекте в Национальном университете Тайваня, где модернизация инженерных систем ЦОД позволила достичь одновременно и энергоэкономии, и повышения надежности инфраструктуры в целом. Подробности – под катом.
![](https://habrastorage.org/webt/u7/zk/-h/u7zk-hbaslcqjwvtbnjbm-q1dro.png)
Как и многие университеты во всем мире, тайваньский NUU постепенно наращивал свою серверную инфраструктуру и в недавнем прошлом «уперся» в пределы доступной электрической мощности, а также столкнулся с проблемой высоких затрат на электроснабжение. Оказалось, что организация тратит от 20 до 30 % электроэнергии именно в своем центре обработки данных, что серьезно подрывало финансовые возможности университета.
Сложившаяся ситуация стала предпосылкой для анализа состояния ЦОД, который выявил сразу ряд проблем:
Во-первых структурированная кабельная сеть оказалась не такой уж структурированной. Отсутствие четких и надежных подключений часто становилось причиной перебоев в предоставлении сервисов конечным пользователям.
![](https://habrastorage.org/webt/_6/px/bi/_6pxbikodnehof2v_mhspeebkd8.png)
Во-вторых, значительная часть потребления электроэнергии приходилась отнюдь не на ИТ-оборудование. Параметр PUE (Power Usage Effectiveness), который определяется как отношение всего энергопотребления к фактическому потреблению ИТ-систем, составлял почти 3! Репутацию ЦОД спасала лишь одна сотая – фактическое PUE было определено на уровне 2,99. Это значит, что на каждый полезный киловатт*час приходилось еще 2 кВт*ч энергии, потраченной на охлаждение, вентиляцию и потерянной в электрических сетях, трансформаторах и ИБП.
Модернизация оборудования
Чтобы помочь NUU привести свой ЦОД в порядок и снизить уровень PUE, мы предложили стратегию, состоящую из шести шагов:
- Перераспределение серверных нагрузок по существующему помещению.
- Упорядочивание кабельного хозяйства для повышения надежности и уменьшения препятствий для прохождения воздуха.
- Использование специальных стоек с перфорированными стенками для организации «горячих» и «холодных» коридоров.
- Использование рядных кондиционеров RowCool, которые обеспечивают более оптимальное движение воздуха.
- Установка высокоэффективных кабинетов распределения питания, способных минимизировать потери и выравнивать нагрузку.
- А также применение модульных ИБП с высоким уровнем КПД до 96 % и низкими потерями.
![](https://habrastorage.org/webt/se/dk/si/sedksixo1aeytvg7y4yubzzvyvc.png)
Как вы можете видеть на схеме, NUU удалось разместить все оборудование так, чтобы не только организовать «горячие» и «холодные» коридоры, но даже выделить дополнительное место для размещения нагрузок в будущем.
![](https://habrastorage.org/webt/u1/ut/uh/u1utuh74oir1w4tjrrxvyeolsm8.png)
Чтобы не мешать движению воздуха, не создавать дополнительного нагрева в серверной и не занимать место, которое можно использовать для эффективного размещения серверов, ИБП, зарезервированные по схеме 1+1, были вынесены в отдельное помещение.
![](https://habrastorage.org/webt/wh/mz/aq/whmzaq9siqzjy3bafenvysyyjek.png)
Вот так выглядит теперь кабельная инфраструктура в NUU. Благодаря упорядочиванию кабелей в стойках, а также дополнительным лоткам для монтажа СКС удалось гарантировать надежное (а иногда даже резервное) подключение серверов.
PUE 1,6 и решения Delta
После всех модернизаций уровень PUE снизился с 2,99 до 1,6, так что инженерное оборудование стало потреблять не 200 % энергии от ИТ-систем, а только 60 %. Такой подход позволил университету экономить почти $135 000 долларов США в год, а также обеспечить запас мощности для установки как минимум такого же объема оборудования на будущее. То есть теперь ЦОД можно удвоить без подведения дополнительного электропитания!
![](https://habrastorage.org/webt/fb/3m/ot/fb3motslo8kxbqwzaynzpgrpu48.png)
Таких результатов удалось достичь за счет использования следующих решений Delta Electronics:
- Кабинеты распределения питания Delta PDC позволяют распределять нагрузку между стойками, переключать ее на разные фазы (в случае наличия трехфазного питания) и помогают администраторам следить за изменениями в профилях энергопотребления разных компонентов.
- Модульные ИБП серии Modulon DPH демонстрируют КПД 96 % при половинной нагрузке и снижают уровень потерь при преобразовании электроэнергии. Одновременно с этим емкость модулей можно увеличивать, добавляя дополнительные батареи, чтобы продлить время автономной работы критически важных элементов инфраструктуры.
- Специальные стойки Delta не мешают движению воздуха, так как 70 % их поверхности – это перфорация, а кабели укладываются в каналы и не мешают циркуляции.
- Внутрирядные кондиционеры Delta RowCool с высокой холодопроизводительностью направляют холодный воздух непосредственно на оборудование. Установленные по два в каждом ряду и подключенные к центральной системе управления, они позволяют обеспечить нужное охлаждение именно в моменты пиковых нагрузок или в жаркие дни.
- Программное обеспечение класса DCIM – Delta InfraSuite – помогло заказчику проанализировать профиль энергопотребления и выделения тепла, чтобы добиться максимальной эффективности работы систем охлаждения и вентиляции. Кстати, система продолжает работать в реальном времени и позволяет корректировать дисбаланс.
- Закрытый горячий коридор и управляемая система вентиляции позволяют избежать попадания горячего воздуха обратно в серверную. Все отведенное тепло эффективно уходит на улицу.
Повышение энергоэффективности и другие плюсы
Помимо повышения энергоэффективности ЦОД в целом, NUU получил возможность контролировать устойчивость энергоснабжения, отслеживать отклонения в работе оборудования, а также производить температурный мониторинг работы ЦОД в реальном времени.
Хороший результат снижения PUE был достигнут в NUU за счет применения комплексного решения. Если у вас есть опыт улучшения PUE за счет частичной модернизации, мы будем признательны, если вы поделитесь им в комментариях.
Комментарии (2)
OldarKose
02.07.2019 14:24+1Они начали экономить 135k$ в год, а сколько лет они будут окупать новое решение? Ведь помимо PUE, есть еще показатель TCO?
ShadowMaster
Модернизация во сколько обошлась?