Зал дата-центра NORD-4 в 2016 году.

Вот пустой машинный зал в дата-центре. Думаете, стойку можно поставить в любое место? Если бы все было так просто!

Меня зовут Алексей, я занимаюсь capacity management в дата-центрах DataLine. Сегодня расскажу, что правильно расставлять стойки в зале – это целая наука, а иногда и искусство.

Что такое capacity management?

У машинного зала в дата-центре три главных ресурса: место, электропитание и холод.
Все эти три ресурса должны расходоваться равномерно и заканчиваться одновременно. Собственно за этим и следит человек, занимающийся capacity management.

Если размещать оборудование как попало, то можем оказаться в следующих неприятных ситуациях:

• электричество в зале полностью выбрано, а половина зала пустует;
• зал забит стойками под завязку, электричества или холода едва хватает.

Почему же все так сложно? Дата-центр проектируется под стойки определенной мощности, размеров и схем охлаждения. Если мы размещаем в залах стойки с проектными параметрами, то проблем нет. Но в жизни так не бывает, особенно в коммерческом дата-центре. Оборудование приезжает самое разное: некоторые клиенты хотят разместить пару стоек по 20 кВт, другие – 100 по 5 кВт, третьи — 20 широких стоек по 800 мм, у четвертых — оборудование выбрасывает теплый воздух сбоку. Вот и превращается каждый запрос на размещение в небольшую оптимизационную задачу с тремя переменными: место, электричество и холод. Про них и поговорим дальше.

Про место

Это, пожалуй, самый негибкий параметр, поэтому каждый сантиметр на счету. Когда я так говорю, это означает, что все новые залы я замеряю рулеткой, чтобы сверить реальность с чертежами. Стал так делать, когда как-то при установке стоек выяснилось, что расстояние между опорными столбами оказалось на 1 сантиметр меньше, чем на плане. Тогда, чтобы втиснуться, пришлось разбирать обшивку столба.

На планах залов я дополнительно обозначаю все объекты под фальшполом, на стенах и сетевые лотки. Эта информация пригодится, если клиент захочет разместиться с забором, который идет от базового пола до самого потолка.

На планах я также отмечаю зоны обслуживания инженерного оборудования. Это зарезервированное пространство рядом с  кондиционером, распределительным щитом и прочим оборудованием для его ремонта. Стойки не должны залезать и, тем более, полностью находиться в зоне обслуживания.

Обычно зона обслуживания прописана по паспорту оборудования, но мы берем в качестве ориентира размер самого объекта. Например, для кондиционера глубиной 900 мм зона обслуживания перед ним будет не менее 900 мм. Так при необходимости мы сможем вытащить это оборудование из зала. И так действительно приходилось делать.


Стойка, отмеченная красным, уже лишняя в ряду и залезает на зону обслуживания кондиционера. Непорядок.

Про электричество

Самое главное в этой части – не перегрузить имеющиеся мощности. Чтобы отслеживать нагрузку, нужно знать, что у нас есть по проекту, и вести учет устанавливаемых стоек. Это в теории, на практике у вас не всегда будут все вводные. Вот примерно такие могут быть ситуации:

Зал пустой, на руках есть проектная мощность дата-центра/зала/стойки, от нее и отталкиваемся. Заполняем зал исходя их этих данных, ведем учет занятых и свободных мощностей, не допускаем их перегрузки.

Если вам достался уже частично заполненный зал и информации по занятым мощностям нет, сначала разбираемся с установленными стойками. Узнаем, сколько они потребляют на текущий момент и сколько им позволено «съесть». Например, стойка может потреблять сейчас 2 кВт, но при установке под нее зарезервировали 5 кВт, на вырост. Дальше сверяемся с проектной документацией: смотрим, сколько у нас в принципе мощностей. После нехитрых вычислений понимаем, можем ли мы ставить стойки дальше; если да, то сколько и какой мощности.

Совсем плохо, когда в зале стоят стойки с оборудованием, документации нет, учетом никто не занимается. Тут снова лучше начать с инвентаризации установленных стоек. Далее нам нужно понять, что у нас по проекту. Идем к ИБП, смотрим его мощность по паспорту и что питает данный ИБП. Для простоты в примере рассмотрю 1 ИБП.

Допустим, его мощность 450 кВт. Вычитаем из этой мощности 10% про запас и работаем дальше с цифрой 405 кВт. На распределительный щит приходит 405 кВт. В щите 4 автомата, каждый автомат – 1 ряд по 19 стоек. На ряд – 101,25 кВт.  Дополнительно проверяем уставки на вводных автоматах ряда и распределительного щита ИБП. Уставки могут быть в меньшую сторону, и вместо 101,25 кВт может быть 90 кВт. Если с уставками ничего не делали, то получается, что на стойку приходится 5,3 кВт. Это не означает, что теперь мы можем ставить стойки только по 5,3 кВт. Можно больше или меньше, главное каждый раз пересчитывать оставшуюся мощность.

Важно: 5,3 кВт — это мощность одного луча. Столько же к стойке подходит со второго. Каждый луч должен быть загружен только наполовину от номинальной мощности. Если один луч отвалится, то второй сможет взять на себя двойную нагрузку.

Вместе с парной нагрузкой по лучам должна соблюдаться и парная нагрузка по фазам в распределительных щитах. Когда одна или две фазы перегружены, то возникает так называемый перекос фаз. Это, как минимум, будет означать, что имеющаяся мощность используется не оптимально. Подробнее об этом коллеги писали в статьях про устройство и мониторинг электроснабжения в дата-центре.

Про холод

Холод тесно связан с электричеством. Если стойка потребляет 5 кВт, то, грубо, она выделяет 5 кВт тепла. Мы обычно считаем, что если зал рассчитан на 500 кВт, то холодопроизводительность всех кондиционеров в этом зале должна быть тоже  500 кВт (плюс мощность одного резервного кондиционера). То есть запасы холода и электричества должны биться друг с другом.

Нестандартные стойки и оборудование

Когда нужно разместить стандартную стойку (ширина 600 мм, 42 юнита, 5 кВт), то поставить ее можно в любое место, где у нас есть электричество и холод. Нюансы возникают, когда в зал нужно установить высоконагруженные стойки (8–30 кВт).

Например, нужно поставить стойку 30 кВт. У нас пустой зал, поставим ее в самом начале зала, рядом с кондиционером.

Теперь представим, что рядом выключился кондиционер. Спокойно, у нас есть резервный. Если бы это были обычные стойки по 5 кВт, то работающие кондиционеры спокойно растащили бы горячий воздух и оборудование ничего не заметило бы. Но стойка 30 кВт генерирует целое облако тепла, которое просто так не рассредоточится по горячему коридору. Важно, чтобы работал самый ближайший кондиционер. Если он ломается, то горячий воздух начинает переваливаться в холодный коридор, снова попадает в оборудование. Через минуты оборудованию в этой стойке станет очень тяжко, сработает мониторинг, стойке побегут помогать с помощью прогонных вентиляторов. Оборудование спасут, но проблема с неудачным расположением стойки останется.

Эмпирическим путем мы выявили в зале зону, в которую можно ставить такие мощные стойки. Если какой-то кондиционер умрет, то остальные смогут вытянуть горячий воздух от этой стойки (см. схему).


Красным отмечены стойко-места, куда нельзя ставить высоконагруженную стойку.  Зеленым – куда можно. Желтым – допустимо, но только в случае крайней необходимости.

В помощь системе охлаждения в стойках от 8 кВт мы используем вентдвери, вентплитки, изоляцию холодных коридоров. Они не дают дополнительного холода и не спасут, если мощность по холоду уже выбрана, но помогают управлять потоками воздуха и улучшают КПД системы кондиционирования.

Вентдвери устанавливаются на заднюю стенку стоек 8–11 кВт. Они не выпускают горячий воздух в горячий коридор и с помощью вентиляторов сразу направляют его наверх.


Вентдверь

В стойках от 11 кВт к вентдверям добавляются активные вентплитки (перфорированная плитка с вентилятором). Они дополнительно направляют поток холодного воздуха на оборудование. Вентплитки бывают умные: считывают показатели с датчиков на стойке и регулируют скорость вентилятора.


Это вентплитка. У этой даже дисплей небольшой есть

Если у клиента два ряда мощных стоек, например по 15 кВт, то разумно изолировать его.


Изолированный холодный коридор

Часто клиенты привозят трехфазные стойки. Не то чтобы это сильно нестандартно, просто наши первые дата-центры мы проектировали в основном под однофазные стойки с небольшим запасом для трехфазной нагрузки (10–15% от общей мощности). Если клиенту была нужна трехфазная стойка, то просто ставили трехфазный автомат в резервной секции распределительного щита. Как можно догадаться из названия, трехфазный автомат в три раза больше однофазного, занимает больше места, и много таких не поставишь. Иногда у клиента было так много трехфазных стоек, что резерв в распределительном щите выбирался, и приходилось устанавливать дополнительные щиты.

В нашем самом новом дата-центре NORD-4 мы предусмотрели этот момент. Там электропитание распределяется по шинопроводу под фальшполом, и это позволяет ставить стойку любой фазности.


На шинопровод можно установить как однофазный, так и трехфазный автомат

Обычно оборудование забирает воздух спереди, из холодного коридора, и выбрасывает его сзади, в горячий коридор. Но бывает по-другому. Например, оборудование всасывает холодный воздух спереди и сзади, а горячий выдает вверх. Для такой стойки с помощью изоляции организовали филиал холодного коридора в горячем. Это не совсем по фэншую, но работает.


Для «нестандартного» оборудования в стойках 030 и 040 сделали изоляцию посреди горячего коридора

Есть оборудование, которое забирает воздух с одного бока и выбрасывает горячий воздух в другой бок. Мы установили это оборудование на стойку в 800 мм, чтобы холодному и горячему воздуху было где циркулировать. Со стороны холодного коридора перед стойкой поставили блок организации бокового обдува: он забирает холодный воздух спереди и отводит его вбок и вверх. Пространство по бокам стойки изолировано, чтобы не было паразитного воздухообмена.


Нижний юнит занимает тот самый блок организации бокового обдува


С этого бока холодный воздух попадает в оборудование. На заднем фоне видна изоляция от горячего коридора


Слева от оборудования видна изоляция, которая не выпускает отработанный горячий воздух в холодный коридор.

Заборы

Вместе со стойками клиенты часто заказывают заборы для стоек, особенно банки. Их нужно располагать так, чтобы они не съедали много полезного пространства, а значит и стойки нужно расположить компактно, чтобы в итоге получалось что-то хотя бы отдаленно напоминающее прямоугольник. Но иногда получается, как на схеме ниже).



Обычно забор строится от капитального пола (т.е. под фальшполом тоже есть забор) и до потолка, закрывая сетевые лотки.


Чтобы попасть за забор, нужно приложить пропуск к датчику СКУД или палец к биометрическому сканеру


Забор раз


Забор два


Внутри забора размещают дополнительные камеры видеонаблюдения, а иногда и датчики объема


А вот забор со встроенной изоляцией холодного коридора, 2 в 1 так сказать

Инструменты capacity management

Чтобы следить за расходом места, электричества в машинных залах совсем необязательно использовать дорогие и модные системы DCIM (Data Center Infrastructure Management). Статистику по заполненности зала можно вести в обычном excel. Соберите там информацию по текущему состоянию зала (расположение стоек, их мощность, размеры) и дисциплинированно вносите туда информацию по изменениям: какие стойки добавились, какие съехали.

На выходе получится вполне рабочий инструмент, который поможет понять, куда, сколько и какие стойки можно установить в этом зале.

На этом заканчиваю свой краткий экскурс в capacity management. Задавайте вопросы, если что-то интересующее вас осталось за рамками поста.

Напоследок вот вам наглядная картинка того, как заполнялся зал в дата-центре OST-3 с момента запуска в эксплуатацию в 2014-м до сегодняшнего дня.