Ошибки в проекте дата-центра — это бомба замедленного действия. Дата-центр построят, сдадут в эксплуатацию и он даже будет работать, но придет час, и начнут вылезать проблемы. В лучшем случае просчеты в проекте доставят неудобства инженерам службы эксплуатации, в худшем — поставят под вопрос работу дата-центра. Только вот будет поздно пить Боржоми: строители с подписанным актом приемки уже сделали ручкой, да и сам проект не подразумевает маневров.

Мы отобрали самые горькие ошибки в проектах дата-центров, с которыми мы столкнулись за восемь лет проектирования, строительства и эксплуатации дата-центров. Открываем хит-парад.



ЭЛЕКТРОСНАБЖЕНИЕ


Ошибка №1. Заниженный проектный запас по энергопотреблению оборудования инженерной инфраструктуры. Реальное потребление будет отличаться от паспортного. Всегда. Да простят нас дорогие вендоры, но чаще всего в документации они занижают потребляемую мощность, чтобы оборудование выглядело экономичнее.

Рассчитать реальное энергопотребление можно на базе собранной статистики по уже работающим машинным залам. Если же статистики нет, то накиньте 10% к паспортным данным.

Ошибка №2. Недостаточное количество резервных автоматов от ГРЩ до ЩР. Дата-центр живой организм, который растет и меняется. Новое оборудование нужно будет куда-то подключать. Если в распределительных щитах нет места под резервные автоматы, то придется устанавливать дополнительные щиты, что сложно при работающем дата-центре, или модернизировать существующие, что дорого. Оба варианта потребуют отключения машинного зала от питания по крайней мере по одному лучу.

На этапе проектирования закладывайте по возможности резерв по автоматам до 30%. Не обязательно сразу устанавливать дополнительные автоматы, просто оставьте под них место.

Ошибка №3. Не предусмотрена возможность балансировки по фазам. Распределяйте нагрузку равномерно по трем фазам каждого луча. Контролируйте токи по всем фазам на каждом элементе электрической сети (ГРЩ, распределительные щиты, ИБП) и при необходимости переносите нагрузку с одной фазы на другую.

Ошибка №4. Все вентиляторы внешних блоков кондиционеров прямого расширения подключены к одной фазе. Часто однофазные вентиляторы по инерции подключают к первой фазе. Чтобы не столкнуться с перегрузом первой фазы, чередуйте: первый внешний блок — к фазе 1, второй — к фазе 2, третий — к фазе 3, четвертый — снова к фазе 1 и т. д.

ХОЛОДОСНАБЖЕНИЕ


Ошибка №1. Тип системы холодоснабжения не учитывает архитектуру машинных залов. Проектировать холодоснабжение надо, исходя из архитектуры помещения. Например:

  • в машинных залах с невысоким потолком (менее 3,5 м) и широкими коридорами (между двумя кондиционерами помещается более 20 стоек) лучше использовать межстоечные (внутрирядные), а не шкафные кондиционеры;
  • для многоэтажного здания скорее всего не подойдет система прямого расширения (фреоновая). Максимальная длина фреоновых трасс (расстояние между внутренними и внешними блоками) не более 50 метров по горизонтали, а если есть подъем, то еще меньше;
  • для чиллерной системы потребуется много места под трубопроводы, отдельные помещения под насосные станции, баки аккумуляторы.

Ошибка №2. Неправильная циркуляция воздуха. Из-за этой ошибки холода в машинном зале может быть в избытке, а оборудование все равно будет перегреваться. Если холодный воздух попадает к оборудованию через фальшпол, то его высота должна быть достаточной: для зала на 100 стоек не менее 600 мм. Позаботьтесь о том, чтобы на пути холодного воздуха под фальшполом не было препятствий в виде труб и неправильно расположенных силовых лотков.

В машинном зале без фальшпола можно использовать межстоечные кондиционеры вместе с изоляцией горячего или холодного коридоров.

Аналогично решаем вопрос и в остальных помещениях, где требуется охлаждение (помещение ГРЩ, ИБП).

Ошибка № 3. Некорректно рассчитан реальный температурный режим. За основу берут рекомендованные строительные нормы для региона (СНиП), где планируется построить дата-центр. Это правильно, но обязательно делаем поправку на расположение реального объекта. Если крыша здания сильно греется на солнце или есть проблемы со свободным протоком воздуха, то фактическая температура будет на несколько градусов выше. Во время эксплуатации это аукнется перегревом внешних блоков или чиллеров в жаркие летние дни.

Ошибка №4. Не продумано поддержание уровня влажности. В машинных залах рекомендуется поддерживать влажность в диапазоне 30-70%. Тип системы холодоснабжения влияет на уровень влажности: кондиционеры прямого расширения “сушат” воздух, поэтому на этапе проекта закладывайте необходимое количество пароувлажнителей. При использовании чиллерной системы на “теплой воде”, наоборот, устанавливаем осушители воздуха.

Ошибка №5. Нет удобного доступа к чиллерам и внешним блокам. Под удобством подразумевается круглосуточный и быстрый доступ. Если для прохода на крышу с чиллерами нужно получать специальное разрешение, искать ответственного с ключами, то это проблема: любая авария потребует быстрых действий.

Это не должна быть хлипкая лестница, по которой сможет подняться только скалолаз. Чиллеры и внешние блоки нужно обслуживать и ремонтировать, а значит по этой лестнице придется подниматься с инструментами. Отдельно продумайте способ доставки на крышу крупных запасных частей — вентиляторов, компрессоров.

На крыше сразу предусмотрите розетки, запитанные через устройство защитного отключения (УЗО), и подвод воды для мытья чиллеров и внешних блоков весной и в сезон тополиного пуха.

Ошибка №6. Не учтена реальная производительность фреоновых кондиционеров. Производительность кондиционеров зависит от многих факторов, например от длины фреоновых трасс. Реальная производительность рассчитывается в специальной программе, предоставляемой вендором. Это число и нужно брать при проектировании. Паспортное значение годится лишь для первой прикидки.

МОНИТОРИНГ


Тут остановимся и прослушаем отдельный плач инженера службы эксплуатации. Задачи мониторинга зачастую никак не учитываются на этапе проектирования: про них просто забывают или сознательно отказываются ради экономии. После пары провороненных аварий жизнь все равно заставит озаботиться мониторингом. В уже работающем дата-центре выстраивать систему мониторинга сложнее и дольше. А главное — все это время дата-центр будет работать без контроля. Самые страшные аварии те, о которых вы даже и не догадываетесь. Вот наш топ-3:

Ошибка №1. Отказ от модулей мониторинга оборудования. Это самое первое, на чем начинают экономить, когда видят кругленькую стоимость ИБП или кондиционера. Когда все-таки решите докупить их, придется снова выбивать деньги, ждать поставки недостающих модулей. Все это время жизнь оборудования будет оставаться для вас тайной.

Отдельно отметим анализаторы тока в распределительных щитах, которые собирают информацию о состоянии систем энергоснабжения на всех участках трассы. На этапе проектирования заранее предусмотрите под них место в распределительных щитах.

Ошибка №2. Отсутствие документации по системе мониторинга. Эта документация фиксирует:

  • список установленных датчиков и оборудования;
  • место их установки;
  • отслеживаемые параметры;
  • схемы подключения.

Эти документы составляются совместно со службой эксплуатации на этапе проектирования и передаются ей при сдаче дата-центра. Без них инженерам придется самостоятельно собирать информацию о принципах работы системы мониторинга.

Ошибка №3. Отсутствие или неудачное расположение температурных датчиков и датчиков протечек. Для корректного мониторинга температуры в машинном зале рекомендуем повесить хотя бы три датчика в каждом холодном коридоре (в середине, начале и конце), один — в горячем. Если в дата-центре используется чиллерная схема холодоснабжения, то предусмотрите датчики протечек под каждым элементом, который может дать течь, а не только под кондиционером.

ПОЖАРОТУШЕНИЕ


Ошибка №1. В системе пожаротушения не учтены склады и другие дополнительные помещения. Из-за пожара на складе можно лишиться годового запаса ЗИП и расходников. Еще опаснее перспектива перехода огня из вспомогательных помещений в машинный зал или комнаты с инженерными системами. Проектируя систему пожаротушения, не забудьте о складах и вспомогательных помещениях.

Ошибка №2. Сирены/громкоговорители не слышны в машинных залах. Служба эксплуатации при приемке дата-центра проверяет систему оповещения в пустых залах, и сигнал на эвакуацию раздается практически в полной тишине. Когда машинный зал заполнится, заработают все стойки и кондиционеры, то громкости сирен может не хватить. В проекте закладывайте такую мощность громкоговорителя, чтобы в случае пожара он смог “перекричать” заполненный зал.

Ошибка №3. Срабатывание датчиков по температуре в контейнере ДГУ. Если используете ДГУ контейнерного типа, убедитесь что температурный пожарный датчик не перегревается от ДГУ. Из-за перегрева они будут ложно срабатывать.

Похожая проблема возникает при попадании внутрь контейнера выхлопа от соседних ДГУ: датчик ложно срабатывает на выхлоп. На этапе проекта определите оптимальное расстояние между ДГУ в группе и высоту выхлопной трубы каждого дизель-генератора.

СКС И ТЕЛЕКОМ


Ошибка №1. Недостаточная емкость магистральных кабельных лотков и вводов в залы. Заложите в проекте резерв по кабельным вводам в машинный зал и проходы между этажами. Сверлить новые отверстия стенах или межэтажных перекрытиях в уже работающем машинном зале будет сложно.

ВСПОМОГАТЕЛЬНЫЕ ПОМЕЩЕНИЯ И ТЕРРИТОРИЯ


Ошибка №1. Слишком маленькие двери и коридоры. Да, смешно. Но только до тех пор, пока не придется разбирать стену, чтобы вынести сломавшийся кондиционер или ИБП.
Совет от кэпа: дверь по высоте должна быть такой, чтобы в нее проходило самое высокое оборудование, а по ширине — самое широкое. Для машинного зала это стойки и кондиционеры.

Ошибка №2. Пороги, перепады высоты пола в ЦОД. Желательно избегать в проекте дата-центра больших перепадов высот пола. Тяжелое оборудование (ИБП, СХД) сложно тащить через порожки. Некоторое оборудование и вовсе не переносит наклонов: вендор откажет в гарантийном обслуживании, если встроенный в оборудовании уровень зафиксирует наклоны при транспортировке.

Ошибка №3. Затрудненный подъезд и разгрузка для крупногабаритных машин. Организуйте удобный и круглосуточный подъезд для разгрузки/погрузки крупногабаритного оборудования. В Москве, например, днем ограничен въезд грузовиков в город. Место разгрузки оборудуйте подъемным столом для разгрузки оборудования с машин любой высоты. Без него каждый раз придется заказывать погрузчик или кран.

Ошибка №4. Отсутствие грузовых лифтов и подъемников. Для многоэтажного дата-центра предусмотрите лифты и подъемники. Их габариты рассчитываем исходя из самого большого оборудования, которое нам придется доставлять на верхние этажи.

Ошибка №5. Недостаток вспомогательных помещений. Если в дата-центре не предусмотрены склады, то очень скоро весь ЗИП, коробки с оборудованием переберутся в коридоры, машинные залы и сами стойки. Желательно, чтобы склада было два:

  • оперативный с расходниками и инструментами;
  • склад длительного хранения для крупного ЗИП и пустых коробок из-под оборудования для гарантийки :)

Убедитесь, что внутри дата-центра есть площадка для распаковки оборудования, помещения, где оборудование, привезенное с мороза, может выстояться до комнатной температуры.

Ошибка №6. Не предусмотрены места для работы с оборудованием. Инженеры вам скажут “спасибо” за отдельную зону для работы с оборудованием. В машинных залах жарко/холодно и шумно. Оборудуйте эту рабочую зону столом, электрическими и сетевыми розетками, чтобы можно было собрать сервер (добавить жесткий диск, прикрутить салазки и пр.) в более комфортных условиях.

МАРКИРОВКА ОБОРУДОВАНИЯ


Да, она тоже разрабатывается на этапе проектирования. Если по-другому, то скорее всего получится следующее: один подрядчик проектирует электроснабжение, другой — холодоснабжение. Каждый пользуется только ему известной маркировкой. У строителей будут свои обозначения. Когда дата-центр будет сдан, разобраться с этим наследством и понять, где и что находится, будет сложно.

Чтобы такого не произошло, на этапе проектирования создается единая маркировка, которая согласовывается со службой эксплуатации. Принцип маркировки должен быть прозрачен: например, буква — тип элемента, первая цифра – номер дата-центра, вторая – номер зала, третья — номер элемента. Тогда любому инженеру службы эксплуатации будет понятно, что под «К1.3.4» скрывается 4 кондиционер в третьем зале в дата-центре 1.
Маркировка каждого элемента должна быть уникальной.

На этом все. Всех поворотов судьбы в проекте не предусмотреть, но надеемся, что этот список ошибок окажется полезен тем, кто собирается проектировать серверную или дата-центр.

Поделитесь в комментариях, с какими проектными ошибками дата-центров или серверных сталкивались вы.
Поделиться с друзьями
-->

Комментарии (15)


  1. Loxmatiymamont
    07.10.2016 11:48
    +2

    Самая печальная проектная ошибка, это отсутствие единого проекта, в который сведены все до единой коммуникации и инженерные системы.

    На одном объекте, где как раз был отдельный проект на скс, отдельный на пожарку, отдельный на электричество и т.д. был свидетелем того, как вентиляционщики пробурили в полу техэтажа дырку под метровый воздуховод, а прямо под местом бурения оказалась трасса оптики. Что с ней было, когда прилетел бетонный круг метрового диаметра, думаю, можно не пояснять.


    1. dataline
      07.10.2016 12:23

      Таких примеров, как ваш, действительно очень много. Совмещать отдельно запроектированные системы сложно. Для этого на проекте обязательно нужен генеральный подрядчик или ГИП со стороны заказчика, который и будет составлять сводный план.


      1. ice938
        07.10.2016 14:48
        +3

        Угу. Забавный случай произошел, когда бригада гостей из ближнего зарубежья занималась ремонтом этажа и попыталась в помещение этажного кросса установить унитаз, потому что их бригадир план этажа вверх ногами держал =) Прихожу посмотреть почему электричество в кроссовой пропало, а они дверь вместе с коробкой сняли, сантехнику занесли и отбойным молотком дыру в полу пробивают для канализации. Наличие кондиционера и стоек с оборудованием их ни капли не смутил… Опять же плюс системы мониторинга! Если бы не заметили переход на резервное питание, то в этой кроссовой появилась бы дыра в полу, а в кроссовой ниже- куча поломанного оборудования


  1. woodhead
    07.10.2016 12:30
    +1

    Реальное потребление будет отличаться от паспортного. Всегда.

    Реальное потребление является переменной величиной и, естественно, не равно какому-то определённому значению.
    … чаще всего в документации они (вендоры) занижают потребляемую мощность

    Сколько в % от проектной занимает реальное потребление?
    Рассчитать реальное энергопотребление можно на базе собранной статистики по уже работающим машинным залам.

    Не подскажете, где можно посмотреть нормативы для выполнения расчётов?
    На этапе проектирования закладывайте по возможности резерв по автоматам до 30%. Не обязательно сразу устанавливать дополнительные автоматы, просто оставьте под них место.

    Не всё так просто. Если в ТЗ нет чёткого указания закладывать резерв, то потом как обосновывать завышенные номиналы вводных автоматов и сечений питающих и распределительных кабелей? Заказчик сделает замечание — «необоснованное завышение стоимости проектных решений» — и будет прав.


    1. dataline
      07.10.2016 17:55

      Реальное потребление является переменной величиной и, естественно, не равно какому-то определённому значению.

      Мы говорим про реальное максимальное потребление. Это очень важно учитывать, чтобы не перегрузить элементы системы энергоснабжения.

      Сколько в % от проектной занимает реальное потребление?

      Если вы про паспортную мощность, то в своей практике мы закладываем плюс 10% к паспорту.

      Не подскажете, где можно посмотреть нормативы для выполнения расчётов?

      Нормативов нет, мы опираемся на собственный опыт.

      Не всё так просто. Если в ТЗ нет чёткого указания закладывать резерв, то потом как обосновывать завышенные номиналы вводных автоматов и сечений питающих и распределительных кабелей? Заказчик сделает замечание — «необоснованное завышение стоимости проектных решений» — и будет прав.


      Понятно, что последнее слово за заказчиком, и это вопрос обоснования. Если мы хотим сделать хороший проект, мы должны убедить заказчика скорректировать ТЗ так, чтобы учесть лучшие практики.


  1. PartisanBLR
    07.10.2016 14:57
    +6

    Есть еще ошибки, в проекте датацентра которые вы ощутите только в процессе эксплуатации:
    — когда система оформления пропусков СБ датацентра подразумевает указание номера машины только в формате x XXX xx XXX, а вы везете кучу оборудования на такси, номер которого имеет другой формат
    — когда в пятиэтажном датацентре перестает работать единственный лифт и кучу оборудования приходится таскать по узкой лестнице с кучей поворотов и странных площадок на пару ступенек

    А так да, критичных проблем с электропитанием, кондиционированием и/или каналами связи вроде не случается, спасибо…


  1. ivakin
    07.10.2016 16:26
    +1

    Был случай когда меня поставили ответственным за диагностику пожаротушения. Естественно никто не знал, что может произойти во время и после процедуры. Хорошо что в регламенте были указания снять управления подачи газа с баллонов.
    Нагрели датчики, сработала сирена, и просто вырубились кондеи :) Это мне потом обьяснили — чтобы исключить подачу струи воздуха в очаг возгорания. Систему резетнули, кондеи запустились, но холода нет. В это время растет температура в зале, а железок много, все сразу не положить. Оказалось что в системе управления зданием (куда у нас не было доступа) есть насос который подает воду на наши кондеи. При выключении кондеев он вырубался но сам не запускался. Приходилось всегда при проведении подобных работ привлекать дополнительных людей. Частенько этот насос ложился сам по себе, тогда алерты по смс и срочно звонить в офис.


    1. vbif
      07.10.2016 17:39

      Главное — выявили слабое место. Осталось дело за малым — решить проблему.


  1. SemperFi
    07.10.2016 16:29
    +1

    спасибо, за живое взяло.

    путь от грузовых лифтов до, например, ИБПшной должен быть нормальный — как то раз везли ИБП на «рохле» от лифта — в коридоре остался красивый след из взломаной плитки.

    и насчет единого проекта — наблюдал, как на одном автопредприятии вытяжку из зала обслуживания авто почему то подключили к вентиляции серверной — как то мастер поставил промывать дизель на авто, и включил «не туда» — серверная красиво наполнилась горелыми хлопьями сажи.


  1. Barafu
    07.10.2016 16:45

    Вот ещё непредвиденные случаи, хотя и мелкие.


    • В одной тёплой стране в машинный зал ворвалась мартышка. Через открытое окно в офисе. Сама мартышка проблем не причинила и была успешно изгнана, но вот один из инженеров, погнавшихся за ней, влетел башкой в стойку, повредил кабели и отправился на больничный.
    • У нас в стране на одном объекте пол выполнен как бетонная стяжка покрытая какой-то резиноподобной краской. На первый взгляд хорошее решение, но вот после влажной уборки полотёром оно во-первых скользкое, во вторых зверски пачкается. На выходе из зала вечно белые следы как на стройке.
    • После введения цветовой дифференциации штанов выяснилось, что большинство работников при имеющемся освещении не способны отличить жёлтый кабель от зелёного.


  1. BubaVV
    07.10.2016 17:21
    +5

    image
    Режь желто-черный, а не сине-белый


  1. hdfan2
    07.10.2016 20:31
    +2

    Сразу видно пост, написанный пОтом, слезами и бесконечным количеством матюков при разборе различных факапов. Даже мне, человеку от проектирования дата-центров далёкому, было интересно почитать.


  1. nitro80
    08.10.2016 04:26

    Не совсем про ЦОД, но про СКС: что мешает людям при ремонте помещения делать проходы в балках??
    Неделю делаем подобие СКС в одном зелёном банке, и работа сильно затягивается из-за необходимость протолкнуть кабели под гипсокартоном, обходя балки… То ещё развлечение.
    Что мешает просто дать указание ремонтникам наделать сквозных отверстий в балках?


    1. DikSoft
      08.10.2016 19:54
      +2

      Балки бывают разные. Чаще всего горизонтальные бывают несущими, со всеми вытекающими, и нельзя их трогать. Может это Ваш случай?


      1. nitro80
        09.10.2016 07:40

        может быть и так, но многовато их было 4 балки, образующие квадрат