Этой осенью мы передали заказчику спроектированный и построенный нами ЦОД площадью порядка 250 м², вместивший около 50 высоконагруженных стоек. История у этого проекта непростая: сначала пришлось исправить кучу ошибок в проектной документации, сделанной другими подрядчиками (а фактически перепроектировать ЦОД), а потом несколько месяцев сражаться за заказ в тендере. Обо всех этих перипетиях наш рассказ под катом.

История проекта

Всё началось с того, что один крупный ритейлер решил построить ЦОД. Он должен был дополнить мощности трёх других, уже имевшихся у заказчика дата-центров. Первую версию проекта разработал другой интегратор. Заказчик остался доволен и объявил тендер на строительство, приложив проектную документацию. Мы её внимательно изучили и остались в недоумении: в проекте оказалось больше сотни ошибок и недочётов — от архитектурных до чисто инженерных. Пикантность ситуации заключалась в том, что заказчик предъявил суровые требования к уровню надёжности этого ЦОД, потому что через него должен был проходить огромный объём данных, в том числе конфиденциальных. Но с найденными недочётами требуемая отказоустойчивость осталась бы недостижимой мечтой.

Пришлось спасать ситуацию. Предложили заказчику бесплатно переработать проект — исправить все косяки, а заодно переработать общую смету, заложив продукцию других вендоров, с ценами пониже. Получив «добро», засучили рукава и принялись за работу. На переделку ушел 1 месяц. Наша смета оказалась на 30% дешевле начального варианта. При этом нигде не пришлось ужиматься – учли все требования, в том числе и по надежности.

Дальше была долгая борьба за победу в тендере — сражались почти три месяца. В конце концов заказчик выбрал нас. Кстати, удивительно, что из всех участников тендера только мы предложили переработать проект, остальные собирались строить в соответствии с буквой параграфа.

Реализация

Итак, под ЦОД было выделено помещение площадью порядка 250 м². Его нужно было заполнить стойками с высоконагруженными серверами и сетевым оборудованием (около 50 стоек). Общая мощность всей аппаратуры, включая систему охлаждения, тянула на 870 кВт. Мы предусмотрели возможность расширения серверного парка, заложили запас по питанию и охлаждению. Я уже говорил, что заказчику нужна была высокая степень доступности ЦОД, он мог простаивать не более 1,6 часа в год. Поэтому проект соответствует международному стандарту TIA-942 Tier III: можно менять, добавлять и удалять оборудование без остановки ЦОД; все инженерные системы однократно зарезервированы, есть несколько каналов электропитания и охлаждения, но постоянно активен только один из них. В результате коэффициент отказоустойчивости ЦОД равен 99,982%.

Проект мы переделывали с помощью BIM (Building Information Modeling) — методики информационного моделирования здания. Построили трёхмерную модель помещения ЦОД, в котором «смонтировали» фальшпол, «установили» все стойки с оборудованием, «проложили» вентиляционные и кабельные каналы, связали с системой охлаждения на крыше. А самое главное — в рамках этой модели увязали между собой все архитектурные, инженерные и аппаратные компоненты ЦОД: стоит что-то изменить в какой-нибудь системе, как всё, что с ней связано, сразу автоматически перестраивается, вплоть до чертежей и спецификаций. Выглядит захватывающе, особенно если в детстве ты любил возиться с конструкторами и сборными моделями.

Предполагалось, что мы будем строить ЦОД в уже подготовленном помещении с евроремонтом. Но ещё ни одна стройка и ни один ремонт в истории человечества не прошли строго по графику и без накладок: субподрядчик не успел всё сделать к сроку. И, чтобы не терять время, пришлось выполнять пятилетку в четыре года. ЦОД находится в офисном здании – дабы никого не смущать шумом перфораторов, болгарок и такой-то матери, все работы вели вечером и ночью.

• Разработали и установили напольные разгрузочные рамы для крупногабаритного тяжелого оборудования.
• С помощью специально сконструированных рам усилили стену с оконными проемами, чтобы вешать на неё оборудование (электрощиты и прочее).
• Доработали и усилили отверстия для прокладки инженерных коммуникаций через стены.
• Сделали чистовую отделку помещений.
• Доработали и установили наружные силовые конструкции под трассы и климатическое оборудование.
  
  Установили фальшпол, СКС, «холодные» коридоры и стойки для серверов. Серверные стойки Conteg рассчитаны на высокую плотность нагрузки — 10+ кВт на стойку. СКС сделана на основе оптических компонентов с использованием претерминированных кабельных сборок (заранее смонтированные, готовые к установке изделия, облегчающие монтаж оптоволоконных сетей).
  
  
  
  
  
  
  
  Установили освещение, проложили силовые кабели, собрали и установили электрощитки и источники бесперебойного питания. Электроснабжение резервировалось по схеме 2N (у каждого компонента есть резервный), а специально заказанные для проекта электрощиты автоматически переключаются с основного на резервный ввод при нештатном отключении питания.
  
  
  
  
  
  
  
  
  Установили противопожарный комплекс, включая сигнализацию и систему газового пожаротушения.
  
  Установили системы водоснабжения (для пароувлажнителей и кондиционеров), дренажа, кондиционирования (наружные и внутренние блоки, фреоновые трассы). В ЦОДе мы использовали климатическое оборудование STULZ с резервированием по схеме N+1 (N рабочих компонентов и один резервный).
  
  
  
  Наконец, установили компоненты системы мониторинга Conteg. Она «завязана» на пожарную систему, ИБП, кондиционеры, модули управления питанием в стойках, датчики температуры и влажности и так далее.
  
  На всё про всё, включая переработку проекта, ушло около полугода. Все заложенные параметры удалось выдержать, из сметы не выбились, и серверы в новеньком ЦОДе уже молотят терабайты.
  
  Подумываете о построении ЦОДа? Ну вы поняли ;)
  
  Всеволод Воробьев, руководитель направления ЦОД Центра сетевых решений компании «Инфосистемы Джет»