Этот модульный ЦОД мы построили меньше, чем за три месяца. В первых числах ноября начали монтаж на площадке, а в конце декабря уже сдали его в эксплуатацию.
В общих чертах запрос от заказчика именно таким и был: очень быстро нарастить вычислительные мощности под свой ИТ-проект там, где дополнительного места совсем нет. Решено было построить модульный ЦОД. И сделать это недорого. Спустя год готов рассказать, как это было. Как мы делали полную предварительную сборку и разборку ЦОДа на площадке в Сибири. Как поливали его водой из мойки «Керхер» и разогревали, как духовку.
Заодно поделюсь нашим опытом обхода граблей при строительстве модульных дата-центров. А также расскажу о некоторых граблях, на которые мы все-таки наступили, но в каске.
![Суровая правда жизни: начало подготовительных работ Суровая правда жизни: начало подготовительных работ](https://habrastorage.org/getpro/habr/upload_files/f1c/1f9/14d/f1c1f914d2b7beb6ba1738bc566f2fbd.jpg)
Для тех, кто не особо следит за строительными технологиями ЦОД, краткая справка о модульных решениях:
а) для них не требуется разрешение на капитальное строительство;
б) их можно быстро поставить где угодно, хоть посреди леса, лишь бы было электричество и каналы связи;
в) они как конструктор лего — можно разобрать и перевезти на новое место дислокации. И относительно легко, при необходимости, нарастить.
Что касается именно этого проекта, то основные критичные характеристики для заказчика — обоснование «некапитальности» сооружения и демонстрация возможности неоднократной сборки и разборки. Плюс возможность наращивания ИТ-мощностей в дальнейшем.
Кроме того, в проекте требовалось выполнить монтаж внешних инженерных сетей (КЛ-0,4кВ, сети связи, водоснабжение, водоотведение) и модернизировать существующую электрощитовую. Она находилась в административном здании, от которой выполнялось подключение МЦОД.
Когда начали работу, выяснилось, что на площадке под асфальтом «захоронен» цокольный этаж старого здания, о котором никто, включая заказчика, не знал. В итоге спроектировали бетонную площадку, взяв категорию грунта «Строительный мусор». Разработали котлован, выполнили отсыпку щебнем и песчаной подушкой. Дополнительно залили 300 мм армированного бетона. Таким образом исключили риски перепада плотности грунта под модульным зданием.
![](https://habrastorage.org/getpro/habr/upload_files/fe5/d43/08f/fe5d4308f2530b901bc565ab5592f129.jpg)
![Бетонное основание под МЦОД Бетонное основание под МЦОД](https://habrastorage.org/getpro/habr/upload_files/d3f/32c/9b8/d3f32c9b84fd921446696d1a664cdcd1.jpg)
Внешние сети — как это было
Первые «грабли» состояли в том, что у заказчика не оказалось актуальной версии геоподосновы. Нашелся только архивный файл. Более того, отсканирован он был не в масштабе, и нам было сложно понять привязку коммуникаций и самого модульного ЦОДа. В итоге в наши расчеты все же закралась ошибка в 2,5-3 метра. Из-за нее пришлось сначала убрать одно крытое парковочное место на территории, а потом его восстанавливать.
Работы по устройству внешних коммуникаций шли параллельно с подготовкой бетонного основания. Одновременно заказчик совместно с МОЭСК модернизировал трансформаторную подстанцию РУ-0,4кВ. Это все, конечно, добавило нам головной боли.
![Прокладка коммуникаций Прокладка коммуникаций](https://habrastorage.org/getpro/habr/upload_files/b99/753/a8f/b99753a8f1b92a3fe32a2f4b5116b46d.jpg)
Электрощитовую в административном здании мы реконструировали ночью. Требовалось поэтапное отключение линий электропитания всего административного здания, а в нем — потребители I особой категории. Например, в этом же здании находились серверы одной довольно крупной авиакомпании. Естественно, подключали резервный источник питания — мобильный ДГУ — на случай форс-мажорной ситуации. Успели, кстати, за одну ночь все сделать.
Когда закончили работы с коммуникациями, встал вопрос о восстановлении асфальта на парковке. Начали этот вопрос прорабатывать и поняли, что «старый» асфальт положен на все тот же строительный мусор, а мы-то свои траншеи засыпали по правилам! Что произойдет, если положим асфальт? Правильно, в лучшем случае он начнет трескаться на границах разных зон. Посоветовались со специалистами и сделали решение по легкому бетону. Забетонировали тонким слоем площадку, и уже на бетон положили новый асфальт.
![](https://habrastorage.org/getpro/habr/upload_files/7b1/9dd/304/7b19dd304425f4e4c849511b940f65c8.jpg)
![Примерно вот так шли работы Примерно вот так шли работы](https://habrastorage.org/getpro/habr/upload_files/159/52f/07a/15952f07a2ea84bad4e83261a1c8d11b.jpg)
Ну что сказать, год прошел - асфальт в хорошем состоянии.
Испытание водой и жарой
Одним из ключевых требований заказчика было провести предварительные испытания МЦОД на производстве и показать, что модульное здание соответствует основным требованиям. Пока мы занимались подведением коммуникаций, модульная конструкция уже была в производстве в Новосибирске. Дальше нам нужно было продемонстрировать заказчику возможность сборки и разборки ЦОДа. И вот тут началось самое интересное.
Обычно бывает предсборка модульных ЦОД на производстве, но это не наш случай. Заказчик требовал, чтобы модульное здание было собрано полностью — с фальшполом, с освещением, с общей электрикой и даже с пандусом. План был такой: полностью собрать модульное здание, провести предварительные испытания, разобрать здание, привезти в Москву и затем собрать еще раз.
Для того, чтобы все это провернуть, разместили модуль в огромном крытом цехе на площадке производителя.
![](https://habrastorage.org/getpro/habr/upload_files/ce5/e71/67a/ce5e7167a175f29b31139b0c0d2e1e6e.jpg)
![Оба снимка сделаны на площадке производителя 3 октября Оба снимка сделаны на площадке производителя 3 октября](https://habrastorage.org/getpro/habr/upload_files/a45/8e9/b04/a458e9b04e7cec22efe9672da60c307f.jpg)
Приехала целая делегация — и наши инженеры, и представители заказчика. Многочасовые испытания шли два дня. Проводили проверку геометрических параметров модульного здания и помещений, отсутствия возможных «мостиков холода», отклонений высот фальшпола. Контролировали степень освещенности машинного зала на соответствие ТЗ. Еще была проверка на герметичность — поливали ЦОД водой из мойки «Керхер» под давлением.
Но самое необычное испытание — на теплопотери. Для этого мы арендовали тепловые пушки, и с утра в ЦОДе их запустили. Нагрев шел около двух с половиной часов. Температура внутри здания была на 50 градусов выше, чем снаружи. Жара стояла такая, что зайти в ЦОД было тяжело. Представители заказчика с тепловизором проходили вдоль стен и смотрели, нет ли тех самых «мостиков холода» — мест, где теряется тепло. Это было… эпично. Но зато мы точно были уверены, что нагрев и охлаждение ЦОД будет полностью предсказуем в «боевых» условиях.
История с фальшполом
После того, как испытания успешно прошли, примерно за неделю модульное здание было разобрано. Подрядчик погрузил его в фуры, и часть из них сразу выехала в Москву. Выезжали фуры по очереди, чтобы мы могли сразу с колес выгружать и начинать монтаж. Так мы избежали аренды склада. Можно сказать, это грабли, на которые мы не наступили.
![Модульная конструкция готовится к отправке из Новосибирска в Москву. 29 октября Модульная конструкция готовится к отправке из Новосибирска в Москву. 29 октября](https://habrastorage.org/getpro/habr/upload_files/203/430/6d4/2034306d4475da434fedd33cc8e3d1d6.jpg)
Интересная история была с фальшполом. Если кто не в курсе, фальшпол — важная подсистема в ЦОД. Он держит все технологическое оборудование, и от его качества сборки и жесткости во многом зависит надежность ЦОДа.
![14 ноября - сборка основных конструкций уже завершена. Занимаемся фальшполом. 14 ноября - сборка основных конструкций уже завершена. Занимаемся фальшполом.](https://habrastorage.org/getpro/habr/upload_files/7b2/bbd/8dc/7b2bbd8dc47526983fde6ccb2ed713f3.jpg)
В проекте у нас были предусмотрены ИБП весом под тонну, да еще и кондиционеры по 900 кг каждый. Подрядчик посчитал нагрузки и попытался убедить нас в том, что, мол, «не извольте сумлеваться, выдержит!»
Но слова «должен выдержать» нас не убедили.
Что мы сделали? Разработали рамы, усиливающие фальшпол под кондиционерами и ИБП. Для бесперебойников это была одна длинная мощная конструкция. Под фальшпол ее опускало человек пять или шесть.
![Рамы для ИБП Рамы для ИБП](https://habrastorage.org/getpro/habr/upload_files/0e8/687/6fc/0e86876fc24dc323eed1f7e3fdd352ac.jpg)
А под кондиционеры мы сделали раму с ножками. Ножки эти вставали в паз — в существующие металлические фермы основания модульного ЦОДа.
И тут снова «грабли» — из-за спешки ребята-сварщики приварили ноги от другой рамы. Ноги получились короткими, и рама оказалась не на уровне фальшпола. А на следующий день уже все расписано — кондиционеры приезжают, заключен договор на такелажные работы… Звоним нашему инженеру (не просто инженеру, а с большой буквы «И» который). Пара звонков «мужикам» — и за ночь вопрос удалось решить.
Переварили ножки, и раму мы установили. И так как все считали наши ребята, мы спокойны — двукратный запас по прочности там точно есть.
Заказчику все тоже понравилось, кстати.
![26 ноября - работа идет полным ходом. 26 ноября - работа идет полным ходом.](https://habrastorage.org/getpro/habr/upload_files/508/fcd/77b/508fcd77b9fc69173d40b620383c2764.jpg)
ДГУ заказывали?
Самое большое зло в этом проекте — сжатые сроки. ЦОД и так сложное сооружение, а тут нужно было уложиться в считанные недели. На сборке работало две смены. Одни люди выходили, другие заходили на объект. И так семь дней в неделю.
Конечно, не обходилось без накладок. Например, лежит материал в доступе у монтажников. Они его берут, но об экономии думать уже некогда. В итоге нашим инженерам-проектировщикам приходилось с ходу определять потребности и докупать расходники. Каждый день и час был на счету.
При сборке кондиционеров был вопрос в качестве пайки медных труб. Когда мы уже подключили кондиционеры и начали испытания, обнаружилось несколько утечек в фреонопроводе. Отдельная история была — найти места этих утечек. Они ведь часто микроскопические.
Или, вот, например, дизель-генераторная установка (ДГУ). Заказчик говорит: у нас установка есть, привезем. Привозят и тут же выясняется, что ДГУ не соответствует их же собственным требованиям! Наигрались мы с ней в итоге: дорабатывали и в части хранения топлива, в части конструкции модуля. Ставили шумопоглощающие маркизы, которые направляют звук в землю, катализатор и глушитель.
Каждый день было перепланирование работ — если что-то успевали быстрее сделать, план сразу переигрывали. Честно говоря, заказчик, да и мы сами, не до конца верили, что успеем за 3 месяца. Но все получилось, успели. Чистая стройка заняла вообще около месяца. Перед самым Новым годом ЦОД запустили.
И напоследок вот, как это было, — три месяца работы в одном видео:
Matisumi
Как? «Официально» работая по 10 часов в день, хе-хе