Этим постом начнем свой рассказ о том, как «Техносерв» ведет строительство с чистого поля нового дата-центра «Авантаж», который станет одной из крупнейших коммерческих площадок московского региона. Участок проведения работ расположен восточнее города Лыткарино (Московская область, г. Лыткарино) в 9 км от Москвы. ЦОД разместится на территории в 3 га, на которой уже сейчас возведен комплекс зданий и сооружений общей площадью 1,08 га. Внимание, впереди много фото. Прошу под кат.
Немного общих слов и цифр
ЦОД «Авантаж» – первая в России коммерческая площадка уровня TIER III емкостью свыше 2200 стоек, владельцем и инвестором которого является ООО «Авантаж». В России есть большие ЦОД со схожим количеством стоек, но «Авантаж» введет свои в эксплуатацию единовременно. Проектная мощность ЦОДа составит 17 МВт расчетной нагрузки. К дата-центру подводятся независимые высокоскоростные каналы связи крупнейших операторов связи. При проектировании ЦОД «Авантаж» заложены энергоэффективные технологии, позволяющие получить среднегодовой коэффициент PUE не выше 1,4.
Технико-экономические показатели ЦОД «Авантаж»
| Показатель | Значение |
|---|---|
| Общая площадь здания ЦОД | 24 480 м.кв. |
| Мощность ИТ нагрузки | 11,2 МВт |
| PUE | не выше 1,4 |
| Количество стоек | 2240 |
| Дизель-роторные ИБП | 14 шт. каждый по 1650 кВА |
| Чиллеры с технологией Turbocor | 9х1600 кВт |
| Общая площадь серверных залов | 6 400 м.кв. |
Концепт ЦОДа
Вот так по задумке архитекторов здания и территория ЦОДа будут выглядеть в конце строительства.
Макет дата-центра «Авантаж»
Макет дата-центра «Авантаж» — другой ракурс
Комплекс дата-центра «Авантаж» в плане
Итак, на площадях в 3 га строятся:
Здание ЦОД (Блок «А»), 2 этажа с техподпольем: габариты 72х76,8 м.
Здесь расположатся 16 серверных залов (по 8 на этаже) для размещения ИТ-оборудования (140 стоек в каждом зале, общее количество стоек 2 240 шт.) и часть трансформаторных подстанций объекта. Серверные залы связаны между собой и службой эксплуатации коридорами. В подземной части Блока «А» размещается техподполье ОВК (отопление, вентиляция, кондиционирование) под инженерные коммуникации для подачи хладоносителя к кондиционерам воздуха серверных залов.
Здание энергоблока (Блок «Б»), 2 этажа с техподпольем: габариты 80х18 м.
Здесь будет машинный зал для установки 14 динамических дизельных источников бесперебойного питания (ДДИБП) и помещения для установки распределительного оборудования.
Здание хладоцентра (Блок «В»), 1 этаж: габариты 76х22,5 м.
Зал для установки чиллеров и насосов, расширительные баки, теплообменники фрикулинга, насосы гликолиевых контуров, главные циркуляционные насосы, гребенки, зоны обслуживания агрегатов, оборудование подготовки и подачи хладосмеси в Блок «А» по техническому этажу. Охлаждающая смесь трассируется трубами в техническом подполье Блока «А».
Здание службы эксплуатации 2 этажа (Блок «Г»).
Первый этаж делится на две функциональные зоны: хозяйственная и диспетчерская. К хозяйственной зоне относятся зона загрузки и помещения приема оборудования, помещения температурной выдержки, распаковки, хранения тары и слесарная мастерская. Второй этаж делится на две функциональные зоны: зона оперативного технического персонала и зона подготовки ИТ-оборудования.
Административное здание (Блок «Д»), 4 этажа: габариты 65х38,5 м.
Предназначен для администрации объекта и офисных помещений клиентов.
КПП1 и КПП2 для проезда легкового и большегрузного автотранспорта, соответственно: габариты 6х9 м.
Топливохранилище общей ёмкостью 200 куб.м топлива.
- Стоянка легкового автотранспорта на 90 машиномест.
Ход строительства
А все начиналось вот так
Так площадка выглядела 11 февраля 2015 года, когда был «вынут» первый ковш грунта. Никаких зданий, сооружений – лишь расчищенное и огороженное поле для нашего мега-проекта. Тогда еще было трудно представить, что уже через несколько месяцев здесь все будет «кипеть и бурлить», а в последствии вырастет красивый, крупный дата-центр.
Разработка котлована хладоцентра. Первый ковш 11 февраля 2015 г.
С февраля по март 2015 мы продвигались все ближе и ближе к «центру Земли». «Вгрызаемся» в землю, ведется разработка котлована административно–бытового корпуса (Блоков «Г-Д»), заливка фундамента хладоцентра (Блок «В»).
На фото: разработка котлованов, заливка фундамента административно–бытового корпуса (Блоков «Г-Д»), хладоцентра (Блок «В»). Февраль-март 2015г.
В конце июля 2015 года были разработаны котлованы для всех блоков, завершены фундаментные работы хладоцентра и административно бытового корпусов, смонтировано 15% металлоконструкций хладоцентра. Ниже фото процесса работ. Всего было разработано 75 000 м? грунта, принято 13 597 м? бетона.
На фото: идут работы по всем блокам: машзала («А»), энергоцентра («Б»), хладоцентра («В») и административно – бытового корпуса («Г-Д») соответственно. Ведется монтаж металлоконструкций хладоцентра («В»), идет подготовка основания под фундаменты дизель роторных бесперебойных источников питания (Энергоцентр, Блок «Б»). Июнь-июль 2015г.
К концу лета 2015г. уже велось бетонирование второго этажа административно-бытового корпуса («Г-Д»), шла подготовка основания под фундаменты динамических дизельных источников бесперебойного питания Энергоцентра («Б»). Площадка выглядела так – фото ниже.
На фото: Энергоцентр («Б») и фундаменты машзала («А») с высоты птичьего полета. Август 2015г.
В декабре 2015 года приступили к монтажу инженерных систем. Начался монтаж индивидуального теплового пункта. В феврале 2016 года, каркасы всех пяти блоков («А»-«Д») были завершены. Металлоконструкции Энергоцентра (Блока «Б») достигли суммарного веса в 460 тонн. Суммарный вес металлоконструкций Хладоцентра (Блок «В») составил 100 тонн.
На фото: слева — Хладоцентр (Блок «В»), справа — Металлоконструкции энергоцентра (Блок «Б»). Январь 2016г. — февраль 2016г.
В мае 2016 года все корпуса были «закрыты» ограждающими конструкциями (то бишь — стены), за исключением технологических проемов, которые оставили для подачи оборудования и материалов для монтажа инженерных систем. Тем временем, параллельно внутри шел монтаж венткоробов в хладоцентре («В») и монтаж технологических трубопроводов в техподполье машзала («А»).
На фото: слева — венткороба в хладоцентре («В»), справа — технологические трубопроводы в техподполье Машзала («А»). Июнь 2016г.
Всего к лету 2016 года было смонтировано около 724 тонн металлоконструкций, использовано порядка 1 760 тонн арматуры.
На фото: Машзал (Блок «А»), Энергоцентр (Блок «Б»), Хладоцентр (Блок «В»), Административный корпус (Блок «Д») — лето 2016 года.
24 июня 2016 года в «Авантаже» была установлена первая дверь. Данное событие ознаменовало переход к новому этапу строительства — отделке внутренних помещений! В здании дата-центра будут установлены противопожарные двери с системой "антипаника" и с конструкцией, предусматривающей отсутствие порога. Все двери в здании оборудуются системой контроля доступа.
На фото: первая установленная в дата-центре «Авантаж» дверь
Установка оборудования
Первым типом оборудования, монтаж которого начался в мае 2016, стали дисковые затворы Tecofi (Франция). Система холодоснабжения дата-центра предполагает использование 18-ти драйкулеров, 9-ти чиллеров и 128-ми прецизионных кондиционеров. В период с 1 по 3 июня 2016 года на строительную площадку ЦОД "Авантаж" была осуществлена доставка первой партии основного технологического оборудования. В его состав вошли 5 комплектов дизель-роторных источников бесперебойного питания и 16 вентиляционных установок производства Euroclima, предназначенных для монтажа в энергоцентре. Всё оборудование устанавливалось сразу на предусмотренные проектом места. Всего, по проекту, в здании энергоцентра предусмотрена установка 14-ти дизель-роторных источников бесперебойного питания, мощностью 1650 кВА каждый. Они предназначены для обеспечения гарантированного бесперебойного электропитания всего комплекса ЦОД.
На фото: слева вверху — первые дисковые затворы в системе холодоснабжения дата-центра, справа вверху и снизу – доставка и установка дизель-роторных источников бесперебойного питания
В июле 2016-го на площадку строительства приехали 6-ть пластинчатых теплообменных аппарата производства фирмы Alfa Laval Potok и 6 холодильных машин (чиллеров) производства фирмы Cofely (Германия). Аппараты были установлены на проектные места, проведены работы по их трубопроводной обвязке. Всего в ЦОДе установлено 9 пластинчатых теплообменных аппарата, каждый из которых будет обеспечивать теплоотвод на 1600 кВт. Пластинчатые теплообменные аппараты применены для отвода тепла в режиме свободного охлаждения (freecooling'а). Для холодоснабжения в летний период года применены чиллеры внутренней установки с конденсатором охлаждаемым жидкостью с центробежными компрессорами Turbocore. Полная мощность избытков тепла, отводимая системой холодоснабжения ЦОД составит 11,5 МВт.
На фото: установка теплообменных аппаратов (слева) и чиллеров (справа)
Тем временем, к концу лета снаружи ЦОД уже выглядит вполне готовым, хоть и видно, что стоит на «поле боя» (фото ниже), а внутри проводится «нарезка» IT-пространства.
Под размещение IT-оборудования в «Авантаже» выделено 16 серверных залов, расположенных на 2-х этажах, по 8 серверных залов на этаже. Каждый серверный зал имеет размеры 13,1 х 30,2 м (S = 396 кв.м), высоту (от чистого пола до потолка) 5,0 м и способен вместить 140 серверных шкафов размером 800х1200 мм. Серверные залы будут оборудованы фальшполом, высотой 1000 мм для обеспечения подачи охлаждённого воздуха. В 13-ти серверных залах из 16-ти прецизионные кондиционеры для исключения доступа обслуживающего персонала в помещения с IT-оборудованием будут установлены вне серверных залов в выделенных, технологических коридорах.
Кондиционирование серверных залов рассчитано на отвод избытка тепла в размере 735 кВт на серверный зал и поддержание температуры охлаждающего воздуха на отметке +24 °C. Электроснабжение серверных залов будет осуществляться по 2-ум магистральным шинопроводам, номиналом 1600 А. Залы оборудуются аспирационными системами пожарообнаружения и газового пожаротушения.
На фото: вид ЦОДа «Авантаж» снаружи (сверху) и внутри во время нарезки ИТ-пространства к концу лета 2016 г. (снизу)
В начале осени на строительную площадку началась доставка и монтаж оборудования распределительного устройства 10 кВ и силовых трансформаторов производства компании Siemens (фото ниже). Всего проектом предусмотрена установка 112 ячеек 10 кВ, объединённых в 11 секций, и 41-го силового трансформатора 10/0,4 кВ. Для создания распределительного устройства 10 кВ ЦОД "Авантаж" используются 10 кВ ячейки серий NXair, Simosec и 8DJH. Мощность системы электроснабжения ЦОД — 17,3 МВт.
На фото: монтаж оборудования распределительного устройства и силовых трансформаторов
В сентябре нам пришлось провести сложную операцию по подъёму первой партии сухих охладителей производства компании Cabero на кровлю здания дата-центра. Для этого на стройплощадку был вызван 160-ти тонный подъёмный кран. В течении одного дня на проектные места были установлены все 8 сухих охладителей первой партии. Всего проектом предусмотрена установка 18-ти сухих охладителей. В проекте сухие охладители Cabero используются для отвода избытков тепла в атмосферу. При температуре внешнего воздуха ниже +9С система холодоснабжения ЦОД переходит в режим прямого охлаждения, в котором не используются компрессоры холодильных машин.
На фото: подъём первой партии сухих охладителей
Тем временем, в октябре 2016 снаружи дата-центра открыт фронт работ по благоустройству территории ЦОДа. Всего предстоит заасфальтировать 7800 кв.м автомобильных проездов и озеленить 11500 кв.м газонов. На территории будет организована автостоянка на 90 машиномест. Пока не верится, но здесь будет город-сад!
На фото: благоустройство территории ЦОДа «Авантаж»
К ноябрю 2016г. прецизионные кондиционеры Technair LV прибыли на стройплощадку и начали занимать проектные места. Всего в проекте предусмотрена установка 128 прецизионных кондиционеров в серверных залах и 4 в 2-х кроссовых помещениях. В каждом из 16-ти серверных залов устанавливается по 8-мь кондиционеров. Кондиционеры имеют холодопроизводительность по 105 кВт и резервируются по схеме N+1. В итоге, каждый аппаратный зал имеет потенциал отвода избытка тепла в 735 кВт.
В это же время кабельные галереи, помещения и установленное оборудование готово к прокладке кабельных линий распределительного устройства 10 кВ. Кабельные линии 10 кВ внутри комплекса зданий ЦОД свяжут между собой 112 ячеек, объединённых в 11 секций, и 41 силовой трансформатор, организовав совместно с дизель-роторными ИБП источник бесперебойного и гарантированного электропитания мощностью 18 МВт.
На фото: прецизионные кондиционеры (сверху) и будущая кабельная галерея (снизу)
В декабре 2016 года в дата-центре начался монтаж фальшполов. Всего установлено 9300 кв.м. фальшполов. 6400 кв.м — в серверных залах, остальные — в коридорах и технологических помещениях. В качестве производителя фальшполов выбрана компания Uniflair spa Schneider Electric, Schneider Electric. В серверных залах устанавливается фальшпол высотой 1 м, пространство под которым служит для подачи охлажденного воздуха к серверному оборудованию.
На фото: монтаж фальшполов
Ну и, под конец, вот так мы уже сейчас выглядим со спутника.
На этом пока прервемся, а вторая часть с оставшимися работами выйдет уже к открытию дата-центра. Плюс, возможно, будет дополнительный пост, в котором осветим подробнее интересные для вас моменты. С вопросами прошу в комменты.
Здесь можно узнать больше деталей о самом проекте.
Материал готовился при активном участии коллег из ООО «Авантаж».
Комментарии (14)
Oberst
13.04.2017 16:51Весьма познавательно. Приятно, что в нашей стране строятся объекты, связанные с развитием ИТ. Вот только вопрос, есть ли в этом центре хоть что-нибудь отечественного производства?
TS_IT
13.04.2017 16:52Отечественных материалов в ЦОД применено большое количество.
Кроме всех строительных и конструктивных материалов и элементов, все лотковые трассы выполнены на компании ДКС, все трубопроводы и воздуховоды, теплоизоляция, огнезащита так же российского производства.
Из элементов системы холодоснабжения теплообменники AlfaLaval и насосы Grundfos произведены на территории российских заводов этих производителей.
Nordicx86
14.04.2017 10:03странно 735кВт на 140 «стоек» это 5,25кВт на стойку… Маловато будет!
Pas
14.04.2017 11:245кВт — стандартная коммерческая стойка у большинства ЦОД. Нужно больше — докупай дополнительно.
Nordicx86
14.04.2017 12:01для ЦОДов постороеных в 08-09 годах может и да, а здесь явно ЦОД с прицелом на долгую жизнь и как-то странно такие лимиты выдавать. Я понимаю их расчет — даем 300-350 ватт на 2U + емкость под кросс и свитчи — получается как раз чуть больше 5 кВт на стойку.
Но современные машины чутка по прожорливее и с тем что теплоавая плотность на юнит всеравно будет расти не поспоришь — например GPU сервера в такую стойку уже не засунешь…Pas
14.04.2017 13:28Мощность на стойку — это не только ресурс энергосети, но и тепло-отведения. Любой ЦОД может предложить клиенту стойку большей мощности, чем расчётная, если ему понадобится за дополнительные деньги. Но большинству клиентов 5кВт за глаза.
Pas
14.04.2017 11:46Расскажите, что у вас планируется с каналами связи? Как будет достигаться отказоустойчивость от случайных раскопов оптики весёлыми трактористами и выгорания коллекторов?
Какая политика по присутствию сторонних операторов связи в ЦОД?
Далее, как у вас обстоит дело с энерго-резервированием на случай блэкаутов? От скольких и каких независимых источников у вас городские вводы?
На каком оборудовании и какими решениями будете строить собственную сеть в ЦОД?
Понятно, что проще сдавать машинные залы либо стойкоместа целиком, но будет ли у вас поюнитовая "розница"?
Не боитесь, что ощутимая удалённость от Москвы станет отпугивающим фактором для некоторых клиентов?
Планируете ли вы сдавать часть помещения под офисы клиентов для размещения дежурных бригад клиента, например?
Что вы думаете на счёт четвёртого корпуса DataLine Nord? Как бы вы охаректеризовали ваш ЦОД относительно, например, ДатаЛайновского на Коровинском шоссе?
TS_IT
14.04.2017 16:43Вадим, спасибо за интересные вопросы. По факту Вы подсказали тему для отдельного поста про политику продаж. Правда, это относится к зоне ответственности нашего заказчика — ООО «Авантаж». Поговорим с коллегами и дадим полную раскладку. По сети внутри ЦОД решение пока не принято. Вопрос по присутствию сторонних операторов связи в ЦОД тоже зададим им.
А пока отвечу на второй вопрос « Как обстоят дела по энерго-резервированию на случай блэкаутов? От скольких и каких независимых источников у вас городские вводы?»
Оборудование ЦОД Авантаж в штатном режиме получает питание от новой подстанции РП 10кВ НИЦ ЦИАМ, расположенной на территории ЦИАМ (чуть более 1,5 км от «Авантажа»). Подвод питания к ЦОД организован двумя лучами от двух взаимнорезервируемых секций РП10кВ. Каждый питающий луч прокладывается в отдельной траншее.
В свою очередь РП 10кВ НИЦ ЦИАМ получает питание от подстанции 220/110/10кВ — ПС Мячково от двух взаимнорезервируемых автотрансформаторов двумя лучами. Питающая подстанция 220/110/10кВ, также находится в непосредственной близости.
Таким образом, близкое расположение питающего центра — ПС Мячково (в пределах двух километров от ЦОД Авантаж), минимальное количество промежуточных пунктов распределения питания от объединенной энергосистемы Центра (ОЭС Центра), резервирование кабельных линий, секционирование луча А и луча В — минимизируют риски возможных аварий, которые могли бы привести к нарушению электроснабжения потребителей ЦОД Авантаж.
На случай «блэкаута» в системе электроснабжения ЦОД Авантаж предусмотрена система бесперебойного и гарантированного электроснабжения (СБГЭ). Она в ЦОД организована путем установки Дизельно-динамических источников бесперебойного питания. Они установлены в здании — Энергоцентр, примыкающий к Блоку машинных залов (посмотрите на схеме в начале поста).
Дизельно-динамических источников бесперебойного питания внедрены в систему электроснабжения на уровне 10кВ, и имеют степень резервирования N+1 в режиме работы «Continues Power». Распределительная сеть 10кВ ЦОД Авантаж построена по структуре 2N, начиная от каждого ДДИБП, тем самым исключается наличие единой точки отказа в системе распределения объекта.
Автономной работы системы топливоснабжения достаточно на 48 часов бесперебойной работы дизельно-динамических источников бесперебойного питания в режиме 100%-й загрузки ЦОД. При этом система топливоснабжения будет также работать в режиме N+1. Для более длительной автономной работы в системе топливоснабжения предусмотрена возможность дополнительной заправки топливом. Таким образом, ЦОД «Авантаж» имеет возможность не только поддерживать режим автономной работы системы электроснабжения необходимое количество времени, но также и проводить плановое/внеплановое сервисное обслуживание, и ремонт внезапно отказавшего элемента системы электроснабжения при необходимости.Pas
15.04.2017 14:29Спасибо за ответы.
Получается, как ни крути, городские вводы хоть и не зависимы друг от друга в зоне ответственности оператора ЦОД, но всё равно приходят от одной РП. Понятно, конечно, в условиях Подмосковья куда больше расстояния и сложно организовать независимые лучи с разных подстанций.
Интересно по поводу телекоммуникационных сетей и политике продаж услуг ЦОД, надеюсь, ваши коллеги поделятся информацией.
И ещё возник вопрос вдогонку: земля, она в каком правовом статусе? А то были ЦОД, которые были построены на территориях с мутными договорами субаренды и на личных договорённостях, в большинстве случаев это однажды оканчивалось спешным переездом ЦОД.
TS_IT
17.04.2017 10:46Вадим, про вводы, Вы абсолютно правы. Вопрос про землю также включили в список вопросов для владельцев проекта.
TS_IT
18.04.2017 12:26Вадим, вот ответы, которые сегодня нам дал генеральный директор ООО «Авантаж» — Александр Крок.
Расскажите, что у вас планируется с каналами связи? Как будет достигаться отказоустойчивость от случайных раскопов оптики веселыми трактористами и выгорания коллекторов? Какая политика по присутствию сторонних операторов связи в ЦОД?
В «Авантаже» будет обеспечена возможность любому оператору связи организовать два физически независимых ввода по ВОЛС. ЦОД полностью открыт к размещению у себя точек присутствия сторонних операторов. Если будет необходимость у арендаторов в услугах связи какого-то конкретного оператора, то вход на телекоммуникационную площадку ЦОДа будет обеспечен ТУ. Заказчики получат того оператора, которого пожелают. Наше присутствие будет на всех основных узлах обмена трафиком в Москве.
Понятно, что проще сдавать машинные залы либо стойкоместа целиком, но будет ли у вас поюнитовая «розница»?
Во-первых, есть часть услуг, которые непосредственно связаны с поюнитовой арендой. Например, размещение оборудования операторов связи и клиентов в кроссовых помещениях и других технологически разделяемых зонах.
Во-вторых, если будет выявлена необходимость в поюнитовой аренде пространства ЦОД, то, вероятнее всего, ею будет заниматься отдельный сервис-провайдер.
Не боитесь, что ощутимая удаленность от Москвы станет отпугивающим фактором для некоторых клиентов?
Удалённость иллюзорная! В реальности, добраться до ЦОД Авантаж (находится в 9 км от МКАД) в рабочие время проще, чем до некоторых ЦОД, расположенных внутри МКАД.
Планируете ли вы сдавать часть помещения под офисы клиентов для размещения дежурных бригад клиента, например?
Планируем, для этого построен 4-х этажное административное здание.
Что вы думаете на счёт четвёртого корпуса DataLine Nord? Как бы вы охарактеризовали ваш ЦОД относительно, например, ДатаЛайновского на Коровинском шоссе?
Наличие нормальных конкурентов — путь к индустриальному развитию.
Земля, она в каком правовом статусе? А то были ЦОД, которые были построены на территориях с мутными договорами субаренды и на личных договорённостях, в большинстве случаев это однажды оканчивалось спешным переездом ЦОД.
В кадастровых документах точно определен статус объекта — Центр хранения и обработки данных — ЦОД «Авантаж».
theguyfromwallstreet
14.04.2017 17:14А какова окупаемость такого ЦОД?
TS_IT
14.04.2017 17:16Как рассказал нам генеральный директор ООО «Авантаж» — Александр Крок — Окупаемость проекта может варьироваться от загрузки и предоставляемых услуг от 3 до 7 лет.
pmcode
Так вот как он реализуется — закон Яровой :)