Статья подготовлена Всеволодом Воробьевым, руководителем направления ЦОД Центра сетевых решений компании «Инфосистемы Джет»
Весной этого года мы построили большой дата-центр для одного из крупнейших отечественных банков – ВТБ24. За один год мы выполнили полный комплекс работ: от формирования технического задания и разработки проектной документации до выполнения пуско-наладки и сдачи ЦОД. Дата-центр площадью 400 м? (без учета гидромодуля) рассчитан на 92 серверных/сетевых шкафа. Его общая мощность – 1600 кВт, максимальная полезная мощность – 800 кВт.
Рисунок 1 Общий план ЦОД
Рисунок 2 Машинный зал ЦОД
После проведения строительных работ мы реализовали следующие инженерные системы:
Перед началом работ выделенные площади под ЦОД представляли собой обычные офисные помещения с офисной мебелью. В первую очередь нужно было демонтировать все перегородки и покрытия пола и стен, снять бетонную стяжку до бетонной плиты, выровнять пол, загрунтовать и покрасить в краску светлых тонов.
Параллельно шел демонтаж существующих конструкций в помещениях, а именно:
Перепланировку помещений реализовали в следующем объеме:
Рисунок 3 Каркас потолочного покрытия
Система электроснабжения ЦОД выполнена по полностью зеркальной схеме 2N (начиная с трансформаторов и заканчивая PDU в шкафах). Специально под ЦОД была построена новая трансформаторная подстанция. Комплекс ИБП для ИТ-нагрузки состоит из двух запараллеленных моноблоков по 500 кВА в каждом плече. Для насосов и прочих потребителей системы кондиционирования предусмотрен отдельный комплекс ИБП. Время автономной работы всего комплекса ИБП – 20 мин. В помещении щитовой для ИБП спроектирована и смонтирована специальная разгрузочная рама. Вся силовая разводка в машзале выполнена в лотках в пространстве фальшпола.
Установлены ДГУ уличного исполнения в шумозащищенном морском контейнере, оснащенном полным комплексом инженерной инфраструктуры. Для уменьшения вредного влияния выхлопа на окружающую среду используются катализаторы с серебряным фильтром.
Рисунок 4 Контейнер с ДГУ
Основная особенность данного проекта – характеристики системы кондиционирования. Мы использовали мощные энергоэффективные чиллеры, способные отводить до 1МВт тепла. В машзале ЦОДа применены как шкафные кондиционеры, стоящие по периметру, так и внутрирядные, образующие так называемые гермозоны, в которых можно устанавливать вычислительное оборудование мощностью до 30 кВт на стойку.
Система холодоснабжения одноконтурная. Для того чтобы сэкономить пространство в самом помещении, для оборудования гидромодуля была смонтирована пристройка к зданию. В гидромодуле находится насосная группа, гребенки, баки-аккумуляторы, расширительные баки и т.д.
Вся трубная разводка сделана не в пространстве фальшпола, а в подвальном помещении, что потенциально уменьшает последствия протечек, а также повышает удобство в обслуживании. Схема резервирования и ремонтопригодности системы полностью соответствует TIER III от Uptime Instituite.
Теплоносителем в контуре холодоснабжения является раствор пропиленгликоля (42%) с параметрами 10/15 °С. Циркуляция теплоносителя в магистральных трубопроводах предусмотрена одновременно по основному и резервному трубопроводу.
Система холодоснабжения оснащена автоматической системой защиты от протечек. При падении давления в контуре холодоснабжения перекрывается автоматическая запорная арматура, разделяя его на два независимых участка.
Насосная группа внешнего контура состоит из 2-х насосов (схема резервирования «1+1»).
Для поддержания работоспособности системы в случае сбоев в электроснабжении предусмотрены 4 бака-аккумулятора по 5000 литров каждый. Время автономной работы – 20 мин.
Для повышения надежности функционирования системы использован двойной ввод кабелей электроснабжения в установки.
Рисунок 5 Чиллеры
Рисунок 6 Шкафные кондиционеры
Рисунок 7 Внутрирядные кондиционеры
Рисунок 8 CFD модель ЦОД
Рисунок 9 Аккумуляторные баки
Рисунок 10 Гребенки
СКС в данном проекте не совсем обычная. Заказчик принял решение организовать топологию с центральным кроссом без промежуточных узлов. Причем новая СКС охватывает еще три существующие площадки. Схема реализации центрального кросса – cross-connect. Эта схема хоть и обладает некоторой избыточностью, зато полностью универсальна. На станционную часть кросса расшиваются сразу все порты центральных коммутаторов LAN и SAN. Шкафы с коммутаторами запираются, и к ним имеет доступ только высококвалифицированный персонал. На линейную сторону кросса приходят линки от всех серверных шкафов. Проектная емкость кросса составляет около 18000 портов! Нашим инженерам была поставлена задача оптимизировать данное решение. Интересным способом организации кросса стало использование MTP-панелей (кассет). Кроссировка между полями осуществляется тоже 12-волоконными МТР-шнурами. Таким образом, нам удалость снизить число шкафов под кросс почти в 5 раз (с 18 до 4 шкафов). Эта первая инсталляция такого решения в РФ.
Еще одно большое преимущество такого подхода – безболезненный переход на технологию 40G, так как вся линия между коммутатором и сервером может быть выполнена 12-волоконными МТР-кабелями. В случае применения оборудования 10/16G со стороны сервера и коммутатора используются гидры MTP-LC.
Вся СКС данного проекта построена исключительно на оптике ОМ4/OS2. Разводка полностью выполнена в сетчатых лотках в пространстве фальшпола.
Рисунок 11 Структурная схема СКС
Готовы ответить на дополнительные вопросы.
Весной этого года мы построили большой дата-центр для одного из крупнейших отечественных банков – ВТБ24. За один год мы выполнили полный комплекс работ: от формирования технического задания и разработки проектной документации до выполнения пуско-наладки и сдачи ЦОД. Дата-центр площадью 400 м? (без учета гидромодуля) рассчитан на 92 серверных/сетевых шкафа. Его общая мощность – 1600 кВт, максимальная полезная мощность – 800 кВт.
Рисунок 1 Общий план ЦОД
Рисунок 2 Машинный зал ЦОД
После проведения строительных работ мы реализовали следующие инженерные системы:
- система фальшполов;
- структурированная кабельная система, в том числе cross-connect;
- система бесперебойного электроснабжения;
- система распределения электропитания;
- система электроосвещения;
- система кондиционирования и поддержания влажности;
- система вентиляции;
- система гарантированного электроснабжения (ДГУ);
- система автоматического газового пожаротушения;
- система мониторинга и аварийной сигнализации параметров (электроснабжения, ИБП, ДГУ, кондиционирование, температура в зале);
- система охранного видеонаблюдения;
- система контроля и управления доступом;
- автоматизированная система диспетчерского управления.
Строительные работы
Перед началом работ выделенные площади под ЦОД представляли собой обычные офисные помещения с офисной мебелью. В первую очередь нужно было демонтировать все перегородки и покрытия пола и стен, снять бетонную стяжку до бетонной плиты, выровнять пол, загрунтовать и покрасить в краску светлых тонов.
Параллельно шел демонтаж существующих конструкций в помещениях, а именно:
- в помещениях, планируемых для размещения ЦОДа и ВРУ, заглушили и демонтировали все инженерные коммуникации и другое оборудование инженерных систем, не относящихся к системам серверной комнаты, демонтировали фальшпотолок, короба системы вентиляции;
- демонтировали элементы существующих распределительной и слаботочной электросетей;
- убрали радиаторы и стояки системы отопления, фанкойлы.
Перепланировку помещений реализовали в следующем объеме:
- выполнили сооружение потолочного перекрытия (оно защищает от затопления сверху);
- в выделенных помещениях смонтировали фальшпотолок, причем его конструкция включила в себя металлизированные плиты;
- существующие оконные проемы помещения заложили кирпичом;
- в помещениях ЦОДа и ВРУ установили фальшпол (его высота – 1000 мм). Для заноса оборудования на уровень фальшпола предусмотрели подъемный стол.
Рисунок 3 Каркас потолочного покрытия
Система электроснабжения ЦОД
Система электроснабжения ЦОД выполнена по полностью зеркальной схеме 2N (начиная с трансформаторов и заканчивая PDU в шкафах). Специально под ЦОД была построена новая трансформаторная подстанция. Комплекс ИБП для ИТ-нагрузки состоит из двух запараллеленных моноблоков по 500 кВА в каждом плече. Для насосов и прочих потребителей системы кондиционирования предусмотрен отдельный комплекс ИБП. Время автономной работы всего комплекса ИБП – 20 мин. В помещении щитовой для ИБП спроектирована и смонтирована специальная разгрузочная рама. Вся силовая разводка в машзале выполнена в лотках в пространстве фальшпола.
Установлены ДГУ уличного исполнения в шумозащищенном морском контейнере, оснащенном полным комплексом инженерной инфраструктуры. Для уменьшения вредного влияния выхлопа на окружающую среду используются катализаторы с серебряным фильтром.
Рисунок 4 Контейнер с ДГУ
Система кондиционирования
Основная особенность данного проекта – характеристики системы кондиционирования. Мы использовали мощные энергоэффективные чиллеры, способные отводить до 1МВт тепла. В машзале ЦОДа применены как шкафные кондиционеры, стоящие по периметру, так и внутрирядные, образующие так называемые гермозоны, в которых можно устанавливать вычислительное оборудование мощностью до 30 кВт на стойку.
Система холодоснабжения одноконтурная. Для того чтобы сэкономить пространство в самом помещении, для оборудования гидромодуля была смонтирована пристройка к зданию. В гидромодуле находится насосная группа, гребенки, баки-аккумуляторы, расширительные баки и т.д.
Вся трубная разводка сделана не в пространстве фальшпола, а в подвальном помещении, что потенциально уменьшает последствия протечек, а также повышает удобство в обслуживании. Схема резервирования и ремонтопригодности системы полностью соответствует TIER III от Uptime Instituite.
Теплоносителем в контуре холодоснабжения является раствор пропиленгликоля (42%) с параметрами 10/15 °С. Циркуляция теплоносителя в магистральных трубопроводах предусмотрена одновременно по основному и резервному трубопроводу.
Система холодоснабжения оснащена автоматической системой защиты от протечек. При падении давления в контуре холодоснабжения перекрывается автоматическая запорная арматура, разделяя его на два независимых участка.
Насосная группа внешнего контура состоит из 2-х насосов (схема резервирования «1+1»).
Для поддержания работоспособности системы в случае сбоев в электроснабжении предусмотрены 4 бака-аккумулятора по 5000 литров каждый. Время автономной работы – 20 мин.
Для повышения надежности функционирования системы использован двойной ввод кабелей электроснабжения в установки.
Рисунок 5 Чиллеры
Рисунок 6 Шкафные кондиционеры
Рисунок 7 Внутрирядные кондиционеры
Рисунок 8 CFD модель ЦОД
Рисунок 9 Аккумуляторные баки
Рисунок 10 Гребенки
Структурированная кабельная система
СКС в данном проекте не совсем обычная. Заказчик принял решение организовать топологию с центральным кроссом без промежуточных узлов. Причем новая СКС охватывает еще три существующие площадки. Схема реализации центрального кросса – cross-connect. Эта схема хоть и обладает некоторой избыточностью, зато полностью универсальна. На станционную часть кросса расшиваются сразу все порты центральных коммутаторов LAN и SAN. Шкафы с коммутаторами запираются, и к ним имеет доступ только высококвалифицированный персонал. На линейную сторону кросса приходят линки от всех серверных шкафов. Проектная емкость кросса составляет около 18000 портов! Нашим инженерам была поставлена задача оптимизировать данное решение. Интересным способом организации кросса стало использование MTP-панелей (кассет). Кроссировка между полями осуществляется тоже 12-волоконными МТР-шнурами. Таким образом, нам удалость снизить число шкафов под кросс почти в 5 раз (с 18 до 4 шкафов). Эта первая инсталляция такого решения в РФ.
Еще одно большое преимущество такого подхода – безболезненный переход на технологию 40G, так как вся линия между коммутатором и сервером может быть выполнена 12-волоконными МТР-кабелями. В случае применения оборудования 10/16G со стороны сервера и коммутатора используются гидры MTP-LC.
Вся СКС данного проекта построена исключительно на оптике ОМ4/OS2. Разводка полностью выполнена в сетчатых лотках в пространстве фальшпола.
Рисунок 11 Структурная схема СКС
Готовы ответить на дополнительные вопросы.
Комментарии (10)
MasMaX
13.10.2015 13:04Самая интересная часть (СКС) и собственно сама серверная без фоток и вообще кратко :-)
Chromex
13.10.2015 15:55Стоит два чиллера пятисоки, а полезная нагрузка цода 800кВт, если один выйдет из строя, то все будет плохо? Ну, баки будут помогать минут 40.
У вас два так называемых какса (CACS) с 30кВт на стойку, всего по 420кВт на коридор (а их два) и пара вагонов шкафов которые охлаждаются прецензионниками, следовательно, как рассчитывали нагрузку и количество шкафов? Или есть планы и возможность (самое главное) усилить инженерку (хотя именно она, обычно, делается на века, а добавляют только шкафы)?
Lan_Practice
13.10.2015 16:44Установлено два чиллера STULZ по одному мегавату. Схема резервирования 2N. Баки на 20 мин.
Нагрузку по шкафам и их количество нам согласовывал ВТБ24. Всего 92 шкафа. Общая мощность ИТ 800 кВт. Деление на гемрозоны и openspace позволяет устанавливать высоконагруженные стойки (до 30 кВт) и низконагруженные (до 10 кВт). Это позволяет выбранная технология, но не факт, что у банка все стойки в каксе и в openspace получится нагрузить на 100%. Инженерка не масштабируется. ЦОД планируется загрузить по полной не ранее 2018г.
router
17.10.2015 21:45Эта первая инсталляция такого решения в РФ.
Первая инсталляция по какому критерию
- кроссивровка на MTP
- у вашего поставщика СКС
- у вас
?
Если вы имели в виду пункт 1, то заранее огорчу: это не первая инсталляция в России.
gotch
Ну что сказать, как отваливалась и тормозила АБС в офисах, так и отваливается и тормозит. :-)
Оборудование на 1.6 мегаватта, отвод тепла на 1. В чем-то подвох?
Нет ли фотографий этой инновационной оптической кроссовой?
Kichnap
Потому что электричество тратится на перенос тепла из помещения наружу, а не на производство холода. Т.е. грубо говоря, чтобы снять 3 кВт теплоизбытков нужно, например, 1,5 кВт электроэнергии.
Lan_Practice
1,6 МВт — это не мощность ИТ оборудования, а общая подведенная к ЦОД мощность, 800 кВт — полезная нагрузка (серверные и сетевые стойки). Охлаждение рассчитано на 1 МВт, потому что учитываем тепловыделение ИБП/Щитовой Фото СКС нет, но есть схемы ;)
homecreate
То есть PUE=2, верно?
Lan_Practice
Нет, не совсем верно ))
Подведенная мощность 1,6МВт расcчитана на летний максимум на температуру воздуха +38, когда вся система кондиционирования работает на 100%.
При этом может произойти авария на городских вводах, и ЦОД станет работать от дизелей, поэтому в расчет еще добавляются дополнительные нагрузки типа заряда батарей ИБП и т.д. Это так называемый «Аварийный режим». Вся подведенная мощность, ТП, ВРУ и т.д. в данном проекте рассчитана именно на аварийный режим.
Что касается PUE, то проектное среднегодовое значение для данного ЦОД составляет 1,41. Реальное значение PUE сейчас замерить не получится т.к. ЦОД загружен на 25-30%.