Нашему ЦОДу в Новосибирске исполнилось полтора года. За это время в дата-центре выросла зона доступности облака DataLine для заказчиков из Сибири и Дальнего Востока, а также появились новые услуги. Сейчас в новосибирском облаке размещаются почтовые сервисы, облачные диски клиентов, объектные хранилища, сервисы DBaaS, Kubernetes, сервисы ИБ, DR-площадки и резервные копии. 

В фоторепортаже из Новосибирска посмотрим, как работает дата-центр сегодня.

Факты про новосибирский дата-центр: 

• адрес: улица Менделеева, д. 1,

• 3 машзала на 300 стойко-мест суммарно,

• общая площадь 1 800 м²,

• введенная мощность 3 МВт,

• средняя мощность на стойку 5,4 кВт,

• уровень Tier III

ЦОД на карте зон доступности

Новосибирский ЦОД – самый восточный дата-центр «РТК-ЦОД». В стойках «Новосибирска» и в новосибирском облаке размещаются не только местные заказчики, но и клиенты из Барнаула, Кемерова, Красноярска, Владивостока – все, кому важно связать свой регион со столицей или мировыми площадками.

Связность новосибирского ЦОДа с Москвой обеспечивает MSK-IX – наша партнерская сеть обмена трафиком. MSK-IX организует пиринг с ЦОДами и другими крупными площадками в Москве, Санкт-Петербурге, Екатеринбурге, Казани, Владивостоке, Риге и других городах. 

Тут мы уже рассказывали, как работает сетевая связность через MSK-IX и что она дает клиентам наших ЦОДов. При построении маршрутов между ЦОДами проектировщики сети ориентируются на кратчайшие пути прохождения телеком-магистралей: как правило, они идут по федеральным трассам, железнодорожным путям или траверсам и опорам энергетиков.    

ЦОД на карте города

Новосибирский дата-центр расположился не в промзоне, а в жилом Калининском районе, так что доехать из Центра на автомобиле можно за 15 минут. На общественном транспорте добираемся так:

От станции метро «Заельцовская» садимся на автобус, троллейбус или трамвай, едем 6 остановок до «Улицы 25 лет Октября» и дальше идем 740 метров до улицы Менделеева, дом 1.

Из-за близкого соседства с жилыми домами было важно позаботиться о защите соседей от шума. Еще на этапе проектирования мы задали допустимый уровень звука в 60 ДБ и подобрали оборудование в соответствии с этими параметрами. Например, запланировали шумоподавление для дизель-генераторных установок. Сейчас это выглядит вот так:

Доступ в ЦОД и физическая безопасность

Внутрь можно попасть по пропуску, для его оформления необходим паспорт. Посетителям за рулем также нужно указать номер авто. Если пропуск оформлен, на проходной откроют в любое время дня и ночи.

 На всей территории ведется круглосуточное видеонаблюдение:

Всего на территории оборудовано 106 видеокамер. Их трансляция собирается на видеостене в службе охраны, а видеозаписи отправляются в наше облако и хранятся там 1 месяц.

Так выглядит пост охраны на проходной. Здесь получаем наш пропуск:

Турникет на входе оборудован системой контроля и управления доступом. Такими  считывателями оснащены все двери внутри здания. Пропуск понадобится для входа в любое служебное или офисное помещение. Права доступа зашиты в самой карточке: в некоторые внутренние помещения могут пройти только инженеры с соответствующим уровнем допуска.

Машинные залы

Все стойки с ИТ-оборудованием размещаются в трех машинных залах на втором этаже. По традиции, в каждом региональном ЦОДе мы даем машзалам названия, связанные с городом. Новосибирские залы получили свои имена в честь мостов через Обь:

• Димитровский,

• Октябрьский,

• Бугринский.

Первые 2 зала одинаковые по площади, там по 98 стойко-мест. Третий вмещает уже 104 стойки – этот зал модернизировали под специальные пожелания заказчиков.

Каждый зал находится в специальной гермозоне, которая обезопасит оборудование в случае пожара, наводнения или урагана. Стены гермозон не пропускают влагу и пыль, а также сдерживают распространение огня. Надежность защиты от воды проверяют до ввода в эксплуатацию: каждую гермозону проливают водой и убеждаются, что потоки стекают по специальным желобам в трубопровод снаружи.

В зале можно разместить стойки любого форм-фактора, а также организовать отдельный кейдж. Специалисты дизайн-центра DataLine помогают грамотно расположить оборудование в зале, например, поставить наряду со стандартными стойками более широкие и глубокие:

Все стойки ставим по принципу горячих и холодных коридоров. В холодном коридоре поддерживается температура 23–27 °С и влажность 30–70 %.

Собирать информацию о климате в зале помогают вот такие датчики температуры и влажности. По требованиям стандарта Tier III они установлены на высоте 1,5 метра от пола:

По желанию клиента мы можем модернизировать электроснабжение и охлаждение залов под более мощные стойки с трехфазным питанием:

Над коридорами между стойками установлены видеокамеры. Оборудование установлено так, что все двери просматриваются с двух сторон:

Также у клиентов есть техническая возможность установить свои видеокамеры и следить за порядком самостоятельно.

Энергоснабжение

Система энергоснабжения зарезервирована по схеме 2N: каждый ее элемент дублируется. В ЦОДе 4 собственные трансформаторные подстанции, каждая мощностью 1 600 кВА. От города к трансформаторам подходит два независимых ввода электропитания напряжением 10 кВ.

От трансформаторов электричество поступает на источники бесперебойного питания (ИБП), которые выравнивают напряжение и страхуют оборудование от перебоев в электропитании. Всего в дата-центре 18 вот таких ИБП: 

К каждому из них подключены 44 аккумуляторные батареи (АКБ). Если городское питание пропадет, они обеспечат работу дата-центра в течение 12 минут.

Этого времени хватит для запуска дизель-генераторных установок (ДГУ): обычно они выходят в рабочий режим за 30 секунд. Всего в новосибирском ЦОДе 3 вот таких ДГУ:

При стопроцентной нагрузке дизельный двигатель потребляет 340 литров топлива в час. Поэтому мы держим запасы в расходных баках ДГУ и в топливохранилище. Всего в запасах хранится 11 400 литров – такого количества хватит на 12 часов автономной работы дата-центра.

Холодоснабжение

Для охлаждения оборудования в дата-центре используется схема с фреоновыми прецизионными кондиционерами.

В каждом машинном зале работает по 8 кондиционеров, 4 из них – с парогенератором.

В выбранной схеме внутренние блоки кондиционеров забирают теплый воздух из горячего коридора в машинном зале. Внутри блока есть теплообменник, где воздух охлаждается, а нагретый фреон отправляется в обратную магистраль системы холодоснабжения, которая соединяется с внешними блоками на крыше.

Вся система холодоснабжения зарезервирована по схеме N+1.

Пожарная безопасность

Дата-центр оснащен системой газового и порошкового пожаротушения. Порошок используем только для тушения в топливохранилищах, где нет чувствительной электроники.

Для противопожарной защиты всех машинных залов и технологических помещений на 1 этаже оборудована станция пожаротушения с баллонами газа. Внутри них – хладон-227, это вещество безопасно для ИТ-оборудования в ЦОДе. 

Всего в системе 10 направлений пожаротушения. Здесь тоже резервирование 2N: на каждое направление предусмотрен основной и резервный запас огнетушащего вещества – всего от 1 до 3 баллонов, в зависимости от объема помещения, которое необходимо потушить. От них газ расходится по таким желтым трубам:

В каждом помещении трубы проходят под фальшполом и по потолку. Например, трубы в машинном зале заканчиваются таким специальным распылителем: 

А вот такие трубы под фальшполом:

Каждый зал оборудован дымовыми и комбинированными датчиками на потолке и под полом. Также в залах установлены пожарные сигнализации-извещатели:

Датчики реагируют на основные признаки пожара: открытый огонь, задымление или появление мелкодисперсной смеси в воздухе. Во всех этих случаях сигналы от датчиков поступят в систему пожаротушения и автоматически приведут ее в предпусковую готовность.

Одновременно с этим дежурные инженеры в диспетчерской получат оповещение в системе мониторинга с указанием координат сработавшего датчика на схеме здания. Задача инженеров – проверить ситуацию и, если необходимо, подтвердить пуск газа по системе пожаротушения. Подтверждение нужно, чтобы убедиться в безопасности людей на месте срабатывания.   

Централизованный автопуск газа предусмотрен по стандартам Tier III, но, помимо этого, около каждой двери есть кнопки для ручного пуска:

Мониторинг

В диспетчерскую поступает не только информация с противопожарных датчиков, но и все данные по инженерным системам: климатические условия в зале, состояние кабельных вводов, влажность, кондиционирование, ИБП, ДГУ, топливо.

Дежурные обходят центр и проверяют состояние оборудования и ИТ-инфраструктуры каждые четыре часа.

Для мониторинга облачных сервисов часть данных собирается на физическом уровне. Например, состояние сетевых портов проверяем с помощью отдельной сети out-of-band, о которой подробнее уже рассказывали тут. Для отслеживания статусов хостов виртуализации используются специальные «маячки», о работе с ними мы напишем отдельный пост. На уровнях выше смотрим на утилизацию ресурсов CPU, RAM, дисков и так далее. Эти данные доступны инженерам виртуализации как в Новосибирске, так и в Москве, в едином ситуационном центре.   

Телеком

В здании ЦОДа 2 независимых кабельных ввода. Через них в здание заходят оптические кабели нескольких операторов связи: «Ростелекома», MSK-IX, «Авантела», Orange Business, «Новотелекома», ТТК, «Кортэла».

Под запросы клиентов мы можем продумывать индивидуальные сетевые схемы и модернизировать СКС. Например, для одного из проектов к нам в ЦОД приезжал подрядчик для разработки схемы с использованием меди и оптики. В итоге организовали вот такие патч-панели с красиво уложенной оптикой и медью:

Вспомогательная инфраструктура и быт

Слева от входа есть отдельная зона погрузки и разгрузки оборудования. За дверью находится просторная зона распаковки: зимой там можно оставить оборудование отогреваться.

Внутри есть грузовой лифт со всем необходимым для бережной перевозки серверов:

В коридоре второго этажа для клиентов оборудовали специальные шкафы и ящики, например: здесь можно хранить инструменты:

Мы внимательно относимся к охране труда и заботимся о безопасных условиях работы для наших инженеров. В помещении ГРЩ оборудован вот такой уголок со средствами индивидуальной защиты. Здесь же находится аптечка:

Будем рады видеть вас в качестве гостей – реальных или виртуальных!