Нашему ЦОДу в Новосибирске исполнилось полтора года. За это время в дата-центре выросла зона доступности облака DataLine для заказчиков из Сибири и Дальнего Востока, а также появились новые услуги. Сейчас в новосибирском облаке размещаются почтовые сервисы, облачные диски клиентов, объектные хранилища, сервисы DBaaS, Kubernetes, сервисы ИБ, DR-площадки и резервные копии. 

В фоторепортаже из Новосибирска посмотрим, как работает дата-центр сегодня.

Факты про новосибирский дата-центр: 

  • адрес: улица Менделеева, д. 1,

  • 3 машзала на 300 стойко-мест суммарно,

  • общая площадь 1 800 м²,

  • введенная мощность 3 МВт,

  • средняя мощность на стойку 5,4 кВт,

  • уровень Tier III

ЦОД на карте зон доступности

Новосибирский ЦОД – самый восточный дата-центр «РТК-ЦОД». В стойках «Новосибирска» и в новосибирском облаке размещаются не только местные заказчики, но и клиенты из Барнаула, Кемерова, Красноярска, Владивостока – все, кому важно связать свой регион со столицей или мировыми площадками.

Города присутствия сети дата-центров «Ростелеком-ЦОД».
Города присутствия сети дата-центров «Ростелеком-ЦОД».

Связность новосибирского ЦОДа с Москвой обеспечивает MSK-IX – наша партнерская сеть обмена трафиком. MSK-IX организует пиринг с ЦОДами и другими крупными площадками в Москве, Санкт-Петербурге, Екатеринбурге, Казани, Владивостоке, Риге и других городах. 

Тут мы уже рассказывали, как работает сетевая связность через MSK-IX и что она дает клиентам наших ЦОДов. При построении маршрутов между ЦОДами проектировщики сети ориентируются на кратчайшие пути прохождения телеком-магистралей: как правило, они идут по федеральным трассам, железнодорожным путям или траверсам и опорам энергетиков.    

ЦОД на карте города

Новосибирский дата-центр расположился не в промзоне, а в жилом Калининском районе, так что доехать из Центра на автомобиле можно за 15 минут. На общественном транспорте добираемся так:

От станции метро «Заельцовская» садимся на автобус, троллейбус или трамвай, едем 6 остановок до «Улицы 25 лет Октября» и дальше идем 740 метров до улицы Менделеева, дом 1.

Из-за близкого соседства с жилыми домами было важно позаботиться о защите соседей от шума. Еще на этапе проектирования мы задали допустимый уровень звука в 60 ДБ и подобрали оборудование в соответствии с этими параметрами. Например, запланировали шумоподавление для дизель-генераторных установок. Сейчас это выглядит вот так:

Доступ в ЦОД и физическая безопасность

Внутрь можно попасть по пропуску, для его оформления необходим паспорт. Посетителям за рулем также нужно указать номер авто. Если пропуск оформлен, на проходной откроют в любое время дня и ночи.

 На всей территории ведется круглосуточное видеонаблюдение:

Всего на территории оборудовано 106 видеокамер. Их трансляция собирается на видеостене в службе охраны, а видеозаписи отправляются в наше облако и хранятся там 1 месяц.

Так выглядит пост охраны на проходной. Здесь получаем наш пропуск:

Турникет на входе оборудован системой контроля и управления доступом. Такими  считывателями оснащены все двери внутри здания. Пропуск понадобится для входа в любое служебное или офисное помещение. Права доступа зашиты в самой карточке: в некоторые внутренние помещения могут пройти только инженеры с соответствующим уровнем допуска.

Машинные залы

Все стойки с ИТ-оборудованием размещаются в трех машинных залах на втором этаже. По традиции, в каждом региональном ЦОДе мы даем машзалам названия, связанные с городом. Новосибирские залы получили свои имена в честь мостов через Обь:

  • Димитровский,

  • Октябрьский,

  • Бугринский.

Первые 2 зала одинаковые по площади, там по 98 стойко-мест. Третий вмещает уже 104 стойки – этот зал модернизировали под специальные пожелания заказчиков.

Каждый зал находится в специальной гермозоне, которая обезопасит оборудование в случае пожара, наводнения или урагана. Стены гермозон не пропускают влагу и пыль, а также сдерживают распространение огня. Надежность защиты от воды проверяют до ввода в эксплуатацию: каждую гермозону проливают водой и убеждаются, что потоки стекают по специальным желобам в трубопровод снаружи.

В зале можно разместить стойки любого форм-фактора, а также организовать отдельный кейдж. Специалисты дизайн-центра DataLine помогают грамотно расположить оборудование в зале, например, поставить наряду со стандартными стойками более широкие и глубокие:

Все стойки ставим по принципу горячих и холодных коридоров. В холодном коридоре поддерживается температура 23–27 °С и влажность 30–70 %.

Собирать информацию о климате в зале помогают вот такие датчики температуры и влажности. По требованиям стандарта Tier III они установлены на высоте 1,5 метра от пола:

По желанию клиента мы можем модернизировать электроснабжение и охлаждение залов под более мощные стойки с трехфазным питанием:

В этом изолированном холодном коридоре температура поддерживается на нижней границе в 23 °С – это необходимо для стоек повышенной мощности 18 кВт с блейд-серверами.
В этом изолированном холодном коридоре температура поддерживается на нижней границе в 23 °С – это необходимо для стоек повышенной мощности 18 кВт с блейд-серверами.
А это горячий коридор.
А это горячий коридор.

Над коридорами между стойками установлены видеокамеры. Оборудование установлено так, что все двери просматриваются с двух сторон:

Также у клиентов есть техническая возможность установить свои видеокамеры и следить за порядком самостоятельно.

Энергоснабжение

Система энергоснабжения зарезервирована по схеме 2N: каждый ее элемент дублируется. В ЦОДе 4 собственные трансформаторные подстанции, каждая мощностью 1 600 кВА. От города к трансформаторам подходит два независимых ввода электропитания напряжением 10 кВ.

От трансформаторов электричество поступает на источники бесперебойного питания (ИБП), которые выравнивают напряжение и страхуют оборудование от перебоев в электропитании. Всего в дата-центре 18 вот таких ИБП: 

Источники бесперебойного питания Vertiv.
Источники бесперебойного питания Vertiv.

К каждому из них подключены 44 аккумуляторные батареи (АКБ). Если городское питание пропадет, они обеспечат работу дата-центра в течение 12 минут.

Стеллаж с АКБ в одной из двух аккумуляторных.
Стеллаж с АКБ в одной из двух аккумуляторных.

Этого времени хватит для запуска дизель-генераторных установок (ДГУ): обычно они выходят в рабочий режим за 30 секунд. Всего в новосибирском ЦОДе 3 вот таких ДГУ:

Каждая ДГУ мощностью 1 800 кВт.
Каждая ДГУ мощностью 1 800 кВт.

При стопроцентной нагрузке дизельный двигатель потребляет 340 литров топлива в час. Поэтому мы держим запасы в расходных баках ДГУ и в топливохранилище. Всего в запасах хранится 11 400 литров – такого количества хватит на 12 часов автономной работы дата-центра.

Холодоснабжение

Для охлаждения оборудования в дата-центре используется схема с фреоновыми прецизионными кондиционерами.

Ряд кондиционеров Vertiv.
Ряд кондиционеров Vertiv.

В каждом машинном зале работает по 8 кондиционеров, 4 из них – с парогенератором.

В выбранной схеме внутренние блоки кондиционеров забирают теплый воздух из горячего коридора в машинном зале. Внутри блока есть теплообменник, где воздух охлаждается, а нагретый фреон отправляется в обратную магистраль системы холодоснабжения, которая соединяется с внешними блоками на крыше.

Вся система холодоснабжения зарезервирована по схеме N+1.

Пожарная безопасность

Дата-центр оснащен системой газового и порошкового пожаротушения. Порошок используем только для тушения в топливохранилищах, где нет чувствительной электроники.

Для противопожарной защиты всех машинных залов и технологических помещений на 1 этаже оборудована станция пожаротушения с баллонами газа. Внутри них – хладон-227, это вещество безопасно для ИТ-оборудования в ЦОДе. 

Всего в системе 10 направлений пожаротушения. Здесь тоже резервирование 2N: на каждое направление предусмотрен основной и резервный запас огнетушащего вещества – всего от 1 до 3 баллонов, в зависимости от объема помещения, которое необходимо потушить. От них газ расходится по таким желтым трубам:

В каждом помещении трубы проходят под фальшполом и по потолку. Например, трубы в машинном зале заканчиваются таким специальным распылителем: 

А вот такие трубы под фальшполом:

Каждый зал оборудован дымовыми и комбинированными датчиками на потолке и под полом. Также в залах установлены пожарные сигнализации-извещатели:

Датчики реагируют на основные признаки пожара: открытый огонь, задымление или появление мелкодисперсной смеси в воздухе. Во всех этих случаях сигналы от датчиков поступят в систему пожаротушения и автоматически приведут ее в предпусковую готовность.

Одновременно с этим дежурные инженеры в диспетчерской получат оповещение в системе мониторинга с указанием координат сработавшего датчика на схеме здания. Задача инженеров – проверить ситуацию и, если необходимо, подтвердить пуск газа по системе пожаротушения. Подтверждение нужно, чтобы убедиться в безопасности людей на месте срабатывания.   

Централизованный автопуск газа предусмотрен по стандартам Tier III, но, помимо этого, около каждой двери есть кнопки для ручного пуска:

Мониторинг

В диспетчерскую поступает не только информация с противопожарных датчиков, но и все данные по инженерным системам: климатические условия в зале, состояние кабельных вводов, влажность, кондиционирование, ИБП, ДГУ, топливо.

Дежурные обходят центр и проверяют состояние оборудования и ИТ-инфраструктуры каждые четыре часа.

Для мониторинга облачных сервисов часть данных собирается на физическом уровне. Например, состояние сетевых портов проверяем с помощью отдельной сети out-of-band, о которой подробнее уже рассказывали тут. Для отслеживания статусов хостов виртуализации используются специальные «маячки», о работе с ними мы напишем отдельный пост. На уровнях выше смотрим на утилизацию ресурсов CPU, RAM, дисков и так далее. Эти данные доступны инженерам виртуализации как в Новосибирске, так и в Москве, в едином ситуационном центре.   

Телеком

В здании ЦОДа 2 независимых кабельных ввода. Через них в здание заходят оптические кабели нескольких операторов связи: «Ростелекома», MSK-IX, «Авантела», Orange Business, «Новотелекома», ТТК, «Кортэла».

Под запросы клиентов мы можем продумывать индивидуальные сетевые схемы и модернизировать СКС. Например, для одного из проектов к нам в ЦОД приезжал подрядчик для разработки схемы с использованием меди и оптики. В итоге организовали вот такие патч-панели с красиво уложенной оптикой и медью:

Вспомогательная инфраструктура и быт

Слева от входа есть отдельная зона погрузки и разгрузки оборудования. За дверью находится просторная зона распаковки: зимой там можно оставить оборудование отогреваться.

Внутри есть грузовой лифт со всем необходимым для бережной перевозки серверов:

Лифт выдерживает вес до 3 тонн.
Лифт выдерживает вес до 3 тонн.

В коридоре второго этажа для клиентов оборудовали специальные шкафы и ящики, например: здесь можно хранить инструменты:

Мы внимательно относимся к охране труда и заботимся о безопасных условиях работы для наших инженеров. В помещении ГРЩ оборудован вот такой уголок со средствами индивидуальной защиты. Здесь же находится аптечка:

Будем рады видеть вас в качестве гостей – реальных или виртуальных!

Комментарии (13)


  1. lordleto
    15.09.2022 10:35

    Это они таки на 6м этаже ЦОД сделали?


    1. dataline Автор
      15.09.2022 11:20

      Нет :), мы построили новое здание ЦОД рядом с уже существующим зданием АТС Ростелекома, в котором располагается старый ЦОД.


      1. lordleto
        16.09.2022 06:28

        Меня до сих пор поражает тот факт что все эти десятки стоек оборудования и коммутации вполне может собрать пара человек за пару месяцев не торопясь.


  1. badmonty
    15.09.2022 10:49

    Благодарю за отличный материал! Новосибирск прекрасный город, очень порадовало, что именование залов носит такую особенность города.


    1. dataline Автор
      15.09.2022 11:12

      Спасибо! И хорошего дня :)


  1. kkolomytse
    15.09.2022 13:16

    Новосибирский ЦОД – самый восточный дата-центр «РТК-ЦОД». 

    А как же ЦОД на Сахалине? Он же тоже Ростелекому принадлежит.


    1. dataline Автор
      15.09.2022 13:38

      Добрый день! Мы рассказываем о дата-центрах компании "Ростелеком-ЦОД". В ее сеть входят площадки в Москве, Санкт-Петербурге, Удомле, Екатеринбурге и Новосибирске. А ЦОД на Сахалине принадлежит ПАО "Ростелеком", и он действительно самый восточный в России :)


  1. hint000
    15.09.2022 15:16

    В холодном коридоре поддерживается температура 23–27 °С

    Как-то не очень холодно. 27°С было бы нормально для горячего коридора. Сколько же тогда в горячем?


    1. lordleto
      16.09.2022 06:29

      в соседнем здании с подпола градусов 16 выдувало, приходилось прятаться за стойки СХД - там тепло было.


    1. dataline Автор
      16.09.2022 10:30

      Добрый день! Стандартная температура холодного коридора - 25 градусов, плюс-минус 2 градуса. В горячем коридоре бывает по-разному, зависит от множества факторов.


  1. v_chaplyak
    15.09.2022 18:17

    А вот эти все системы пожаротушения когда то срабатывали? Никогда в новостях не читал. А вот про сгоревшый до тла ДЦ да, бывало не раз)


    1. dataline Автор
      16.09.2022 10:31

      Наши системы пожаротушения регулярно проверяются, все работает :).


      1. v_chaplyak
        16.09.2022 14:34

        А можно поподробней, как проверяються? Обошли, проверили, все на месте, все пломбы есть? Систему можно реально проверить только пожаром. Точно так же как отключение сети - отключением сети. А то в OVH например с датчиков сигнал тоже пришел, только не сработало.