Нашему ЦОДу в Новосибирске исполнилось полтора года. За это время в дата-центре выросла зона доступности облака DataLine для заказчиков из Сибири и Дальнего Востока, а также появились новые услуги. Сейчас в новосибирском облаке размещаются почтовые сервисы, облачные диски клиентов, объектные хранилища, сервисы DBaaS, Kubernetes, сервисы ИБ, DR-площадки и резервные копии.
В фоторепортаже из Новосибирска посмотрим, как работает дата-центр сегодня.
![](https://habrastorage.org/getpro/habr/upload_files/294/180/2a4/2941802a44e6169b9760c1b5aa32b45d.png)
Факты про новосибирский дата-центр:
адрес: улица Менделеева, д. 1,
3 машзала на 300 стойко-мест суммарно,
общая площадь 1 800 м²,
введенная мощность 3 МВт,
средняя мощность на стойку 5,4 кВт,
уровень Tier III
ЦОД на карте зон доступности
Новосибирский ЦОД – самый восточный дата-центр «РТК-ЦОД». В стойках «Новосибирска» и в новосибирском облаке размещаются не только местные заказчики, но и клиенты из Барнаула, Кемерова, Красноярска, Владивостока – все, кому важно связать свой регион со столицей или мировыми площадками.
![Города присутствия сети дата-центров «Ростелеком-ЦОД». Города присутствия сети дата-центров «Ростелеком-ЦОД».](https://habrastorage.org/getpro/habr/upload_files/0e0/849/242/0e0849242bec2fb5b8efcbb2a9b4420e.jpg)
Связность новосибирского ЦОДа с Москвой обеспечивает MSK-IX – наша партнерская сеть обмена трафиком. MSK-IX организует пиринг с ЦОДами и другими крупными площадками в Москве, Санкт-Петербурге, Екатеринбурге, Казани, Владивостоке, Риге и других городах.
Тут мы уже рассказывали, как работает сетевая связность через MSK-IX и что она дает клиентам наших ЦОДов. При построении маршрутов между ЦОДами проектировщики сети ориентируются на кратчайшие пути прохождения телеком-магистралей: как правило, они идут по федеральным трассам, железнодорожным путям или траверсам и опорам энергетиков.
ЦОД на карте города
Новосибирский дата-центр расположился не в промзоне, а в жилом Калининском районе, так что доехать из Центра на автомобиле можно за 15 минут. На общественном транспорте добираемся так:
![](https://habrastorage.org/getpro/habr/upload_files/635/597/a8e/635597a8e955dba1803b460aac064dff.jpg)
От станции метро «Заельцовская» садимся на автобус, троллейбус или трамвай, едем 6 остановок до «Улицы 25 лет Октября» и дальше идем 740 метров до улицы Менделеева, дом 1.
Из-за близкого соседства с жилыми домами было важно позаботиться о защите соседей от шума. Еще на этапе проектирования мы задали допустимый уровень звука в 60 ДБ и подобрали оборудование в соответствии с этими параметрами. Например, запланировали шумоподавление для дизель-генераторных установок. Сейчас это выглядит вот так:
![](https://habrastorage.org/getpro/habr/upload_files/c39/204/309/c392043094aa169d98b8914568b4859c.jpg)
Доступ в ЦОД и физическая безопасность
Внутрь можно попасть по пропуску, для его оформления необходим паспорт. Посетителям за рулем также нужно указать номер авто. Если пропуск оформлен, на проходной откроют в любое время дня и ночи.
На всей территории ведется круглосуточное видеонаблюдение:
![](https://habrastorage.org/getpro/habr/upload_files/a0a/719/e00/a0a719e0047c433c757acc915756a270.jpg)
Всего на территории оборудовано 106 видеокамер. Их трансляция собирается на видеостене в службе охраны, а видеозаписи отправляются в наше облако и хранятся там 1 месяц.
![](https://habrastorage.org/getpro/habr/upload_files/07f/b53/af3/07fb53af3ab61474ebe8ce2af298ba5e.jpg)
Так выглядит пост охраны на проходной. Здесь получаем наш пропуск:
![](https://habrastorage.org/getpro/habr/upload_files/e10/a16/f4f/e10a16f4f7029aeb2a741c5b26b1c7e0.jpg)
![](https://habrastorage.org/getpro/habr/upload_files/528/b52/4b2/528b524b24177527a79d22eee30a7da5.jpg)
Турникет на входе оборудован системой контроля и управления доступом. Такими считывателями оснащены все двери внутри здания. Пропуск понадобится для входа в любое служебное или офисное помещение. Права доступа зашиты в самой карточке: в некоторые внутренние помещения могут пройти только инженеры с соответствующим уровнем допуска.
![](https://habrastorage.org/getpro/habr/upload_files/953/396/673/9533966732877757eb25870e87684682.jpg)
Машинные залы
Все стойки с ИТ-оборудованием размещаются в трех машинных залах на втором этаже. По традиции, в каждом региональном ЦОДе мы даем машзалам названия, связанные с городом. Новосибирские залы получили свои имена в честь мостов через Обь:
Димитровский,
Октябрьский,
Бугринский.
Первые 2 зала одинаковые по площади, там по 98 стойко-мест. Третий вмещает уже 104 стойки – этот зал модернизировали под специальные пожелания заказчиков.
![](https://habrastorage.org/getpro/habr/upload_files/ebf/5f5/476/ebf5f547662113e18507cc5fcdaba6ad.jpg)
Каждый зал находится в специальной гермозоне, которая обезопасит оборудование в случае пожара, наводнения или урагана. Стены гермозон не пропускают влагу и пыль, а также сдерживают распространение огня. Надежность защиты от воды проверяют до ввода в эксплуатацию: каждую гермозону проливают водой и убеждаются, что потоки стекают по специальным желобам в трубопровод снаружи.
В зале можно разместить стойки любого форм-фактора, а также организовать отдельный кейдж. Специалисты дизайн-центра DataLine помогают грамотно расположить оборудование в зале, например, поставить наряду со стандартными стойками более широкие и глубокие:
![](https://habrastorage.org/getpro/habr/upload_files/dba/062/152/dba0621525acd36aeab75282c0ecca68.png)
Все стойки ставим по принципу горячих и холодных коридоров. В холодном коридоре поддерживается температура 23–27 °С и влажность 30–70 %.
Собирать информацию о климате в зале помогают вот такие датчики температуры и влажности. По требованиям стандарта Tier III они установлены на высоте 1,5 метра от пола:
![](https://habrastorage.org/getpro/habr/upload_files/790/1bf/e32/7901bfe32af7808c4a3956fd8aedb0a7.jpg)
По желанию клиента мы можем модернизировать электроснабжение и охлаждение залов под более мощные стойки с трехфазным питанием:
![В этом изолированном холодном коридоре температура поддерживается на нижней границе в 23 °С – это необходимо для стоек повышенной мощности 18 кВт с блейд-серверами. В этом изолированном холодном коридоре температура поддерживается на нижней границе в 23 °С – это необходимо для стоек повышенной мощности 18 кВт с блейд-серверами.](https://habrastorage.org/getpro/habr/upload_files/ed5/b7b/6b4/ed5b7b6b43a14c192c03781509dd3c12.jpg)
![А это горячий коридор. А это горячий коридор.](https://habrastorage.org/getpro/habr/upload_files/f45/f81/8da/f45f818daaaf6c39319ef675dd147feb.jpg)
Над коридорами между стойками установлены видеокамеры. Оборудование установлено так, что все двери просматриваются с двух сторон:
![](https://habrastorage.org/getpro/habr/upload_files/c3d/617/885/c3d6178854a6986aeabe5f1264054225.jpg)
Также у клиентов есть техническая возможность установить свои видеокамеры и следить за порядком самостоятельно.
Энергоснабжение
Система энергоснабжения зарезервирована по схеме 2N: каждый ее элемент дублируется. В ЦОДе 4 собственные трансформаторные подстанции, каждая мощностью 1 600 кВА. От города к трансформаторам подходит два независимых ввода электропитания напряжением 10 кВ.
![](https://habrastorage.org/getpro/habr/upload_files/605/34d/4a3/60534d4a3a2fb7058bb34c05c03dcef9.png)
От трансформаторов электричество поступает на источники бесперебойного питания (ИБП), которые выравнивают напряжение и страхуют оборудование от перебоев в электропитании. Всего в дата-центре 18 вот таких ИБП:
![Источники бесперебойного питания Vertiv. Источники бесперебойного питания Vertiv.](https://habrastorage.org/getpro/habr/upload_files/c8e/5d3/fa5/c8e5d3fa5902f8efc8e3457772e96df3.jpg)
К каждому из них подключены 44 аккумуляторные батареи (АКБ). Если городское питание пропадет, они обеспечат работу дата-центра в течение 12 минут.
![Стеллаж с АКБ в одной из двух аккумуляторных. Стеллаж с АКБ в одной из двух аккумуляторных.](https://habrastorage.org/getpro/habr/upload_files/6f0/642/ea7/6f0642ea7fd09b64369b0cec6fe33837.jpg)
Этого времени хватит для запуска дизель-генераторных установок (ДГУ): обычно они выходят в рабочий режим за 30 секунд. Всего в новосибирском ЦОДе 3 вот таких ДГУ:
![Каждая ДГУ мощностью 1 800 кВт. Каждая ДГУ мощностью 1 800 кВт.](https://habrastorage.org/getpro/habr/upload_files/c62/af3/44f/c62af344f75ce02efe82e535a448325d.jpg)
При стопроцентной нагрузке дизельный двигатель потребляет 340 литров топлива в час. Поэтому мы держим запасы в расходных баках ДГУ и в топливохранилище. Всего в запасах хранится 11 400 литров – такого количества хватит на 12 часов автономной работы дата-центра.
Холодоснабжение
Для охлаждения оборудования в дата-центре используется схема с фреоновыми прецизионными кондиционерами.
![Ряд кондиционеров Vertiv. Ряд кондиционеров Vertiv.](https://habrastorage.org/getpro/habr/upload_files/a4d/6c2/c1b/a4d6c2c1b565fa92fc8382f3b1c9f8f8.jpg)
В каждом машинном зале работает по 8 кондиционеров, 4 из них – с парогенератором.
![](https://habrastorage.org/getpro/habr/upload_files/b9b/004/308/b9b004308f0a3c0e06a45a72394984ba.jpg)
В выбранной схеме внутренние блоки кондиционеров забирают теплый воздух из горячего коридора в машинном зале. Внутри блока есть теплообменник, где воздух охлаждается, а нагретый фреон отправляется в обратную магистраль системы холодоснабжения, которая соединяется с внешними блоками на крыше.
Вся система холодоснабжения зарезервирована по схеме N+1.
Пожарная безопасность
Дата-центр оснащен системой газового и порошкового пожаротушения. Порошок используем только для тушения в топливохранилищах, где нет чувствительной электроники.
Для противопожарной защиты всех машинных залов и технологических помещений на 1 этаже оборудована станция пожаротушения с баллонами газа. Внутри них – хладон-227, это вещество безопасно для ИТ-оборудования в ЦОДе.
![](https://habrastorage.org/getpro/habr/upload_files/d70/618/804/d706188044dc7098d3f1717c2bb6e798.jpg)
Всего в системе 10 направлений пожаротушения. Здесь тоже резервирование 2N: на каждое направление предусмотрен основной и резервный запас огнетушащего вещества – всего от 1 до 3 баллонов, в зависимости от объема помещения, которое необходимо потушить. От них газ расходится по таким желтым трубам:
![](https://habrastorage.org/getpro/habr/upload_files/f38/587/864/f38587864d56fa9c158f5b5d9218be86.jpg)
В каждом помещении трубы проходят под фальшполом и по потолку. Например, трубы в машинном зале заканчиваются таким специальным распылителем:
![](https://habrastorage.org/getpro/habr/upload_files/aa4/93a/df4/aa493adf40fcc9e7d210cc1ecf78115b.jpg)
А вот такие трубы под фальшполом:
![](https://habrastorage.org/getpro/habr/upload_files/312/663/ba9/312663ba976492fecd12bf31a1fde60d.jpg)
Каждый зал оборудован дымовыми и комбинированными датчиками на потолке и под полом. Также в залах установлены пожарные сигнализации-извещатели:
![](https://habrastorage.org/getpro/habr/upload_files/541/b13/2ff/541b132ff674b327c145c5310f8cab2d.jpg)
Датчики реагируют на основные признаки пожара: открытый огонь, задымление или появление мелкодисперсной смеси в воздухе. Во всех этих случаях сигналы от датчиков поступят в систему пожаротушения и автоматически приведут ее в предпусковую готовность.
Одновременно с этим дежурные инженеры в диспетчерской получат оповещение в системе мониторинга с указанием координат сработавшего датчика на схеме здания. Задача инженеров – проверить ситуацию и, если необходимо, подтвердить пуск газа по системе пожаротушения. Подтверждение нужно, чтобы убедиться в безопасности людей на месте срабатывания.
Централизованный автопуск газа предусмотрен по стандартам Tier III, но, помимо этого, около каждой двери есть кнопки для ручного пуска:
![](https://habrastorage.org/getpro/habr/upload_files/334/04a/533/33404a5333dd7c6abd7c9255764b5f44.jpg)
Мониторинг
В диспетчерскую поступает не только информация с противопожарных датчиков, но и все данные по инженерным системам: климатические условия в зале, состояние кабельных вводов, влажность, кондиционирование, ИБП, ДГУ, топливо.
![](https://habrastorage.org/getpro/habr/upload_files/77c/90f/19e/77c90f19ee6789308d849f89d767d9e2.jpg)
Дежурные обходят центр и проверяют состояние оборудования и ИТ-инфраструктуры каждые четыре часа.
Для мониторинга облачных сервисов часть данных собирается на физическом уровне. Например, состояние сетевых портов проверяем с помощью отдельной сети out-of-band, о которой подробнее уже рассказывали тут. Для отслеживания статусов хостов виртуализации используются специальные «маячки», о работе с ними мы напишем отдельный пост. На уровнях выше смотрим на утилизацию ресурсов CPU, RAM, дисков и так далее. Эти данные доступны инженерам виртуализации как в Новосибирске, так и в Москве, в едином ситуационном центре.
Телеком
В здании ЦОДа 2 независимых кабельных ввода. Через них в здание заходят оптические кабели нескольких операторов связи: «Ростелекома», MSK-IX, «Авантела», Orange Business, «Новотелекома», ТТК, «Кортэла».
Под запросы клиентов мы можем продумывать индивидуальные сетевые схемы и модернизировать СКС. Например, для одного из проектов к нам в ЦОД приезжал подрядчик для разработки схемы с использованием меди и оптики. В итоге организовали вот такие патч-панели с красиво уложенной оптикой и медью:
![](https://habrastorage.org/getpro/habr/upload_files/512/ecb/a43/512ecba43525525d2d540822525f03c6.jpg)
![](https://habrastorage.org/getpro/habr/upload_files/bca/db4/4fd/bcadb44fdfdd3650b62166d5e744f5a1.jpg)
Вспомогательная инфраструктура и быт
Слева от входа есть отдельная зона погрузки и разгрузки оборудования. За дверью находится просторная зона распаковки: зимой там можно оставить оборудование отогреваться.
![](https://habrastorage.org/getpro/habr/upload_files/f00/d53/8bf/f00d538bfd7cceae244ef4ccead3e0d1.jpg)
Внутри есть грузовой лифт со всем необходимым для бережной перевозки серверов:
![Лифт выдерживает вес до 3 тонн. Лифт выдерживает вес до 3 тонн.](https://habrastorage.org/getpro/habr/upload_files/4c3/8d6/135/4c38d613533eb7da6c4eaca44a5e902f.jpg)
В коридоре второго этажа для клиентов оборудовали специальные шкафы и ящики, например: здесь можно хранить инструменты:
![](https://habrastorage.org/getpro/habr/upload_files/415/654/893/4156548930be5bc7722ea2d7e90080bc.jpg)
Мы внимательно относимся к охране труда и заботимся о безопасных условиях работы для наших инженеров. В помещении ГРЩ оборудован вот такой уголок со средствами индивидуальной защиты. Здесь же находится аптечка:
![](https://habrastorage.org/getpro/habr/upload_files/def/819/b7c/def819b7c7ff02f4662852748c15673b.jpg)
Будем рады видеть вас в качестве гостей – реальных или виртуальных!
Комментарии (13)
kkolomytse
15.09.2022 13:16Новосибирский ЦОД – самый восточный дата-центр «РТК-ЦОД».
А как же ЦОД на Сахалине? Он же тоже Ростелекому принадлежит.
dataline Автор
15.09.2022 13:38Добрый день! Мы рассказываем о дата-центрах компании "Ростелеком-ЦОД". В ее сеть входят площадки в Москве, Санкт-Петербурге, Удомле, Екатеринбурге и Новосибирске. А ЦОД на Сахалине принадлежит ПАО "Ростелеком", и он действительно самый восточный в России :)
hint000
15.09.2022 15:16В холодном коридоре поддерживается температура 23–27 °С
Как-то не очень холодно. 27°С было бы нормально для горячего коридора. Сколько же тогда в горячем?
lordleto
16.09.2022 06:29в соседнем здании с подпола градусов 16 выдувало, приходилось прятаться за стойки СХД - там тепло было.
dataline Автор
16.09.2022 10:30Добрый день! Стандартная температура холодного коридора - 25 градусов, плюс-минус 2 градуса. В горячем коридоре бывает по-разному, зависит от множества факторов.
v_chaplyak
15.09.2022 18:17А вот эти все системы пожаротушения когда то срабатывали? Никогда в новостях не читал. А вот про сгоревшый до тла ДЦ да, бывало не раз)
dataline Автор
16.09.2022 10:31Наши системы пожаротушения регулярно проверяются, все работает :).
v_chaplyak
16.09.2022 14:34А можно поподробней, как проверяються? Обошли, проверили, все на месте, все пломбы есть? Систему можно реально проверить только пожаром. Точно так же как отключение сети - отключением сети. А то в OVH например с датчиков сигнал тоже пришел, только не сработало.
lordleto
Это они таки на 6м этаже ЦОД сделали?
dataline Автор
Нет :), мы построили новое здание ЦОД рядом с уже существующим зданием АТС Ростелекома, в котором располагается старый ЦОД.
lordleto
Меня до сих пор поражает тот факт что все эти десятки стоек оборудования и коммутации вполне может собрать пара человек за пару месяцев не торопясь.