2022 год стал непростым для инфраструктурных проектов, но МТС не изменила план развития сети ЦОДов. В ближайшие годы появятся 4 больших дата-центра в Ростове, Туле, Екатеринбурге и Хабаровске, и еще 15 ЦОДов на подходе.

Сергей Рубцов, директор дата-центра GreenBushDC, провел виртуальную экскурсию для Хабра и рассказал, как сейчас живет один из самых современных ЦОДов МТС. GreenBushDC буквально пару месяцев назад получил сертификацию Uptime Institute — Constructed Facility — и подтвердил ранее полученный на этапе проектирования статус Tier III — Detailed Design.

Дата-центр практически все ресурсы ориентировал на услугу колокейшн, которая требует от инженеров специализированных навыков и наличия обширной технической базы.

GreenBushDC открывает двери

В 40 километрах от Москвы, на территории Зеленограда, находится особая экономическая зона. На площадке «Алабушево» за двойным периметром безопасности стоит дата-центр GreenBushDC. Клиенты, как правило, приезжают сами, чтобы передать ИТ-оборудование на размещение, обслуживание и хранение.

Добраться до ЦОДа можно как на личном автомобиле, так и разными видами общественного транспорта: на автобусе от станции метро «Ховрино», на электричке от Ленинградского вокзала до станций «Алабушево» либо «Крюково». На личном автомобиле по Пятницкому, Ленинградскому шоссе и платной трассе М11. Самое главное — заранее заказать пропуск на территорию: дата-центр является объектом повышенной безопасности.

Колокейшн — это услуга по размещению оборудования (в первую очередь серверов) на территории ЦОДа. Заказчик ставит оборудование в стойку, которую предоставляет ЦОД, или размещает на площадке свою стойку. Хостинг-провайдер предоставляет все ресурсы: отводит тепло, подключает энергоснабжение, связь.

Начало пути — у КПП. Мы находимся на особо охраняемой территории. Внешний периметр контролирует служба безопасности экономической зоны, внутренний — служба безопасности ЦОДа. Далее — 18 800 квадратных метров GreenBushDC. Здесь всё, включая землю, в собственности компании МТС и под ее ответственностью.

Прием, разгрузка и монтаж

Сотрудники GreenBushDC примут оборудование: проверят комплектность и оформят необходимые документы. Если клиент сам привез стойку, то на оформление и подключение уйдет менее 2 часов. Когда клиент заказывает установку своего оборудования в нашу стойку, монтаж оборудования и развертывание линий связи занимают не более 5 часов.

Так как наши документы в полном порядке, отправимся дальше в сопровождении сотрудников GreenBushDC. Как правило, здесь начинается «самостоятельная» жизнь стойки: ее монтируют, подключают, обслуживают специалисты ЦОДа. Клиент получает удаленный доступ к ИТ-оборудованию. А если удаленно подключиться нельзя, заказчик может выдать права доступа инженерам.

Колокейшн включает больше услуг, чем кажется на первый взгляд. Получить помещения для хранения оборудования, запасных частей, инструментов и принадлежностей? Конечно. Разместить в ЦОДе свой персонал? Будет сделано!

Воспользуемся опцией и пойдем дальше вместе. К тому же по территории невозможно перемещаться без сопровождения. Электронные замки не открыть без специального ключа. В некоторые залы действует допуск только после двойной идентификации.

Строгие правила дают плоды: у нас в GreenBushDC не было инцидентов с нарушением безопасности. Речь идет как про физический периметр, так и про ИТ-системы.

Подключаем электропитание

GreenBushDC — монолитное четырехэтажное здание, состоящее из трех модулей. В модулях расположены помещения (автозалы) с рядами стоек, в которых смонтировано ИТ-оборудование, обвязанное сетевыми и электрическими кабелями.

Стандартная мощность стойки в ЦОДах до недавнего времени составляла не более 5 киловатт. В GreenBushDC при соблюдении требований возможно установить стойки до 20 киловатт. Этот параметр крайне важен для клиентов, которые используют высоконагруженное оборудование.

Сам GreenBushDC подключен к внешним сетям двумя независимыми линиями. Общая выделенная мощность на ЦОД — 18,9 МВт, из которых мы сейчас используем треть. 12 МВт реализуем в ближайшие годы, после запуска еще двух модулей.

Рядом с автозалами — огромный кластер энергетического оборудования, в котором выделяются 2 дизель-генераторные установки и 4 дизель-роторных источника бесперебойного питания. Они настроены в таком режиме, чтобы работа ЦОДа ни на секунду не останавливалась: если внезапно исчезнет внешний мир, генераторы мгновенно переведут объект на автономную работу.

На резервах топлива генераторы ЦОДа проработают 12 часов при полной загрузке дата-центра. Далее без внешнего мира уже не обойтись. Мы заключили договоры с двумя независимыми топливными компаниями — при необходимости в дата-центр привезут столько дизеля, сколько потребуется.

Может, кто-то удивится, но параллельная схема будет всюду. Если вы не знаете, почему так, ответ дадим в конце статьи. А пока от дизель-генераторных установок вернемся к автозалам, каждый из которых подключен двумя независимыми линиями энергоснабжения. Аналогично все стойки в автозалах оснащены двумя вводами питания.

Каналы, связность и скорость

Что важнее: мощность стойки или скорость подключения? Правильный ответ у каждого свой. Кто-то на первое место поставит надежность электроснабжения, кому-то важна максимальная мощность стойки, а где-то обратят внимание на связность.

Связность — это наличие каналов связи (волоконно-оптических линий) от ЦОДа до основных площадок обмена трафиком. От GreenBushDC до главных российских узлов гражданской связи М9 и М10 несколькими независимыми маршрутами проложены собственные линии МТС.

М9 и М10 связывают крупнейших московских, российских и международных операторов. На площадках присутствуют практически все наши крупные клиенты, а еще провайдеры облачных сервисов, корпоративные и научно-образовательные сети.

Подключение к этим технологическим площадкам гарантирует высокую скорость обмена трафиком. Кроме того, на территории GreenBushDC клиентам предоставляют услуги связи 7 операторов (да, не только МТС).

В зависимости от заказа, подключаем стойки на скорости 10—40 Гбит/сек. Конечно, не каждой стойке требуется выделенная линия, они могут объединяться в кластеры. В таком случае иногда достаточно проложить один канал на весь кластер.

Многим системам, работающим в режиме реального времени, важно время задержки, которое зависит от длины линии связи и количества точек приема. GreenBushDC расположен на расстоянии 80 км от М9 и М10, что является критичным для систем синхронной репликации, и обеспечивает допустимую задержку прохождения сигнала.

Длина каналов до М9 позволяет устанавливать любое оборудование для организации канала: от простого, поддерживающего стандарт SFP (Small Form-factor Pluggable), до WDM (Wavelength Division Multiplexing, частотное разделение каналов для передачи в одном оптическом волокне множества сигналов на различных несущих длинах волн).

Следим за градусами

На вашем рабочем месте прямо сейчас температура должна быть не выше +25 °С. У стоек похожие условия труда, вот только тепла они выделяют гораздо больше, чем самый нагруженный айтишник. ИТ-оборудование, обрабатывающее тяжелые данные на выделенной мощности 20 киловатт, работает в суровых температурных режимах.

Некоторые клиенты GreenBushDC — крупные промышленные компании — проводят ресурсоемкие расчеты данных. Не знаем точно, чем именно они занимаются, но мы решаем свою критическую задачу — отвод тепла. В промышленной зоне ЦОДа стоят большие холодильные машины — водяные чиллеры. Таких установок в дата-центре четыре. Их мощности хватает, чтобы охладить 100% автозалов.



Система охлаждения работает в связке с прецизионными кондиционерами. Холодный воздух подается в огражденное пространство под полом, откуда поступает к оборудованию. На выходе из стоек воздух уходит вверх через горячий коридор и снова подается на охлаждение.

В результате на территории круглосуточно поддерживается температура +18…27 °С и постоянная влажность в диапазоне 30—70%.

Под неусыпным надзором

Стойка подключена, работает и охлаждается. Что еще нужно для счастья? Осталось немного: контролировать, чтобы ИТ-системы были доступны в режиме 24/7.

В GreenBushDC работают несколько дежурных смен. Одна смена отвечает за эксплуатацию и обслуживание инженерных систем. Вторая поддерживает работу ИТ-оборудования, круглосуточно принимает и обрабатывает заявки клиентов.

За работой ЦОДа следят в диспетчерской — это «мозг» GreenBushDC, в который поступают все данные о работе объекта. 15 000 датчиков ежесекундно предоставляют информацию обо всех системах.

По 200 датчиков в каждом автозале мониторят энергопотребление стоек, еще 50 контролируют температуру в каждой точке автозала. Внутри холодных коридоров датчики следят, чтобы не было локального перегрева.

В ЦОДе смонтирована система раннего обнаружения пожара и автоматического газового пожаротушения. И это не все меры защиты. Сами стены модулей 90 минут выдержат прямой огонь.

«Глаза» GreenBushDC — сотни камер видеонаблюдения, которые контролируют периметр и автозалы. Глубина хранения архива — 90 дней.

Сидеть сложа руки и просто смотреть в мониторы — не про нас. Инженеры дежурной смены обходят все машинные залы раз в 4 часа. За каждый обход сотрудник поднимается на шесть этажей, или 17 метров, вверх и опускается на один этаж ниже уровня земли, проходит более 300 ступеней. За год получается 2682 км — можно прогуляться от Москвы до Лондона и обратно.

Дата-центр особого назначения

GreenBushDC прошел сертификацию независимого международного института Uptime Institute по уровню отказоустойчивости — Facility Tier III. Именно поэтому любой элемент ЦОДа выводится в обслуживание без снижения надежности оборудования.

GreenBushDC уже получал статус Tier III на этапе проектирования — Design Tier III. Теперь экспертиза подтвердила соответствие требованиям к производительности и безотказности работы в реальных условиях эксплуатации действующего ЦОДа.

Мы пошли еще дальше и получили сертификацию по PCI DSS, чтобы также размещать оборудование, обслуживающее персональные данные.

Конечно, может появиться вопрос: а зачем это всё? Для запуска облачных сервисов не обязательно получать сертификат Tier III. Однако GreenBushDC — уникальный объект в экосистеме МТС. В первую очередь это площадка для клиентов, что накладывает особые требования.

Когда компании размещали ИТ-ресурсы в собственных серверных, оборудование было в шаговой доступности: можно самостоятельно и быстро отремонтировать, заменить, апгрейдить.

С развитием технологий и роста роли ИТ-систем в бизнесе стало понятно, что невозможно своими руками обеспечить все требования к надежности. Серверам в режиме 24/7 нужны специальные условия по энергообеспечению, температуре, влажности.

Тем временем в дата-центрах все условия для ИТ-оборудования созданы изначально. К инженерным системам ЦОДа предъявляются очень высокие требования. В частности, отдельно в плане надежности проверяются системы электроснабжения, холодоснабжения, автоматики и мониторинга, каналы связи.

По классификации Tier надежность дата-центра составляет не менее 99,982%. Это значит, что оборудование может находиться в простое не более 1,6 часа в год. Не каждая собственная серверная даст такой уровень надежности.

Инженеры GreenBushDC подготовили для клиентов 6 автозалов по 500 киловатт каждый. В ближайшем будущем разместим не менее 500 стоек. А еще по желанию клиентов «разнообразим» жизнь оборудования: переоборудуем, модернизируем, поможем с настройкой. Поддержим экспертизой как на уровне ЦОДа, так и с привлечением спецов МТС.