Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».

Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. Мы – это сервис-провайдер «Онланта». Наше облако OnCloud.ru создано на базе нескольких, географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.


Центр обработки данных IXcellerate располагается на территории бывшей промзоны и завода ЖБИ в районе Алтуфьево на участке более 15 тыс. кв. м – это один из самых крупных дата-центров в Москве.


Выбор территории завода железобетонных изделий для создания дата-центра был неслучаен – подобные предприятия обычно имеют мощные линии ввода электроэнергии, что как раз и нужно для дата-центра. На территории ЦОДа таких линий две – от двух разных распределительных подстанций. Расстояние между их вводами в здание не менее 150 м. Это серьезно повышает надёжность и доступность сервисов дата-центра, поскольку вероятность сбоев по причине аварий на электросети сильно снижается.

Дата-центр IXcellerate начали строить в 2012 году и через год ввели в эксплуатацию первый машинный зал. Основателем компании IXcellerate является известный международный инвестор и британский предприниматель Гай Вилнер.

Гай Виллнер (справа)

Соучредителем Гая Вилнера был другой международный бизнесмен – Клифф Гаунтлетт, который начал работать в Cоветском Союзе в конце 1980-х. Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну, и, несмотря на все её проблемы, остались здесь навсегда (Клифф скончался в 2013 г). Наверное, многие помнят телефонные карточки ROL. Их выпускал российский провайдер Golden Telecom, где Клифф работал старшим вице-президентом. Кроме этого, Клифф был ещё и заядлым «рокером» – возглавлял знаменитый ROL Band, а его песни есть даже в репертуаре группы Scorpions. Отсюда и девиз дата-центра IXcellerate – Rockin’Russia.

Корпортивный фестиваль Rockin’Russia: Клифф Гаунтлетт с гитарой, за барабанами – Александр Вершбоу, посол США в России. (фото www.passportmagazine.ru)

В честь Клиффа Гаунтлетта Самый был назван первый машинный зал дата-центра IXcellerate.

В дата-центре до сих пор висит гитара Клиффа, с оригинальным автографом самого Пола Маккартни

Проектная мощность дата-центра – 13.7 Мегаватт, а емкость  – 1835 стойко-мест, и это число растёт. Площадь здания — 6000 кв. м. Кроме того, в ЦОДе есть более 600 кв. м складских помещений для клиентов, где они могут хранить необходимое для работы оборудование.

К зданию дата-центра ведут две подъездные дороги. Территория удалена от аэропортов, железнодорожных путей, автотрасс, различного рода торгово-развлекательных центров, а также жилых зданий.

Здание дата-центра с установленными устройствами охлаждения (чиллерами)

Помимо основного электроснабжения от двух электроподстанций в Подмосковье в дата-центре имеются и резервные дизель-генераторы, вырабатывающие электроэнергию в аварийных ситуациях, например, если во время стихийного бедствия откажут обе подстанции.

Для дизель-генераторов поставляется специальное топливо – летнее и зимнее. Около дизель-генераторов поставлены специальные защитные бетонные блоки, чтобы их случайно не повредили движущейся техникой.

Уличный контейнер с дизель-генератором за защитными бетонными блоками

Работоспособность дизелей контролируется круглосуточно в режиме онлайн, да ещё и дежурный осуществляет обход каждые четыре часа. Во время нашего визита как раз проводилось техобслуживание дизель-генераторов, и на территории находились автомобили с контрольно-измерительным оборудованием.

При отказе сетевого электропитания аккумуляторы создают необходимый временной интервал, пока резервные дизель-генераторы после запуска выходят на необходимую мощность.

Техобслуживание дизель-генераторов

В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электросетей. Здание дата-центра облицовано т.н. сэндвич-панелями как снаружи, так и изнутри. Они обеспечивают теплоизоляцию и физическую защиту. Дата-центр строился по принципу «коробка в коробке», то есть от улицы внутренние помещения отделяют деревья, бетонный забор, газон и многослойные сэндвич-панели.

Крыша здания расположена на высоте 14 м, а крыша машинного зала – 9 м. Между ними есть защитная прослойка от протечек.

Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования. Микроклимат также создают охладители воздуха (чиллеры) и прецизионные кондиционеры.

Создание дата-центра

Дата-центр IXcellerate строился модульно, в три фазы. Машинный зал первой фазы во время строительства в 2012 году был самым большим в Москве. Залы второй и третьей фазы огибают зал первой фазы по периметру буквой Г.

Каждый машинный зал имеет собственные погрузочно-разгрузочные зоны. Отдельная разгрузочная зона предусмотрена и для пожарной станции.

Схема ЦОД IXcellerate

IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг, и ориентированный исключительно на услуги «колокейшн» (co-location), т.е. размещение оборудования клиентов, его защиту и обеспечение требуемой инженерной инфраструктуры с установленным уровнем обслуживания по стандартному договору.

Бывает, что клиенты спрашивают про облачные услуги. Для таких случаев в дата-центре имеется экосистема партнёров, на оборудовании которых предоставляются облачные решения. Мы как раз этим и занимаемся.

Посмотрим, что внутри

Дата-центр обязывает сотрудников и авторизованных клиентов проходить двойную идентификацию, включающую стандартную ID-карту и биометрический контроль (сканер ладони руки).

Контроль доступа для сотрудников

Доступ в ячейки («клетки»), где установлено клиентское оборудование, находится  под круглосуточным контролем, то есть туда могут попасть только авторизованные клиентом сотрудники дата-центра. Эти ячейки отгорожены друг от друга металлической сеткой.

Ячейки также имеют собственные средства физической защиты, например, кодовые замки и видеокамеры. Всего предусмотрено пять рубежей физической безопасности с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols.

В дата-центре стало хорошей традицией называть каждый машинный зал в честь компании или человека, который внёс наибольший вклад в его создание.

Зал первой фазы, названный в честь Клиффа Гаунтлетта, спроектирован на 220 стойко-мест с оборудованием клиентов.

При строительстве зала второй фазы были использованы инвестиции японской компании Sumitomo Corp., поэтому он называется The Summit Hall. Зал третьей фазы назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, который раньше работал на аэродроме «Чкаловский».

Табличка с названием третьего машинного зала

Электропитание и охлаждение

Для питания оборудования клиентов используется электричество повышенного качества. Что означает слово «качество» применительно к электричеству? Не секрет, что промышленный электрический ток иногда имеет пиковые всплески, которые могут вывести из строя клиентское оборудование. Поэтому в дата-центре имеется специальная «электрическая комната», где эти выбросы устраняются. В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков. Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.

Резервирование электроснабжения ЦОД организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания. Повреждение одного маршрута прокладки не повлечет за собой остановки дата-центра или его части, так как всегда имеется резервный маршрут.

Так выглядят входящие линии с подстанций электропитания на одном из маршрутов прокладки.

Ввод электропитания от трансформаторной подстанции

Вот ещё небольшой штрих к теме электрической и пожарной безопасности. Электропроводка от выключателей проложена в металлических трубах, чтобы при возможном коротком замыкании не летели искры наружу.

Выключатели для ламп освещения с проводкой в металлических трубах

Все кабели электропитания проходят под фальшполом высотой 1 м. Под фальшполом в стойки с оборудованием подаётся холодный воздух с заданной влажностью в полном соответствии с международным стандартом ASHRAE.

На ячейках с клиентским оборудованием установлены датчики температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.

Датчик температуры и влажности

Для питания каждой стойки под фальшполом есть две розетки – каждая от отдельной линии ввода с разных электроподстанций. Для ещё большей надёжности они проложены в отдельных желобах.

Две розетки питания стойки (сквозь решётку фальшпола)

Некоторые клиенты для повышения безопасности также устанавливают собственные видеокамеры в свои ячейки с оборудованием.

В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, включая Orange, Sprint, Beeline, MegaFon, MTS, Telia, других операторов и Интернет-провайдеров, а также узел MSK-IX и платформа обмена трафиком Eurasia Peering IX, объединяющий 38 операторов-резидентов.


В дата-центр для установки принимается клиентское оборудование любого размера и функционала, даже ленточные накопители.

Один из наших клиентов – телеканал с многомиллионной аудиторией – осуществляет здесь резервирование для вещания в HD.

Пожарная безопасность

Способность быстро и эффективно потушить возгорание, а лучше вообще его не допускать – одна из важнейших характеристик любого дата-центра.

В IXcellerate применена трёхуровневая система обнаружения и тушения пожара. Первый уровень – система сверхраннего обнаружения задымления Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%. Самообучающаяся система с элементами искусственного интеллекта держит в памяти определённую матрицу параметров воздуха. Такая система может распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров.

Apollo – интегрированная система пожарной сигнализации и системы оповещения – следующая ступень в пожарной безопасности ЦОД.

Но гордость IXcellerate – автоматическая система пожаротушения HI-FOG, которая способна локализовать возгорания на площади 4 х 4 кв. м (с возможностью нахождения персонала непосредственно в машзале и без воздействия и последствий для других участков). Для этого в системе HI-FOG применены водные распылители (спринклеры), находящиеся под постоянным давлением и размещаемые над каждым локальным периметром 4 х 4 м.

Важно отметить, что в HI-FOG используется система сухотрубов, т. е. используемое в штатном режиме вещество для тушения огня – дистиллированная вода – хранится в цистерне, которая размещается в пожарно-насосной станции.

Один из спринклеров

В спринклере находится  шарик с эфирным веществом, который лопается при температуре 57^о С, после чего автоматически запускается система пожаротушения.

Система HI-FOG создаёт мелкодисперсный туман, который закрывает зону возгорания, вытесняет из неё кислород и снижает температуру. То есть система позволяет устранить две причины пожара их трёх возможных. Третья теоретически возможная причина пожара – наличие горючего материала. Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала. Эти панели могут обеспечить до 90 минут огнеупорной защиты. Кроме того, в дата-центре используются только малодымные кабели.

Система HI-FOG, пожалуй, оптимальна для применения в дата-центре, поскольку обеспечивает локальное тушение, а не заливает газовой пеной весь зал, нанося ущерб оборудованию, не охваченному пожаром. Кроме того, ее использование не требует обязательной эвакуации людей.

Сертификат FM Approved, выданный международным лидером в сфере независимых испытаний, позволяет использовать технологию HI-FOG также в энергетической отрасли, на перерабатывающих и обрабатывающих промышленных предприятиях, а также подводных лодках и на круизных лайнерах.

Пожарная станция

Цистерна с дистиллированной водой (синего цвета, видна сзади на фото) рассчитана на тушение всей площади дата-центра. Такая же система работает в московском метрополитене и Большом театре.

Пульт управления и мониторинга

На пульте управления и мониторинга в режиме 24 х 7 находятся дежурные, наблюдающие за работой инженерных систем и ведущие приём заявок от клиентов. Система видеонаблюдения позволяет быстро переходить от отображения общей схемы дата-центра к изображениям отдельных залов, ячеек, коридоров и стоек оборудования, компонентов системы пожаротушения (включая спринклеры), электропитания, климатики.

Стандартный договор SLA предусматривает, что первый ответ на заявку о техподдержке должен быть дан в течение 30 минут. Однако в дата-центре фактическое время обратной связи клиенту не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации обращений.

Поддержка осуществляется на русском, английском и на китайском языках.

Пульт системы управления и мониторинга

За всё время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя (даунтайма), ни одного нарушения SLA.

Дата-центр и его слаженная команда оставляет впечатление живого организма.

Внутри ЦОДа даже есть место музыке: когда переходишь по коридору из одного зала в другой, нельзя не заметить аппаратуру для рок-бэнда, в котором когда-то играл Клифф Гаунтлетт и который выступает на корпоративных мероприятиях и обязательном ежегодном open air фестивале IXcellerate – Rockin’Russia.

Коридор между залами дата-центра

IXсellerate планирует строительство новых площадок, в дополнение к Moscow One появятся ЦОДы Moscow Two, Moscow Three и т.д.

Наша компания "Онланта" начинала сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера. Тогда ни у кого на российском рынке подобного решения не было. Каналы темной оптики нам стоили космических денег по сравнению с прибылью от услуг, которые мы предоставляли. Отдельную услугу по катастрофоустойчивому облаку у нас так никто и не купил, поэтому мы просто стали развивать своё облако сразу на двух площадках. Потом появилась третья, так как стало очевидно, что нельзя обеспечить полноценную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одной из двух площадок. Но объективно можно сказать, что из всех трёх площадок IXcellerate является лучшей – как по организации сервиса, так и в целом по адекватности менеджмента.

Делитесь и вы, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает?