Недавно наши специалисты разместили и подключили оборудование в современном дата-центре в Турции. Новая локация теперь доступна в панели управления, и теперь есть возможность создавать виртуальные машины в Стамбуле. Центр обработки данных Star of Bosphorus занимает огромную площадь в 45 000 кв. м и имеет сертификацию Uptime Institute Tier III Design & Resort.

Под катом расскажем, что привлекло нас в этом дата-центре и почему был выбран именно он, какие особенности есть у этой «Турецкой звезды», какое серверное оборудование было размещено в кластере, как мы подключали оборудование и покажем сетевую схему.

Star of Bosphorus

«Star of Bosphorus» был выбран нами не случайно. Во-первых, это передовой центр обработки данных и первый сейсмоустойчивый дата-центр в Турции, который прошел сертификацию Uptime Institute Tier III Design & Resort. Принадлежит одной из ведущих IT-компаний в Турции – NGN.

Во-вторых, это крупный защищенный объект площадью 45 000 кв. м, расположенный в отдалении от города, в промышленной части района Tuzla в Стамбуле. Обеспечивает резервный доступ, бесперебойное электроснабжение и свободу от многих физических рисков, поскольку находится рядом со стамбульской распределительной электростанцией (Tepeören Electricity Distribution Plant).

Конструкция ЦОДа

За счет чего в «Star of Bosphorus» обеспечивается безопасность? ЦОД имеет масштабируемую конструкцию с четырьмя модулями центра обработки данных (Data Center Modules – DCM) в двух отдельных зданиях. Каждый модуль имеет собственную инфраструктуру с системами питания, охлаждения, противопожарной защиты и физической безопасности.

А что по сейсмоустойчивости? ЦОД расположен на безопасной земле, свободной от риска эрозии и вдали от плотин или больших резервуаров для воды. Дата-центр был построен по технологии сейсмоизолированного строительства и спроектирован с учетом особенностей географического положения, то есть частых землетрясений, характерных для региона. Заявляется, что он устойчив к землетрясениям магнитудой 9+ баллов (однако мы не проверяли) благодаря установленным 138 подвижным сейсмоизоляторам.

Питание

Дата-центр имеет общую электрическую мощность 16 МВт. Этого достаточно, чтобы обеспечить питание для больших объемов данных и высоконагруженных систем. ЦОД оборудован системой бесперебойного электроснабжения, основанной на схеме резервирования 2N. Существует две независимые линии электроснабжения, полностью резервирующие друг друга.

Также ЦОД оборудован резервными дизельными генераторами. Они автоматически включаются, когда обнаруживается прерывание основного электропитания, и обеспечивают электроэнергией для непрерывной работы оборудования. В случае сбоя внешнего питания запаса топлива хватит минимум на 72 часа.

Star of Bosphorus обеспечивает энергосбережение и оптимизацию выброса углекислого газа за счет использования активного охлаждения на 10% меньше, а также безбатарейных дизельных роторных ИБП-систем (DRUPS).

Охлаждение

Star of Bosphorus оснащен системой кондиционирования с уровнем резервирования N+1. В системе имеется резервный модуль кондиционирования, способный обеспечивать необходимое охлаждение даже в случае выхода из строя одного из модулей.

Для поддержания оптимальных температур внутри дата-центра в случае отключения основного электроснабжения, имеются резервные генераторы. Они обеспечивают электроэнергию для систем охлаждения, чтобы предотвратить перегрев серверов и оборудования.

Безопасность

В Star of Bosphorus для обеспечения безопасности реализована не только круглосуточная охрана, но и четырехступенчатая система контроля доступа. Она включает в себя сканер сетчатки глаза, рентген и mantrap.

Mantrap – это тесное помещение из толстого стекла с двумя дверьми, работающее по принципу ловушки. Дверь, через которую вошел человек, блокируется, а дверь для входа в дата-центр открывается только в том случае, если посетитель пройдет проверку безопасности за ограниченное время. Так что если замешкаешься, двери заблокируются и выпустят вас только после приезда охранной службы. Довольно стрессовое мероприятие, но зато это еще одна гарантия безопасности инфраструктуры.



Комплексные функции по безопасности включают в себя:

• круглосуточная охрана;
• 4-ступенчатая система физической безопасности на территории ЦОД (рентген, 2-ой рентген, mantrap, сканирование сетчатки глаза);
• круглосуточное видеонаблюдение в здании и дата-холлах;
• круглосуточный мониторинг инфраструктуры ЦОД с помощью камеры, которая поддерживается цифровыми записями с элементами управления, связанными с PCI-DSS;
• считыватели смарт-карт с биометрической технологией аутентификации доступа;
• безопасные шкафы и клетки;
• идентификация и авторизация посетителя.

Наши сотрудники, побывав там, подтверждают высокий уровень защиты дата-центра. Дата-центр похож на небольшую крепость: несколько проходных точек, невозможность попасть в ЦОД без местного сопровождения, или выйти из серверной без сотрудника и войти обратно.

Противопожарная защита

В Star of Bosphorus противопожарная защита основана на системах детектирования и тушения пожаров, включая датчики дыма, автоматические системы пожаротушения и разделение зон для предотвращения распространения огня.

Здесь установлена автоматическая система газового пожаротушения NOVEC 1230 (ФК-5-1-12) (Новек 1230), 2000 пожарных датчиков. Она представляет собой экологически безопасную альтернативу традиционным системам пожаротушения на основе воды или газа.

Система быстро реагирует на обнаружение пожара и подавляет огонь, создавая смесь пара и газа в пожарном очаге, что способствует прекращению распространения огня и предотвращает его повторное возгорание. Ее растворитель представляет собой фторированный кетон, который обладает низкой токсичностью и не наносит вреда окружающей среде. Совместим с электронными устройствами, не проводит электричество и не повреждает их.

Сертификаты

Перечислим основные стандарты и сертификаты, которые есть в дата-центре:

• SOC 1
• LEED
• ISO 9001:2008
• ISO 27001:2013
• ISO 9001-2011
• PCI DSS
• Tier III Design and Facility

Эти аббревиатуры мало, что дают обычному пользователю, поэтому об особенностях сертификации в дата-центрах можно прочитать подробнее в нашей статье «О чем говорят сертификаты ЦОД». Там подробно описана система сертификации и, для чего они нужны. Здесь, пожалуй, подробнее разберем два – Tier III и LEED.

Tier III

Если коротко, то дата-центр Tier III как правило оснащен инфраструктурой с повышенным уровнем резервирования. Поддерживает техобслуживание и замену оборудования без приостановки работы всего объекта. Все элементы имеют несколько резервных копий: есть несколько каналов подачи питания и охлаждения. В моменты технического обслуживания (8-12 часов) активен только один из этих элементов. Сертификация Tier III выдается только в том случае, если в реальных условиях конструкция и производительность ЦОДа соответствует критериям стандарта.

У нас уже есть дата-центры в Москве (DataSpace) и Минске (beCloud), которые имеют сертификацию III уровня, а также локации, построенные по стандартам Tier III. Сейчас был подключен новый дата-центр, соответсвующий этой сертификации – Star of Bosphorus в Турции. В стране расположено немного провайдеров, объекты которых соответствуют этому стандарту. Многие из них имеют сертификат класса Design, что показывает соответствие только в области проектной документации. У «Star of Bosphorus» есть два из трех возможных классов сертификации:

Tier III Design Documentation Uptime Institute. Сертификат свидетельствует, что инфраструктура дата-центра, представленная в проектной документации, соответствует требованиям сертификации Tier III Uptime Institute.

Tier III Constructed Facility Uptime Institute. Сертификат подтверждает возможность проведения любых регламентных, а также ремонтных работ без оказания влияния на IT-нагрузку, тем самым обеспечивая надежность и непрерывность бизнес-процессов клиентов.

LEED

LEED является новым сертификатом для наших дата-центров, которого нет в статье. LEED (Leadership in Energy and Environmental Design) означает лидерство в энергоэффективности и экологическом проектировании. Это международная сертификация объектов, которая подтверждает применение эффективных и экологичных методов проектирования и строительства. Система разработана Советом по экологическому строительству США (USGBC).

LEED представляет собой общепринятую рейтинговую систему, которая оценивает объекты с точки зрения дизайна, строительства и непрерывности эксплуатации. Здания с сертификатом LEED, которые имеют более низкие эксплуатационные расходы, сокращают расходы на электроэнергию и воду до 40%.

Star of Bosphorus оснащен механическими системами, необходимыми для защиты природы и окружающей среды, обеспечивает энергосбережение и оптимизацию выброса углекислого газа за счет использования активного охлаждения на 10% меньше. Также выполняет экологически безопасные операции благодаря безбатарейным дизельным роторным ИБП (DRUPS).

Оборудование и подключение

В дата-центре было размещено 8 серверов vStack-R 2U, один из которых находится в резерве. Он является запасным, или тестовым, необходим для тестирования каких-либо планируемых изменений конфигурации – прошивки и настройки.

В ЦОД функционирует сейчас 7 серверов vStack модели SL201-D25RE со следующей конфигурацией:

• 2x CPU: Intel® Xeon® Gold 6226 CPU @ 2.70GHz
• 16x RAM: 64Gb RDIMM 3200MHz
• 14x SSD Intel S4610, 960GB SSD SATA
• 1x NIC Mellanox, MCX512A-ACAT 25GbE
• 1x NIC Intel G82599L 10GbE
• 1x HBA Controller Broadcom 9400-16i SGL

Монтирование

Каждая инсталляция для нас новый опыт. Например в Канаде, где мы в прошлом году запустили кластер, управление процессом монтирования обошлось «удаленными руками». Однако в Турции использовался другой способ. Специфика самого дата-центра, а также наличие особенностей установки нового оборудования, привели к тому, что инсталляцию было решено производить непосредственно нашими специалистами на месте.

Перед инсталляцией и приездом нашей монтажной бригады, вся коммуникация с ЦОДом происходила через представителя компании в Турции, который владеет местным языком. Вместо консоли, как например в Cologix, в NGN используют телефон с подрядчиком или общение по email, поэтому без «нэйтив спикера» здесь было не обойтись. Также этот специалист и был сопровождающим и «пропуском» в дата-центр, без него пройти туда невозможно.

Оборудование было установлено и смонтировано в течение двух дней. После поставки, специалисты подготовили две стойки для установки и провели проверку и сборку серверов на месте. После они установили оборудование на рельсы и подготовили его для подключения к сети. Была также осуществлена коммутация оптоволокна и витой пары для обеспечения передачи данных. Чтобы наша группа Network могла начать настройку и подключение, мы произвели инициализацию серверного оборудования через консольный доступ.

После этого, задача по настройке сетевой части была передана группе Network, чтобы они смогли организовать техническое подключение. Это включало в себя настройку сетевых параметров, обеспечение надежного соединения и проверку работоспособности всей сетевой инфраструктуры.

Настройка сетевой связности

Переходим к группе Network. На рисунке выше представлена принципиальная сетевая схема нашей площадки в турецком дата-центре. На маршрутизаторах Cisco ASR 9001 организован BGP-стык с двумя провайдерами (c автоматическим изменением маршрутов при падении одного из каналов). BGP — это протокол, на котором, в принципе, построен Интернет. Он обеспечивает работу Интернета за счет обмена маршрутной информацией. ASR также связаны между собой по BGP-протоколу и далее соединены с коммутаторами Cisco Nexus 93360. За внешний трафик отвечают маршрутизаторы ASR, а за «внутренний мир» – коммутаторы Nexus.

Коммутаторы связаны между собой с помощью vPC peer-link. Технология vPC позволяет объединить два физических устройства в одно виртуальное. Один из коммутаторов имеет роль vPC-primary, второй vPC-secondary. Роли primary и secondary влияют на поведение коммутаторов в случае выхода из строя одного из них. Все остальное оборудование подключено к коммутаторам.

Чтобы проверить схему на работоспособность, проводилось стресс-тестирование, которое показывает, как система справляется с экстремальными нагрузками. Оно позволяет оценить, как кластер реагирует на отказы и обеспечивает непрерывную работу. Вся сетевая инфраструктура, включая порты и узлы, имеет резервирование. В первой части тестирования отключался один из двух коммутаторов, чтобы проверить, как кластер реагирует и продолжает функционировать. Он работал без проблем, что показывает надежность системы. Далее отключался второй коммутатор, и уже проверялась его работоспособность

Во второй части тестирования система делалась нестабильной. Имитировалась потеря узла, тестировалась устойчивость кластера при поочередной потере и возврате каждой ноды. Компоненты системы показали себя как отказоустойчивые, включая сетевую, серверную часть и хранилище данных.

Что это дает?

Вы можете быстро развернуть в панели управления Serverspace виртуальный сервер в новой локации – Турция (Стамбул). Создание виртуальной машины доступно со следующими конфигурациями:

Поддерживаемые ОС:

• Linux (OEL/CentOS/Ubuntu/Debian);
• FreeBSD;
• Windows Server.

Ресурсы на один сервер:

• CPU до 16;
• RAM до 128 Гб;
• SSD до 5 000 Гб (5 томов);
• 5 IP-адресов до 500 Мбит/с пропускной способности.