Друзья, добрый день!

Немного риторики: В жизни не только каждого ИТ специалиста, руководителя ИТ подразделения, но и владельца бизнеса возникает ВОПРОС – где размещать сервера, вычислительное оборудование, СХД? Использовать “самодельный” ЦОД, выделить угол под несколько стоящих серверов или перевезти все в ЦОД. В текущем повествовании я не буду вообще касаться вопроса потребности выбора необходимости размещения в коммерческом ЦОДе, а лишь немного помогу с выбором с приоткрою завесу с подводными камнями (маркетинг работает хорошо, и на первом этапе поверьте, любой из ниже перечисленных будет только махать руками, что он лучший).

ВАЖНО: Тут нет никакой рекламы, тут исключительно мое субъективное мнение, основанное на длительном анализе имеющихся предложений, опыте общения, осмотре непосредственно ЦОДов и анализе полученной информации c целью подготовки переезда в коммерческий ЦОД собственной организации.

По роду своей деятельности я часто участвую в большом количестве разнообразных проектов – от инфраструктурных проектов в сфере информационных технологий до проектов внедрения новых информационных систем.  Немного предыстории: Дело было так, в один прекрасный летний день ко мне и моего коллегу по подразделению вызывают в переговорную. Мурашки по телу, что случилось, какая проблема?!!! Нет, таких вопросов в голове не возникало) Новость ошарашила – морально и физически готовиться к переезду из комфортного бизес центра. WTF, подума я!!?? Учитывая, что не прошло и пары недель с момента как по всему БЦ “закопали” полтора километра оптического кабеля связанной с полной модернизацией сетевой инфраструктуры. Что значит переезд? Для большинства обывателей это ассоциируется с перевозом коробок, столов и стульев. Но в ИТ я думал о переезде уже обустроенного ЦОДа, с 2мя вводами по питанию, с резервированием по охлаждению, переезд серверных шкафов и последующими перенос вводов от провайдеров (на этот момент я не зря указал, т.к. один из ниже перечисленных ЦОДов принадлежащий провайдеру услуг связи решил сам у себя быть монополистов и не пускать альтернативных провайдеров :-) ).  Но раз надо, значит надо.

Собственно, про проработку одно из направлений потенциального переезда я и хочу рассказать – размещение серверного оборудования в коммерческом ЦОДе. (Опять отойду от рассказа и озвучу территориальную принадлежность – г. Санкт-Петербург. Хотя данный материал сможет помочь не только при первичной локации в ЦОДе, но и при выборе резервного ЦОДа как и СПБ, так и из другого, например резервный ЦОД для Московской копании).

В качестве кандидатов на рассмотрение выбирались дата центры СПБ из 1ой десятки по площади и размещенным стойкам.

В список попали:

— SDN «Xelent» (Выборгское шоссе, д.503, к.12)
— ЛинксТелеком (ул. Репищева, д.20А)
— Селектел (Цветочная 21)
— ОБИТ (ул. Заставская, д.33)
— IMAQLIQ (ул. Седова, д.11Б)
— ВестКолл (Галерный проезд, д.3)
— Миран (Пироговская набережная, д.17, к.7)

При рассмотрении кандидатов были предъявлены следующие требования:

• Уровень ЦОД
• Владелец здания (помещения), в котором находится ЦОД
• Площадь ЦОДа
• Наличие ДГУ, мощность, время работы без дозаправки
• Наличие ИБП, время автономной работы, уровень резервирования;
• Наличие системы автоматического пожаротушения
• Наличие системы охранно-пожарной сигнализации
• Наличие системы контроля учета доступом;
• Наличие системы видеонаблюдения;
• Доступ на площадку
• Количество специалистов и инженеров, присутствующих на площадке в рабочее и нерабочее время
• Предоставление KVM консоли
• Расположение ЦОДа, удобство доступа
• Присутствующие провайдеры
• Цена

Часть дата центров отсеялась на начальном этапе:

1. Селектел (Крайне не клиенто-ориентированный ЦОД, ни в какую не захотели общаться в “живую”, указали цену в ХХХ т.р. за требуемые параметры (при условии, что среднее предложение по рынку составляло на 30-40% ниже), остальные вопросы задавайте письмом)
Забегая немного вперед, этот ЦОД все-же попал в список потенциальных претендентов, но лишь благодаря настойчивости одного из основных операторов связи, оказывающего телекоммуникационные услуги.

2. ОБИТ ул. Заставская, д.33. (отказался пускать других провайдеров в свой ЦОД)
Если Вы захотите переехать в ЦОД не меняя своего оператора связи…. Вам явно в другую сторону.

Ну поехали

Дата-центр IMAQLIQ (ул. Седова, д.11Б)

Дата центр IMAQLIQ имеет уровень надежности TIER III, расположен в промышленном районе, на улице Седова. Он имеет площадь 360 кв. м. на 150 стоек. Транспортная доступность у дата-центра хорошая, удобный въезд, большая парковка.  Помещение находится в собственности, ЦОД реализован на территории бывших складских помещений. В серверном зале установлены стойки 42U, присутствуют помещения для работы с оборудованием, стеллажи для ЗИП и комплектующих.

В качестве плюсов могу отнести хорошую транспортную доступность, бесплатное предоставление интернет канала, комфортное размещение в дата-центре.
Из минусов: стойки 42U, в каждой стойке по умолчанию занято 3U на счётчик и автоматы питания, отсутствие PDU (установлены сетевые пилоты). Так-же могу сказать, что это такой “домашний или семейный” ЦОД, в нем приятно, комфортно но лишь для своего уровня.

Основные характеристики Дата-центра IMAQLIQ:

• Два независимых ввода электропитания по системе АВР. Каждый ввод по 1 МВт. Проектный и физический запас по наращиванию мощностей до 800 кВА.
• Два централизованных, дублирующих ИБП, мощность 400 кВА. Проектная и физическая возможность расширения до 1 МВА.
• Вентиляция и кондиционирование осуществляется с верхней подачей воздушных потоков по системе горячего и холодного коридоров.
• Дизель генератор мощностью 800 кВА
• Запущена первая очередь, зал 360 м2 на 150 стоек 42U
• Текущая заполненность зала 50%
• Складские помещения с оборудованной зоной погрузки разгрузки.
• Собственная парковка на 70 мест.
• Административно офисная секция

Серверные шкафы



Система питания



Святая святых, управление и мониторинг, но скромненько. Очень.

Дата-центр ВестКолл (Галерный проезд, д.3)

    Дата-центр ВестКолл расположен на территории Невское проектно-конструкторское бюро. В этом же помещении располагается и головной офис компании ВестКолл. Дата центр состоит из 3х распределенных по территории и этажам машинным залам. Новый машинный зал современный, с фальшполами, брендированными стойками. Доступ в машинный зал осуществляется через территорию внутреннего двора, что не совсем удобно т.к. он оделён от административного здания (представляю, как это зимой, зашел к менеджеру поздоровался, разделся, пошел к своей стойте = опять цикл одевания-раздевания). Своя парковка отсутствует, что создает дополнительные трудности. Элементарные удобства как кофе зона, гардероб и помещение для пуско-наладочных работ с серверным оборудованием так-же не попали в поле зрения. Из положительного могу отметить цену – немного ниже чем по рынку и клиенто-ориентировнность (зазывают всеми возможностями). Из минусов – территория находится не в собственности, конфигурация здания и его помещения не отвечают современным требования к дата центрам, в плане комфортного удобства работы – наличие оборудованных зон для работы с оборудованием, шкафы для ЗИП и просто гардероб – отсутствуют.

Основные характеристики Дата-центра ВестКолл

• Параметр/Класс ЦОД (уровень) Дата-Центр ВестКолл
• Тип здания Отдельно стоящее
• Количество энерговводов Два независимых электрических ввода
• Схема резервирования компонентов N+1
• Первоначальная мощность из расчета Вт на м2 480-630
• Максимальная мощность Вт на м2 1615+
• Бесперебойное кондиционирование Есть
• Нормативная нагрузка на фальшпол, кг на кв.м. 732+
• Общая длительность отказов за год, часов Без аварий
• Доступность ЦОД 99,995%
• Обслуживание Круглосуточная дежурная смена

Новый машинный зал



Без пожаротушения никуда, только данные баллоны должны быть вынесены за периметр машинного зала.

Дата-центр ЛинксТелеком (ул. Репищева, д.20А)

Помещение дата центра Linxdatacenter арендуется в бизнес-центре. Расположен дата-центр в промзоне, но добраться достаточно просто, присутствует большая парковка для посетителей торгового центра. Дата центр Linxdatacenter имеет голландские корни. Из интересных решений — своя газопоршневая подстанция и полная независимость от городского электричества. При этом имеется отдельный ввод от города, аккумуляторы на подхвате и дизеля на случай перебоев с газом. Большой акцент сделан на безопасность. Особо позиционируется сертификация по стандарту PCI DSS (Международно признанный стандарт безопасности индустрии платёжных карт. Гарантирует надёжность физической безопасности ЦОД), хоть данный сертификат присутствует и в других ЦОД – тут он особо подчёркивается. От верификации по отпечатку пальца, до непрерывной записи камер видеонаблюдения и резервированию этих записей на разные видеорегистраторы.

В Linxdatacenter сразу видно, что подход к организации бизнес процесса размещения серверных стоек серьезный, мышь не проскочит. Особо понравилась комната для работы с оборудованием перед его инсталляцией или для проведения технологических работ, большая, есть необходимый инструмент, скроссированые п/п позволят осуществить коммутацию от оборудования в шкафах. Приятно. Удобная зона работы и отдыха. Присутствуют основные крупные провайдеры.

Основные характеристики дата центра Linxdatacenter:

• Общая площадь 9000 кв. м.
• Общая мощность 12МВт
• Уровень надежность TIER 3
• Вентиляция и кондиционирование осуществляется с верхней подачей воздушных потоков по системе горячего и холодного коридоров.
• Автономная газопоршневая станция
• 2 машинных зала на 1000 стоек 48U
• Претензионные кондиционеры, схема резервирования 2N

В Linxdatacenter можно сделать ТОЛЬКО 2 фотографии.

Входа



И разрешили фотографию технического помещения для работы с оборудованием на время подготовки его к установке или обслуживания. Это рабочее место заметно выделяется на фоне конкурентных предложений. Тут возможна и кроссировка не только меди от своей стойки, но и оптики. В наличии весь спектр необходимого инструмента, так что отмазка “я забыл обжимку или отвертку” для проведения работ не прокатит.

Миран (Пироговская набережная, д.17, к.7)

Центр обработки данных Миран располагается рядом с центром города, в промзоне и состоит он из 2х независимых частей с независимым управлением, мониторингом и обслуживанием. Первая часть представляет из себя классический ЦОД, в здании, на первых этажах которого оборудованы слесарные мастерские и боксы автосервиса!!! Подъезд к ЦОДу достаточно тяжелый, но еще тяжелее выезд из дата центра. Парковочное пространство так-же не является сильной стороной, а еще более слабая сторона – выехать из данного ЦОДа если использовать личный или корпоративный транспорт. Поверьте, из всех обследуемых ЦОДов, тут самая печальная ситуация. Количество операторов связи впечатляет – почти все возможные. В классическом ЦОДе стойки 42U, в модульном 48U, но модульный ЦОД накладывает существенные ограничения по свободному пространству, горячий коридор маленький.  Модули представляют из себя специально сваренные двухэтажные контейнеры. На первом этаже расположены стойки, блоки кондиционеров и система пожаротушения, на втором — энергоблок, ИБП. С точки зрения экономической составляющей и соотношению цена-качество достаточно приемлемы вариант, но расположение, внешний вид и удобство работы с оборудованием и наличие комфортных условий не сильная сторона этого дата-центра. Это, наверное, еще единственный ЦОД в котором я встретил настоящий “зоопарк” как в инфраструктуре – в каждом машинном зале свои правила) Где-то есть полноценно реализованные горячие-холодные
коридоры, где-то есть фальшпол, где-то одинаковые серверные шкафы… ну а где-то нет(

Основные характеристики дата-центра Миран:

• Название дата-центра Миран-1
• Место расположение г. Санкт-Петербург, Пироговская наб. 17 корп7А
• Год запуска в эксплуатацию 2010
• Соответствие Tier Tier3
• Общая площадь дата-центра 500 кв.м.
• Общая площадь серверных комнат 250 кв.м.
• Общее количество серверных шкафов 135
• Общая мощность дата-центра 1 МВА
• Среднегодовой PUE 01.апр
• Количество электрических вводов от города Два независимых фидера 10 кВ
• Резервный ДГУ 1 ДГУ Cummins 703 кВт в зимнем исполнеии
• Время работ на ДГУ без дозаправки 20 часов
• Время доставки топлива за 4 часа, договор с топливной компанией
• Ежеквартальная экспертиза топлива Да
• Размер используемых шкафов 42U / 47U, 600 x 1000 мм
• Возможность установки нестандартных шкафов Да
• Система кондиционирования прецизионные кондиционеры Uniflair
• Резервирование систем кондиционирования N+1
• Температура в холодном коридоре +22±2°С
• Влажность в холодном коридоре не более 60%
• Источники Бесперебойного Питания Четыре ИБП General Electric по 250кВА каждый
• Время работы на ИБП при полной нагрузке не менее 8 минут
• Резервирование систем электропитания N+1
• Количество электрических вводов в шкаф Два независимых ввода на шкаф
• Тип используемых PDU Два zeroU APC, розетки С13, С19
• Система пожаротушения Автоматическая газовая система
• Видеонаблюдение Круглосуточное, в соответствии с PCI DSS
• Охрана Круглосуточная силами органов полиции
• Система диспетчеризации Мониторинг, учет и управление всеми

Немного фото:

SDN «Xelent» (Выборгское шоссе, д.503, к.12)

Xelent (ранее SDN) — крупнейший дата-центр Северо-Западного региона России, оказывает услуги ДЦ-аутсорсинга: от аренды оборудования и перевоза ИТ-систем до решений по развитию облачной инфраструктуры. Xelent — это дата-центр на 1476 стоек с расчётной нагрузкой до 20 кВт на стойку в среднем и общей мощностью 14 мВт, проектная площадь технологических помещений 6500 м2. Проект выполнен с учётом требований к Tier III. Дата центр расположен по адресу Санкт-Петербург, Выборгское шоссе, д. 503, корп. 12, имеет собственную парковку, огороженную территорию и удобный подъезд. Да, он на севере города, но близость к сьезду с КАД это нивелирует. Из всех вышеперечисленных дата-центров – это единственный (не считая модульных) который проектировался и строился именно под ЦОД со всеми вытекающими особенностями. Земля и здание находятся в собственности. Дата центр содержит 9 модулей, 8 ДИБП с прямой дизельной поддержкой по 1,6 МВт. Система бесперебойного питания N+2 (7,6 МВт), система охлаждения N+2 (7.8 МВт). На мой взгляд этот дата центр один из самых зарезервированных из вышеперечисленных. ЦОД оборудован всеми необходимыми инструментами для комфортной работы и обслуживания вычислительной техники. И это единственный дата центр, где мне сразу показали портативные источники дыхания на случай пожаротушения, расположенные по всему периметру ЦОДа.

Количество ячеек бесперебойного энергоснабжения впечатляет/ Присмотритесь, каждый модуль — одна ячейка.



Ваши сервера всегда под надежной охраной.

Селектел Цветочная 21

 Про попадание этого ЦОДа в список для потенциального выбора я написал чуть выше.
Селектел  - российский хостинг-провайдер, владелец сети из шести дата-центров, в Москве, Санкт-Петербурге и поселке Невская Дубровка Ленинградской области. Компания основана бывшими инвесторами «ВКонтакте», и как мне говорил во время экскурсии – это и есть первый дата центр, построенный для ВКонтакте. В 2010 году Selectel запустил первую облачную услугу — выделенные серверы. НА сегодняшний день аренда стоек – не основной вид бизнеса компании, основной – аренда ресурсов. Комплекс «Цветочной 2» включает в себя два здания: главное, четырехэтажное и примыкающее к нему одноэтажное. Его площадь составляет 12 тысяч м2. Компания предоставляет возможность размещать оборудование, арендовать серверные стойки 47U или выделенное пространство в серверном помещении. Услуги предоставляются на площадке дата-центра Tier III. ЦОД Селектел Цветочная 2 (Цветочная 1 не рассматривается, т.к. морально устарел и не соответствует актуальным критериям по надежности) расположен недалеко от Московского проспекта, по адресу Цветочкая 21.

Источники бесперебойного питания, 3 дизель-генератора N+1, чиллеры, автоматическая система газового пожаротушения, сертификация PCI DSS, соответствие сертификату TIER III

Организация размещения серверных стоек аналогична другим ЦОДам. В 3х машинных залах, где производил осмотр на случай пожаротушения обнаружил всего 1 противогаз. (В одном зале искали подобный противогаз совместно с представителем ЦОДа, но так и не нашли). Места для подготовки серверного оборудования находилось просто в коридоре, столик с оборудованием для подключения к серверам мягко говоря разваливается.  Из минусов: стойки 47U, в каждой стойке по умолчанию занято 3U на счётчик и автоматы питания, отсутствие PDU (установлены сетевые пилоты). Минус достаточно существенный. Кроме того, на вопрос о индексации тарифа на электроэнергию мне было сообщено, что согласно договора его могут менять хоть каждый месяц, а верхняя планка около 15%. Учитывая, что у конкурирующих провайдеров ставка на уровне инфляции или установленной Сбытовой компанией это также отрицательный момент. Ну а в качестве вишенки мне было прямо сказано, услуга colocation не приоритетное направление, поэтому ожидать существенных уступок не стоит. Вот так-то так.

• Основные характеристики:
• Санкт-Петербург, ул. Цветочная, д. 19.
• Общая площадь — 14270 м?.
• Площадь серверных помещений — 2?450 м?.
• Количество серверных стоек — 1200.
• Мощность ДЦ, КВА — 2400.

В сравнительной таблице я оставлю открытым только параметр цены. (т.к. остальные параметры для могут быть истолкованы субъективно, и важны исключительно в конкретной ситуации). При этом я буду указывать относительную цену и изменение в процентах по отношению к другим предложениям. Минимальное предложение буду считать в 100%.

         
  Что хочется сказать в заключении

Исходя из вышеперечисленного лично я предлагал в конкретно своей ситуации, учитывая поступившие вводные от бизнеса рассмотреть варианты размещения серверного оборудования в ЦОД в г. Санкт-Петербург в ЛинксТелеком или Xelent. Это наиболее крупные дата центры Санкт-Петербурга, в них реализована лучшее резервирование по питанию и охлаждению. Если смотреть с точки зрения удобства – Xelent предоставляет большее число дополнительных опций (например, бесплатное размещение пассивного оборудования выше стойки), кроме того с точки зрения надежности Xelent спроектирован именно под задачи ЦОДа, территория находится в собственности, но расположен немного дальше остальных ЦОД, при этом имеет удобный подъезд. Более того, ЦОД предлагает заключение длительного договора 3-5 лет, что позволит прогнозировать расходы и фиксировать абонентскую плату за аренду стоек (изменение цены допускается только за электроэнергию, на величину, изменяемую Петербургской Сбытовой Компанией). ЦОД ЛинксТелеком просто “помешан” на безопасности вход осуществляется по сканеру отпечатка пальца + магнитной карточке), хотя и он и Xelent соответствуют стандартам PCI DSS.

Главное, что есть выбор. Если сойдутся звезды и в моей организации осуществится переезд в ЦОД, то это тема отдельной отдельных статей.