Выбрать дата-центр для своего проекта — та еще боль. Найти лучший дата-центр под свои задачи проще, если знать, на что обратить внимание при поиске. В случае облачной игровой платформы Playkey качество стриминга напрямую зависит от дата-центра: его надежности, близости к пользователю, качества сети и других параметров. Поэтому с дата-центрами мы работаем каждый день и знаем основные их главные проблемы.




В этой публикации технический директор Playkey Алексей Лыков расскажет, как выбрать дата-центр, о чем не забыть при поиске, зачем углубляться в особенности электропитания и чем европейские ЦОДы отличаются от российских. Передаем слово Алексею.


1. Изучите стандарт Tier дата-центра


Первый вопрос при выборе дата-центра — надежность, или аптайм. Самая популярная сертификация этого параметра — методология Uptime Institute, которая делит все дата-центры на четыре ранга (Tier). Существует альтернативная система оценки надежности дата-центров по стандарту TIA 942, но нам он не так интересен в силу своего рекомендательного характера. В случае с сертификатом Uptime Institute, они сами проверяют ДЦ на нескольких этапах (от проектирования документации на постройку до регулярной оценки операционного обслуживания центра) и выдают по итогам проверки оценку. Получить себе такой "липовый" сертификат для ДЦ становится практически нереально.


Вот краткое описание каждого из четырех Tier:


  • Tier 1. Инженерная инфраструктура без резервирования и избыточных ресурсов. Время простоя за год — 28,8 часов. Коэффициент отказоустойчивости — 99,671%.
  • Tier 2. Система не имеет полного резервирования, но оборудована дополнительными элементами охлаждения и энергоснабжения. Время простоя за год — 22,0 часа. Коэффициент отказоустойчивости — 99,749%.
  • Tier 3. ЦОД имеет несколько каналов для распределения электропитания и охлаждения, а также резервированные компоненты. Время простоя за год — 1,6 часа. Коэффициент отказоустойчивости — 99,982%.
  • Tier 4. Дата центры с двойным резервированием с учетом, как минимум, дополнительного компонента. Несколько активных путей распределения нагрузки и охлаждения с резервными компонентами 2 (N+1), т.е. 2 ИБП с избыточностью N+1 каждый. Время простоя дата-центра уровня TIER IV за год не превышает 24 минуты, а коэффициент отказоустойчивости составляет 99,995%.

Карта всех сертифицированных Uptime Institute ЦОД есть тут, а вот их расположение по России. Всего 26 штук, и все они находятся исключительно в европейской части страны:




Синим на карте отмечен один-единственный российский ЦОД, сертифицированный по максимальному стандарту TIER IV, причем расположен он не в Москве, а в Саранске. Вот как он выглядит изнутри:




На фото хорошо видно съемный фальшпол, который устроен примерно так:




В соответствии с классификацией уровня доступности ЦОД по Uptime Institute TIER IV предусматривает полное резервирование всех инженерных систем с коэффициентом 2N+1, что позволяет проводить любые ремонтные работы без приостановки услуг ЦОД.


Вот как выглядит система электроснабжения с независимыми вводами электричества для саранского ЦОДа:



По официальным сведениям, ЦОД в Мордовии должен стать центральным блоком для инфраструктуры электронного правительства, но справится и с задачами банков, страховых компаний, и даже военных.


Требования различных Tier иногда кажутся немного замороченными (например, необходимость иметь отдельную парковку для сотрудников и гостей ДЦ), но в большинстве своем адекватны. Так, ДЦ по стандарту Tier 3 обязаны иметь помещение в собственности. Понятно, что если дата-центр построен в арендованной локации, то  владельцу здания может в любой момент времени прийти что угодно в голову, и он или повысит цены, или вообще разорвет контракт, какими бы ни были штрафные санкции. Если вы видите площадку с сертификатом Tier 3 и выше, такой риск исключен. Для себя мы выбрали работу с ЦОД не ниже Tier 2, а наш европейский дата-центр в Германии сертифицирован по уровню Tier 3.


Был курьёзный случай, когда ДЦ арендовал помещение на высоком этаже, а лифт принадлежал другим лицам и соответственно на выходные и на ночь его отключали, и завести оборудование было проблематично.


2. Уточните параметры электроснабжения и охлаждения дата-центра


Если вы используете нестандартную конфигурацию серверов, то второй пункт смело можно ставить вровень с первым. Мы всегда особенно внимательны к электропитанию и охлаждению серверов, потому что используем не обычные, а GPU-сервера, на которые не рассчитано большинство дата-центров.


Если мы возьмем стандартную серверную стойку в 42 юнита, то она в норме будет выглядеть так (ноутбук не прилагается):



Обычно к такой стойке владельцы ЦОДа подводят 7-10 киловатт мощности и закладывают соответствующее охлаждение. Этого достаточно для конструкции с типовыми серверами, которые потребляют около 300-500 Ватт в т.ч. различные СХД, коммутационное оборудование, патч панели и так далее. Но в нашем случае одна только видеокарта в GPU-сервере "ест" от 150 до 250 Ватт, а таких видеокарт используется до 8 штук на одном устройстве. В итоге суммарное потребление GPU-сервера — около 2 киловатт.


Из-за этого в одну стойку мы можем поставить лишь 3-4 сервера, т.е. 6-8 юнитов, если мы говорим о 2-х юнитных серверах. В итоге в серверной стойке мы можем занять лишь 8 юнитов, а 34 юнита будут свободны. Это ставит вопрос об эффективности использования места. И поднятии нам цены на аренду.


Вывод? Если у вас необычные запросы к оборудованию, то стоит искать дата-центр, заточенный (хотя бы частично) под таких клиентов, как вы. В нашем случае под клиентов с GPU-серверами, с большим подведенным питанием к стойкам и усиленным охлаждением. Пока таких клиентов (и дата-центров), правда, очень мало.


3. Выбирайте локацию по местоположению ваших пользователей


Звучит банально, но стоит напомнить о том, что расположение вашего R&D или штаб-квартиры не обязательно должно быть местом для вашего дата-центра. Первично — то, где находится основная масса пользователей сервиса. В Playkey офис разработки находится в Перми, и на старте мы работали также с местным пермским дата-центром, что упрощало настройку и позволяло быстрее решать любые вопросы с ЦОДом. Но когда пользовательская база начала активно расти, и основная её часть (из тех, кто играет в России) все равно приходилась на Москву, мы приняли решение сгруппировать все сервера также в центре.


После капитального переезда в московский дата-центр мы сразу увидели улучшение качества связи и позитивный фидбек от игроков.


4. Ищите контакты руководства и «потестируйте» техподдержку заранее


Быстрая техподдержка и адекватное руководство — еще один критически важный момент в работе дата-центра. Попробуйте уточнить у сотрудников дата-центра какую-то типовую задачу, например, настроить по инструкции BIOS, и посмотрите на реакцию. Если вас отправят к другому специалисту или начнут тормозить с ответом — все это не самые хорошие знаки. Помните, что если с сервером случится что-то серьезное, то без физического присутствия вопрос чаще всего не решить. И техподдержка — ваши "руки" на случай любых серьезных проблем.


Что касается руководства дата-центра, помните, что без контакта "лица, принимающего решения", любое согласование будет занимать долгие дни и недели. Если при подписании контракта вы до последнего не встречаете человека, который фактически принимает решения в дата-центре, лучше поискать альтернативную площадку для размещения серверов.



5. Проверьте юридическое лицо владельца дата-центра


Самый короткий, но не менее важный пункт. Не поленитесь "пробить" юридическое лицо на nalog.ru. Посмотрите выписку из ЕГРЮЛ — и поймете, как долго существует компания, как часто менялось руководство и владельцы. А в базе арбитражных дел не забудьте посмотреть её судебные дела.


6. Если работаете с европейским ДЦ — запаситесь терпением


Менталитет европейских дата-центров и их организация работы серьезно отличаются от России. По нашему опыту работы с европейскими дата-центрами можно точно сказать, что они делают всё медленнее. Если в России сотрудники техподдержки могут оперативно решить практически любую проблему с настройками сервера, то в Европе всё не так просто. У них всегда есть внутреннее разделение сотрудников на тех, кто занимается низкоуровневыми и высокоуровневыми задачами. Бюрократическая машина вынуждает клиентов доказывать, что проблема действительно важная и требует немедленного вмешательства "высокоуровневого" специалиста со стороны дата-центра. Готовьтесь детально описывать причину своего обращения, ждите согласования "с топами" и только потом надейтесь на помощь.


Есть и отличия в подходе к работе. Например, в России практически все запросы к дата-центру можно отправить в чате или письмом и оперативно получить ответ. Когда мы работаем с сотрудниками дата-центров в Германии и Великобритании, мы вынуждены общаться только по телефону. Почему? Просто у них так принято.


Такие нюансы делают европейцев еще медлительнее. Стоит сделать скидку и на то, что мы сами из России и нам проще взаимодействовать с русскоязычной поддержкой, но даже безотносительно этого процессы у "наших", на мой взгляд, выстроены лучше, и работа идет быстрее.


Мы сейчас начали подготовку к выходу на рынок США, так что для нас все описанные пункты — далеко не пустой звук. Со штатами мы будем расположены уже не в трёх часах лёту от дата-центра, плюс, будет приличная разница в часовых поясах. Так что к выбору долгосрочного партнера будем подходить со всей ответственностью. Плюсом для быстрого запуска будет облачный провайдер, благо за последний год уже два крупных сервиса запустили возможность арендовать сервера с GPU.


А для тех, кто хочет проверить качество наших дата-центров, мы подготовили очередной промокод PlaykeyGeekSummer на 720 минут игры. Работает четверо суток с момента активации, подходит только для новых пользователей, а активировать его не забудьте до 31 июля 2017 года.

Поделиться с друзьями
-->

Комментарии (10)


  1. Iwantbelieve
    28.06.2017 13:57

    Синим на карте отмечен один-единственный российский ЦОД, сертифицированный по максимальному стандарту TIER IV, причем расположен он не в Москве, а в Саранске

    При этом синим на карте отмечен не Саранск, а Тольятти.


    1. s_word
      28.06.2017 14:09

      Ошиблись, спасибо вам за внимательность. Синим на карте отмечен тольятинский дата-центр, саранский ЦОД — слева от него.


  1. redmanmale
    28.06.2017 15:31
    -1

    1. Держите серверы за границей

    Из 9.5 правил ведения безопасного IT-бизнеса в России.


    1. lykovaleksey
      29.06.2017 10:52

      Ключевые сервера за границей, игровые всё-таки надо размещать ближе к пользователю.
      Правила конечно жестокие, не хватает только «родитесь за границей» :)


  1. densss2
    28.06.2017 16:52
    +1

    Вы полегче с КПДВ — меня чуть сердечный приступ не хватил!


    1. HedgeInSmog
      28.06.2017 19:30

      Не пугайтесь, фотошоп же


  1. Kliba
    28.06.2017 20:11

    По нашему опыту работы с европейскими дата-центрами можно точно сказать, что они делают всё медленнее.


    То ли нам так везет, то ли что, но, как показывает моя практика, инженеры из EvoSwitch(NL) работают гораздо быстрее и профессиональнее, чем ребята из Московского DataPro. Не помогает ни то, что общаемся на одном языке, ни наличие прямого чата с инженерами ДЦ — все равно работы выполняются дольше и нередко переделываются по несколько раз.


  1. J_o_k_e_R
    29.06.2017 08:34

    КПДВ — вызвало первое негативное отношение к Вашей статье. Со структурами, представитель которых изображен на картинке, в РФ сейчас ситуация, мягко говоря «не до шуток». Это было бы смешно, если б не было так грустно.

    Второй негатив вызвало это

    Есть и отличия в подходе к работе. Например, в России практически все запросы к дата-центру можно отправить в чате или письмом и оперативно получить ответ. Когда мы работаем с сотрудниками дата-центров в Германии и Великобритании, мы вынуждены общаться только по телефону. Почему? Просто у них так принято.


    Германия, Великобритания, Франция, Нидерланды — география серверов в Европе, у нас на поддержке. Все сколько-то крупные ДЦ работают быстрее и качественнее ДЦ в РФ (тем более есть оперативная поддержка, «через буковки») Например, в том же online.net (на бизнес-тарифах поддержки) проблемы решаются очень быстро, а если еще и оставлять чаевые (есть такая опция в системе тикетов, по закрытию можно накинуть 1-10 евро, если гОдно решили проблему), то работают ребята быстрее московских таксистов, которым 200 рублей сверху накинули.
    В РФ же за счет проблем со всякими Яровыми и прочими нюансами «рашен бизнес» цены в среднем выше, а качество, к сожалению, ниже. Поэтому, я так понимаю, хостерам остаётся только лукавить, подобно цитируемому.


  1. zunzon
    29.06.2017 09:24

    С европейскими ДЦ проблема как раз в том, что они очень большие.
    Я практически уверен, что речь идет о hetzner — одному из крупнейших хостеров в мире. Я также практически всегда наблюдаю их долгую задержку.
    Но давайте находить отличия и понимать: ваш ДЦ в россии скорей всего относительно свежий стартап, вбухали денег, купили здание, технику. Развернули датацентр и «майнят» им денежку.
    Датацентр же хецнера — размером с сам Саранск, с таким количеством клиентов, что без бюрократии — никак.
    Ну и давайте серьезно. Какая топология сети в Саранске?

    Я для своих серверов всеравно предпочту хостеров за границей, т.к. нестабильная политика Украины и России в любой момент могут устроить маски-шоу в твоем ДЦ, вырубив к чертям доступ к ресурсам.


    1. s_word
      29.06.2017 10:57

      Про политику не могу комментировать, всё-таки у нас коммерческий проект, и не таких больших объёмов, чтобы это как-то затрагивало государство. Но большая компания это всегда чуть больше бюрократии и процессов, только так они могут быть хоть как-то эффективны.
      В любом случае не малую роль играет конкретный инженер, которые решает твою проблему. Он может быть формальным, а может прочувствовать проблему и быть другом и помощником, а не просто исполнителем. Надеюсь «помощников» будет будет со временем больше чем «исполнителей», хотя и последние в каких-то случаях будут эффективнее.