Операторы в двух наших дата-центрах дежурят круглосуточно. Один из них, Павел, работает с нами давно и знает, как там всё устроено. В своей статье он рассказывает про современную площадку IXcellerate Moscow North.
Хочу рассказать вам про дата-центр, а точнее уже кампус дата-центров IXcellerate, где компания FirstVDS, в которой я работаю, размещает часть своих мощностей.
![Фото с IXcellerate.com. Сейчас весна, поэтому некоторые фото в статье из интернета, летние — привнести красок Фото с IXcellerate.com. Сейчас весна, поэтому некоторые фото в статье из интернета, летние — привнести красок](https://habrastorage.org/getpro/habr/upload_files/dce/242/bdd/dce242bdd9c1f31f1b3276a1887aa8c7.png)
FirstVDS предоставляет вычислительные среды и мощности, используя дата-центр в Химках и арендованные площади в IXcellerate. О последнем и пойдёт речь.
История сотрудничества компании с IXcellerate (и история моей работы в нём) началась в 2018 году с 4 стоек на первой фазе, то есть, выражаясь современной терминологией, в первом зале IXcellerate MOS1 (персонал называет его просто М1). Параллельно с вводом в эксплуатацию новых залов росли и мы, докупая новые стойки и всячески расширяясь. Сейчас FirstVDS располагает в IXcellerate несколькими десятками стоек, в том числе под высоконагруженные серверы.
История
Компания IXcellerate была основана в 2011 году Клиффом Гаунтлеттом и Гаем Вилнером — ветеранами отрасли. Раньше тут был завод ЖБИ, который начали приспосабливать под новое назначение. В 2013 году было готово первое здание — в нём и разместился ЦОД MOS1 (тогда он назывался IXcellerate Moscow One), который состоял из Фазы 1 — первого введенного в эксплуатацию зала на 220 стоек. В 2015 году состоялся пуск Фазы 2 — второго зала, уже на 515 стоек. Ну а третья Фаза, на 1100 стоек, была запущена в 2018 году, незадолго до того, как я начал здесь работать. Вообще за три с половиной года моей работы в ДЦ строительство здесь не прекращалось ни на минуту, и в итоге за это время и так немаленький IXcellerate Moscow One превратился в по-настоящему впечатляющий по размеру кампус IXcellerate Moscow North, в состав которого входят два уже построенных дата-центра: MOS1 и MOS2 мощностью в 28 МВт.
И строительство продолжается. На схеме отмечен MOS4 — он строится. Примерно полтора-два месяца назад начались строительные работы по зданию, а запас по электричеству для третьего ЦОДа, видимо, готов уже сейчас — подведён ещё один, третий по счёту ввод питания на территорию. Все три ввода — от разных подстанций.
![План территории кампуса План территории кампуса](https://habrastorage.org/getpro/habr/upload_files/f21/097/b83/f21097b8385ba82ff903510fe1660413.png)
Кроме того, планируется еще MOS3 — на схеме справа. Он сейчас на этапе проектирования. Вместе с третьим и четвёртым дата-центрами общая мощность кампуса должна возрасти до 70 МВт.
Что внутри?
У всех ЦОДов здесь общая территория. Охрана, камеры, пропускной режим — всё как полагается. Это первый рубеж. Проход осуществляется либо на основании заранее открытой заявки на посещение, либо по магнитной карте — как для постоянно работающих сотрудников сторонних компаний, так и работников IXcellerate. Сейчас, в наши неспокойные ковидные времена, все прибывающие на территорию посетители должны пройти процедуру измерения температуры на входе (для этого у КПП стоит специальный вагончик с медсестрой внутри) и получить браслет.
![Так выглядит браслет ежедневной термометрии Так выглядит браслет ежедневной термометрии](https://habrastorage.org/getpro/habr/upload_files/7b8/03f/1e3/7b803f1e308ccea799b21cd541f73cff.png)
Далее — вход в здание ЦОДа. FirstVDS присутствует и на MOS1, и на MOS2, соответственно, бывать приходится на обеих площадках. На самом деле различия по пропускному режиму минимальны — за внешним КПП следует дверь в здание центра, которая открывается с кнопки изнутри, далее стойка охраны и вертушка со считывателем карты, совмещённым со сканером ладони — IXcellerate сертифицирован по PCI DSS (стандарт безопасности данных платёжных карт для информационных инфраструктур), тут только так.
![Сканер ладони Сканер ладони](https://habrastorage.org/getpro/habr/upload_files/e75/796/97d/e7579697da4d6ef9ad2e6e927a09fe8c.png)
После этого на MOS1 посетители попадают в холл. Из холла можно войти непосредственно в машинные залы, а ещё — в гостевую комнату:
![В гостевой можно удобно устроиться с ноутбуком в любое время суток В гостевой можно удобно устроиться с ноутбуком в любое время суток](https://habrastorage.org/getpro/habr/upload_files/c45/863/205/c45863205d8cd6be46e6a73d91fbb564.png)
В первую волну пандемии комната была недоступна для посетителей и за это время претерпела некоторые изменения, но в целом сохранила свой изначальный дизайн-код — вместе с декоративными постерами на стенах висят фотографии из жизни ДЦ.
![Фотографий реально много Фотографий реально много](https://habrastorage.org/getpro/habr/upload_files/7b2/fb7/57a/7b2fb757a107035805cf23e80704c659.png)
Не элемент дизайна, но элемент безопасности. Вся проводка освещения проложена в металлических трубках, чтобы возможное короткое замыкание не повлияло на инфраструктуру.
![Вся проводка проложена в металлических трубках Вся проводка проложена в металлических трубках](https://habrastorage.org/getpro/habr/upload_files/495/936/c24/495936c24b9e92580ad0c803f93bd835.png)
Выходим из комнаты отдыха обратно в холл MOS1. Как я писал выше, отсюда можно попасть во все три Фазы дата-центра. Они разделены между собой и доступ в каждую также возможен только по биометрии руки, причём если вы размещаете своё оборудование только на Фазе 1, то не получите доступ на Фазы 2 и 3.
![Коридор. Двери справа ведут в зал Фазы 3 Коридор. Двери справа ведут в зал Фазы 3](https://habrastorage.org/getpro/habr/upload_files/60f/301/af2/60f301af284d9a4d683c4613c291b952.png)
В самом конце коридора — зона разгрузки. Всего на MOS1 их две. Оборудование клиентов ввозится именно через них.
Пожарная безопасность
Когда спрашиваешь сотрудников IXcellerate об их системе пожарной безопасности, то чувствуешь, что они ею по-настоящему гордятся. Лично мне, применительно к пожаротушению в дата-центрах, ранее были знакомы только решения на основе хладона. Здесь подобное малореально — слишком большая площадь залов. Поэтому, во-первых, нужны большие запасы газа (на два пуска), а во-вторых, нельзя гарантировать, что в момент тревоги все находящиеся в машзале люди оперативно покинут его до распыления хладона. Последний пункт особенно важен, ведь площадь машзала Фазы 3 MOS1 составляет 2500 кв.м, а MOS2 — 3000 кв.м.
В IXcellerate развёрнута система раннего оповещения о пожаре Vesda в MOS1 и Wagner в MOS2 — лазерные газоанализаторы расположены под потолком вокруг воздушных вводов кондиционеров — то есть по ходу движения воздушного потока. В случае улавливания частиц дыма подается сигнал на дежурный пульт.
Вторая линия защиты от возгорания — система Marioff HI-FOG ®, ставшая альтернативой хладону. В случае возгорания по внутреннему пожарному водопроводу по сухотрубной системе подаётся дистиллированная вода. Она поступает в спринклеры пожаротушения, расположенные под потолком и фальшполом, и создаёт тонко распыленную взвесь, ликвидирующую возгорание. Имеется возможность применять систему и во всём зале сразу, и локально. Зона покрытия одного спринклера 4х4м, а с помощью пожарного рукава Marioff HI-FOG ® можно выполнять тушение в отдельных стойках и даже на одном сервере. При этом все остальное пространство машзала продолжает работать в штатном режиме. Фальшпол и облицовка стен сделаны из негорючего материала, с устойчивостью к открытому огню не менее 60 минут.
Электричество
Для запущенных в работу MOS1 и MOS2 — схема 2N, от двух разных подстанций по двум разным маршрутам. На территории кампуса лучи приходят в две собственные подстанции, где разбиваются по 4 силовых линии, которые заводятся в ЦОДы.
В резерве здесь — ДГУ и ИБП. Полосатые штуки на переднем плане — бетонные блоки, чтобы в дизель нельзя было случайно приехать на автомобиле.
![Фото ДГУ с официального сайта IXcellerate Фото ДГУ с официального сайта IXcellerate](https://habrastorage.org/getpro/habr/upload_files/762/051/715/7620517158df6d656b0f986a195de306.png)
Ну, а на уровне стойки у нас тоже два независимых ввода, соответственно, устанавливается два PDU. Оборудование может устанавливаться как с двумя, так и с одним блоком питания, но в последнем случае для сохранения гарантий по аптайму должен быть установлен АВР.
Охлаждение
Климатика в IXcellerate на передовом уровне — в зависимости от конфигурации машзалов используются разные системы. В большинстве случаев охлаждение реализуется чиллерами с фрикулингом и внутризальными кондиционерами. В Фазе 3 дата-центра MOS1 установлена комбинированная система холодоснабжения от Vertiv, в которой наряду с чиллерами для резервирования используются независимые фреоновые кондиционеры с оригинальной системой распыления воды над теплообменниками.
![Система охлаждения IXcellerate MOS1, фото с сайта Система охлаждения IXcellerate MOS1, фото с сайта](https://habrastorage.org/getpro/habr/upload_files/abd/a57/daa/abda57daa1e4a023f7470c5b54853388.png)
![Коридор между установками кондиционирования Коридор между установками кондиционирования](https://habrastorage.org/getpro/habr/upload_files/ad0/aad/316/ad0aad316ffbf17ed740430979daf442.png)
Решения для клиента по организации холодного коридора, кстати, могут быть разными. У большинства стоек, расположенных в ЦОДе (и у большинства наших), коридор закрыт потолком сверху и установлены двери.
![Коридор на MOS2 Коридор на MOS2](https://habrastorage.org/getpro/habr/upload_files/3c5/84b/34b/3c584b34b0ceeb094889b2f28531a533.png)
Коннективность
«Более 50 операторов связи, доступ к нескольким IX-платформам, включая Eurasia Peering и MSK-IX» — так пишет IXcellerate на своём сайте. Добавить практически нечего. Одна известная компания, специализирующаяся на видеокартах, разместила здесь свои мощности для облачного гейминга. Автор этих строк протестировал сервис некоторое время назад — работает без задержек :)
![Я решил самостоятельно убедиться в этом, поэтому провел свой тест и заскринил Я решил самостоятельно убедиться в этом, поэтому провел свой тест и заскринил](https://habrastorage.org/getpro/habr/upload_files/575/731/7a9/5757317a97299c10179a5dafa8fb9a8b.png)
Играть на базовой бесплатной подписке неудобно из-за очередей на серверы, но качество связи самого игрового процесса радует.
Для тех, кому это необходимо, существует возможность коммутации не только внутри одного ЦОДа, но и между ними.
MOS1 vs MOS2
Своё рабочее время я провожу, как правило, полностью в машинном зале, и можно заметить, что многие вещи в MOS2 реализуются не так, как в MOS1. При этом некоторые моменты заметны сразу, а некоторые замечаешь только в процессе работы, например, что вентиляционные ламели в холодных коридорах открываются по-разному.
Лично мне работать во втором ЦОДе легче, чем в первом. В нем всё организовано так, что работать непосредственно руками удобнее. Уверен, что это следствие работы над ошибками и анализ опыта эксплуатации MOS1 вкупе с разницей «в возрасте», конечно.
А еще к MOS2 прилегает административное здание, в котором FirstVDS арендует офисное помещение и склад оборудования. Не надо далеко ходить.
![Вид на МOS1 сверху Вид на МOS1 сверху](https://habrastorage.org/getpro/habr/upload_files/009/607/6d1/0096076d188ded2bee65f3f30070310c.png)
О менеджменте и техподдержке
Взаимодействие клиента и всех служб по любым вопросам ведется через ZenDesk (специальный софт для организации работы поддержки), то есть во всех случаях — внос оборудования, вынос, заказ пропусков на территорию, запросы на поддержку, в том числе на Remote Hands и так далее — должен быть написан тикет. Отдаёт бюрократией, но на самом деле удобно. Время реагирования на большинство запросов не превышает пяти минут.
Техподдержка разделена как на линии — первая, вторая, третья, так и по сферам ответственности. Есть клиентский сервис, персонал которого оказывает помощь в ввозе и вывозе оборудования, оформлении пропусков, монтаже и демонтаже оборудования, а есть люди, осуществляющие мониторинг систем ЦОДов. Если должен быть задействован конкретный сотрудник, первая линия (дежурные клиентской службы) перенаправляет запрос на него.
Сотрудники, занимающиеся мониторингом оборудования ЦОДов, ответственны только за это и не работают с клиентами. Такое «разделение труда» было не всегда, и когда-то сей факт здорово усложнял жизнь.
В том случае, если требуется участие более опытных технических специалистов, то подключаются инженеры второй линии. При нормальном приоритете задача обычно решается в течение дня.
![На фото — снятие показаний с кондиционера. Такие обходы проводятся раз в 4 часа. Медицинские маски — суровая реальность наших дней. На фото — снятие показаний с кондиционера. Такие обходы проводятся раз в 4 часа. Медицинские маски — суровая реальность наших дней.](https://habrastorage.org/getpro/habr/upload_files/a6a/6c3/bb2/a6a6c3bb298b6b04ae98622481687b58.png)
Антиковидные меры
Кстати, о масках. С профилактикой коронавируса тут строго. Помимо вышеописанных измерений температур при входе и браслетов на руку, в машинных залах до недавнего времени проводили периодическое кварцевание.
![Ультрафиолетовая лампа где-то над кондиционером Ультрафиолетовая лампа где-то над кондиционером](https://habrastorage.org/getpro/habr/upload_files/44c/d07/539/44cd07539ee69ce56d844e6b1d865408.png)
Во время первой волны в 2020-м IXcellerate натурально закрылся на карантин, и все тут работали вахтами 14/14 дней в течение полутора месяцев, без права переписки выхода за ворота. Не так давно Москву захлёстывал омикрон, но коллеги баррикадироваться намертво больше не планируют, мол, хватит уже. В общем, подход в любом случае серьёзный.
Перспективы
Рынок растет, и пандемия только дала дополнительный буст к процессу. В ещё строящихся залах покупается место под стойки, и к моменту сдачи до пандемии процент купленных мест был, как говорят, 50-60%. Сейчас IXcellerate строит Moscow South в Бирюлёво, первая фаза первого ДЦ IXcellerate Moscow Five (MOS5) уже работает. Всего на юге планируется комплекс суммарной мощностью в 250 МВт, если верить официальному сайту.
Автор материала Павел Решетников, @MagicHappens