В начале декабря мне удалось спуститься с Уральских гор, сесть на самолет и отправиться в направлении Москвы в гости к MSK-IX. В планах было посетить один из самых первых дата-центров компании, расположенный на территории Курчатовского института, а также побывать в совершенно новом ЦОД в культовом для связистов здании ММТС-9. Прошу под кат, тем кто хочет взглянуть изнутри на дата-центр, который напрямую связан с историей рунета.

MSK-IX ведет свою историю с 1995 года, когда представители шести провайдеров договорились о создании точки взаимного обмена IP-трафиком, чтобы объединить российский интернет-сегмент. Спустя несколько недель на телефонной станции М9 на улице Бутлерова заработал первый коммутатор Московского Internet eXchange. И вот, спустя более двадцати лет, MSK-IX – это крупнейшая в России пиринговая сеть, предоставляющая нейтральную платформу Internet eXchange для обмена IP-трафиком между сетями и глобальную распределенную сеть DNS-серверов для поддержки корневых доменных зон. Состав участников насчитывает более 500 компаний – это операторы связи, социальные сети, поисковые системы, видеопорталы, провайдеры облачных сервисов, корпоративные и научно-образовательные сети.



Офис “провайдера для провайдеров” довольно уютное и симпатичное помещение. Здесь трудится сравнительно небольшая часть сотрудников MSK-IX, поскольку основная их часть сосредоточена на объектах инфраструктуры.







Один из первых узлов MSK-IX располагается на территории Института атомной энергии им. И. В. Курчатова, в здании, имеющем поистине историческое значение для сегмента мировой информационной паутины, который сейчас принято называть российским.

Именно здесь в 1990 году несколько научных сотрудников института основали компанию "Релком", под патронажем которой в дальнейшем была организована первая российская компьютерная сеть между научными учреждениями Москвы, Ленинграда и Новосибирска. Чуть позже, именно здесь произошло первое для России зарубежное соединение с компьютером в Хельсинкском университете. В том же году «Релком» и зарегистрировал для СССР домен верхнего уровня .su.

«Релком» до сих пор живет и процветает в этом здании, оказывая здесь, в собственном ЦОД, услуги по размещению серверных стоек. MSK-IX их ближайший сосед, чей ЦОД располагается в соседнем помещении.

Курчатовский институт имеет статус режимного объекта, поэтому чтобы попасть сюда нужно иметь пропуск или получить разрешение на выдачу временного. А после проходишь небольшой фейс-контроль у местной охраны. Все в классическом советском духе заводских проходных.
С безопасностью в «Курчатнике», как его ласково называют ребята из MSK-IX, все в полном порядке. Здесь организована трехуровневая система контроля доступа, что является основным требованием при лицензировании ЦОД. Даже лифты в корпусе, где располагаются центры обработки данных, оснащены электронными замками, и без специального ключа невозможно попасть на нужный тебе этаж, не говоря уже о допуске непосредственно в помещение дата-центра.

Дата-центр представляет из себя просторный зал, по площади которого ровными рядами выстроились телекоммуникационные стойки. Вдоль стен расположены кондиционеры поддерживающие в помещении температуру на уровне +20-25 градусов.







Тепло выделяемое оборудованием попадает в кондиционеры, проходит через сито охлаждения и вновь снизу подается на оборудование. Мощности местных кондиционеров хватает, чтобы еще обеспечивать холодным воздухом узел Курчатовского института.

Клиентам здесь предоставляется широкий перечень услуг: интернет, колокейшн и аренда телекоммуникационных шкафов. В ЦОД расположен один большой клиент, арендующий множество шкафов. Для него выделена отдельная секция. Клиенты, арендующие по одной стойке, сконцентрированы в другой части помещения дата-центра.









В «Курчатнике» присутствует много именитых компаний. Например, еще с «бородатых девяностых» здесь располагается стойка корневого сервера DNS F-Root. Эти серверы хранят информацию о самом высшем уровне доменных зон. Сотрудники MSK-IX не занимаются обслуживанием этих стоек. Эта работа ведется удаленно их западными коллегами. Присутствие здесь столь серьезного узла лучшее доказательство надежности дата-центра.





Четыре шкафа арендует Технический центр интернет, обслуживающий Главный реестр и систему регистрации доменов .RU,.РФ, .SU,.ДЕТИ, .TATAR. Также ТЦИ обеспечивает бесперебойную работу доменной адресации российского сегмента сети Интернет в глобальной сети. Одна из арендуемых стоек хранит информацию о всех российских доменах. Ее «зеркало» находится в дата-центре в Санкт-Петербурге. Это сделано с целью обеспечения постоянной доступности, для резервирования данных.







Венец же всего этого телекоммуникационного пейзажа – это одно из ядер MSK-IX. Второе находится на М-9, что обеспечивает полное резервирование сети оператора. Клиенты, которые подключены к инфраструктуре MSK-IX, приходят и сюда, и на «девятку». Если что-то случается на одном из узлов, всю работу берет на себя другой.





Система функционирует по принципу “двойного ядра”. Сюда трафик приходит со всех узлов, где подключены клиенты MSK-IX. Это обеспечивает их постоянную и непрерывную работоспособность. Каждый узел клиента включен в оба ядра, что обеспечивает надежность всех площадок MSK-IX. Учитывая то, что MSK-IX присутствует в 16 дата-центрах столицы, сюда приходят линии связи со всей Москвы.



Хладон – это основной компонент системы пожаротушения. Однако газ небезопасен для людей, поэтому система сработает лишь в том случае, если людей в серверной не будет.







Если же людей в помещении нет, пожарная станция подает сигнал на первый патрон, после чего начинается подача газа в систему.





«Курчатник» не попадает под категорию Tier III из-за отсутствия дизельной электростанции рядом с ЦОД, чего требует международная аттестация. В свое время его дизельгенератор попросту не разрешили поставить на территории Курчатовского института. Но о надежности электроснабжения здесь говорит само местоположение объекта. Курчатовский институт обладает статусом оборонного объекта, поэтому надежность электроснабжения здесь имеет первостепенное значение.

Электроснабжение “Курчатника” обеспечивает ТЭЦ, откуда высокое напряжение идет на два трансформатора через специальные распределительные устройства, расположенные на территории института. Если вдруг питание пропадет на одной из магистралей, то происходит автоматическое переключение на второй трансформатор. а нем установлена система АВР (автоматический код резерва). Сами источники бесперебойного питания в момент пропажи электричества начинают работать от аккумуляторов, пока не сработает АВР. В итоге, потребитель даже не чувствует перепадов электричества.

Аккумуляторы и несколько ИБП находятся в подвале здания. Там сформирована целая энергосистема, позволяющая предотвратить любые проблемы с электроснабжением. Аккумуляторы разделены на несколько отсеков. Они подключены последовательно по нескольким группам.







Благодаря разделению на небольшие комнаты, кондиционерам удается поддерживать благоприятную температуру для работы аккумуляторных батарей, которые здесь проживают достаточно долгий век, работая по восемь лет.









Бесперебойники и кондиционеры подключены параллельно по двум линиям.





Как уже отмечалось, в случае аварии на одной линии происходит автоматическое переключение на другую, что позволяет безболезненно и незаметно пережить перебои с электричеством.







За работой всей этой сложной телекоммуникационной системы, благодаря современным средствам мониторинга, удается следить силами всего нескольких сотрудников. Мониторинг позволяет оперативно отслеживать состояние всех систем в дата-центре. При этом показание некоторых приборов все равно дополнительно собирают вручную.





Хочется сказать, что, несмотря на солидный возраст дата-центра, здесь стоит современное оборудование, работающее безупречно. За все годы работы «Курчатника», здесь произошло считанное количество аварий, да и те остались незамеченными для клиентов MSK-IX.