ЦОД «Тушино» — коммерческий розничный полумегаваттный дата-центр для всех и для всего. Клиент может не только арендовать уже установленное оборудование, но и разместить там собственное, включая нестандартные устройства типа серверов в обычных корпусах для настольных ПК, майнинг-ферм или систем искусственного интеллекта. Проще говоря, это самые различные популярные задачи, наиболее востребованные отечественным бизнесом различной степени величины. Этим он и интересен. В этом посте вы не найдёте эксклюзивных технических решений и полёта инженерной мысли. Речь пойдёт о стандартных проблемах и решениях. То есть, о том, чем у 90% специалистов занято 90% рабочего времени.

Tier — чем больше, тем лучше?

Отказоустойчивость ЦОД «Тушино» соответствует уровню Tier II. По сути это означает, что дата-центр расположен в нормальном подготовленном помещении, используются резервные источники питания и имеются избыточные системные ресурсы.

Однако, вопреки распространённому заблуждению, уровни Tier характеризуют вовсе не «крутизну» ЦОДа, а степень его соответствия актуальным бизнес-задачам. А среди них есть множество таких, для которых высокая отказоустойчивость либо несущественна, либо не настолько важна, чтобы за неё переплачивать 20-25 тыс. рублей в год, что в условиях кризиса может оказаться весьма болезненным для заказчика.

Откуда взялась такая сумма? Именно она составляет разницу между ценами на размещение информации в дата-центрах уровней Tier II и Tier III в пересчёте на один сервер. Чем больше данных, тем заметней потенциальная экономия.

Какие задачи имеются в виду? Например, хранение резервных копий или майнинг криптовалюты. В этих случаях простой сервера, допускаемый Tier II, обойдётся дешевле, чем Tier III.

Практика показывает, что в большинстве случаев экономия важнее повышенной отказоустойчивости. В Москве работает всего пять ЦОДов, сертифицированных по Tier III. А полностью сертифицированных по Tier IV нет вообще.

Как устроена система электропитания ЦОД «Тушино»?

Требования к системе электроснабжения ЦОДа «Тушино» соответствует условиям уровня Tier II. Это резервирование линий электропитания по схеме N+1, резервирование источников бесперебойного питания по схеме N+1 и резервирование дизель-генераторной установки по схеме N. N+1 в данном случае означает cхему с одним резервным элементом, который остаётся незадействованным, пока в системе не произойдёт сбой одного из основных элементов, а N — схему без резервирования, при которой сбой в работе любого элемента приводит к прекращению работы всей системы

Множество связанных с энергоснабжением проблем решается правильным выбором места для ЦОДа. Дата-центр «Тушино» располагается на территории предприятия, куда уже приходят две линии по 110 кВ от разных городских электростанций. На оборудовании самого завода высокое напряжение преобразуется в среднее, и на вход ЦОДа поступают две независимых линии по 10 кВ.

Трансформаторная подстанция внутри здания дата-центра преобразует среднее напряжение в потребительские 240-400 В. Все линии ведутся параллельно, поэтому оборудование ЦОДа получают питание от двух независимых внешних источников.

Низкое напряжение с трансформаторных подстанций заведено на автоматы ввода резерва, которые обеспечивают переключение между городскими сетями. Установленным на АВР моторным приводам на эту операцию требуется 1,2 секунды. Всё это время нагрузка ложится на источники бесперебойного питания.

Отдельный АВР отвечает за автоматическое включение дизель-генератора в случае, если питание пропадёт на обеих линиях. Старт дизель-генератора — процесс небыстрый и требует уже примерно 40 секунд, в течение которых электроснабжение полностью ложится на аккумуляторы ИБП.

На полной заправке дизель-генератор обеспечивает работу ЦОДа в течение 8 часов. С учётом этого дата-центр заключил два договора с независимыми друг от друга поставщиками дизельного топлива, которые обязались подвозить новую порцию горючего в течении 4 часов после вызова. Вероятность того, что сразу у обоих случатся какие-то форс-мажорные обстоятельства крайне низка. Таким образом, автономность может продолжаться столько, сколько необходимо ремонтным бригадам для восстановления питания хотя бы от одной из городских сетей.

Как нетрудно заметить, никаких инженерных изысков тут нет. Обусловлено это в том числе и тем, что при построении инженерной инфраструктуры применялись готовые модули, производители которых ориентируются на некоего «среднего потребителя».

Безусловно, любой ИТ-специалист скажет, что усреднение —это «ни рыба, ни мясо» и предложит разработать уникальный набор компонентов для конкретной системы. Однако желающие оплачивать им это удовольствие явно не выстраиваются в очередь. Поэтому надо быть реалистом. На практике всё будет обстоять именно так: закупка готового оборудования и сборка системы, которая будет решать актуальные для бизнеса задачи. Несогласных с таким подходом быстро вернёт с небес на землю главный финансовый директор предприятия.

Распределительные щиты

В данный момент девять распределительных щитов обеспечивают работу вводно-распределительных устройств и четыре РЩ применяется непосредственно для подключения нагрузки. Никаких серьёзных ограничений по месту не было, однако его никогда не бывает много, поэтому один интересный инженерный момент всё-таки присутствовал.

Как нетрудно заметить, число «вводных» и «нагрузочных» щитов не совпадает — вторых почти в два раза меньше. Это стало возможным потому, что проектировщики инфраструктуры ЦОДа решили использовать большие щиты, чтобы завести туда три и более входящих линий. На каждый входной автомат приходится примерно 36 отводных линий, защищённых отдельными автоматами.

Таким образом, иногда использование более габаритных моделей позволяет сэкономить дефицитное место. Просто потому, что больших щитов потребуется меньше.

Источники бесперебойного питания

В качестве источника бесперебойного питания на ЦОД «Тушино» используется Eaton 93PM мощностью 120 кВ·А, работающий в режиме двойного преобразования.


ИБП Eaton 93PM выпускаются в разных исполнениях. Фото: Eaton

Основные причины выбора именно этого устройства заключаются в следующих его характеристиках.

Во-первых, КПД этого ИБП в режиме двойного преобразования достигает 97%, а в режиме сохранения энергии — 99%. Устройство занимает менее 1,5 кв. м и не отнимает пространство серверной у основного оборудования. В результате получаются низкие эксплуатационные расходы и та самая необходимая бизнесу экономия.

Во-вторых, благодаря встроенной системе терморегулирования ИБП Eaton 93PM можно размещать где угодно. Даже впритык к стене. Даже если это не нужно сразу, то может потребоваться потом. Например, чтобы высвободить немного места, которого не хватает для дополнительной стойки.

В-третьих, простота эксплуатации. В том числе — ПО Intelligent Power, применяемое для мониторинга и управления. Отдающиеся по SNMP метрики позволяют контролировать потребление и какие-то глобальные сбои, что даёт возможность оперативно реагировать на аварийные ситуации.

В-четвёртых, модульность и масштабируемость. Это, пожалуй, самое главное качество, благодаря которому в системе резервирования ЦОД «Тушино» используется всего один модульный ИБП. Он включает в себя два рабочих модуля и один резервный. Так и обеспечивается схема N+1, требуемая для уровня Tier II.

Это значительно проще и надёжней, чем конфигурация из трёх ИБП. Поэтому выбор устройства, в котором изначально предусмотрена возможность параллельной работы — ход вполне логичный.

Но почему проектировщики не выбрали ДРИБП вместо отдельных ИБП и дизель-генератора? Основные причины и тут кроются не в инженерии, а в финансах.

Модульная структура априори заточена под апгрейд — по мере роста нагрузки в инженерную инфраструктуру добавляются источники и генераторы. Старые при этом как работали, так и работают. С ДРИБП ситуация кардинально другая: покупать такое устройство надо с большим запасом мощности. К тому же, «маленьких комбайнов» мало, да и стоят они очень прилично — несопоставимо дороже отдельных дизель-генератора и ИБП. Ещё ДРИБП очень капризны в транспортировке и монтаже. Это, в свою очередь, тоже влияет на стоимость всей системы.

Существующая же конфигурация свои задачи решает вполне успешно. ИБП Eaton 93PM может поддерживать работу основного оборудования ЦОД в течение 15 минут, то есть, с более чем 15-кратным запасом.

Опять же, чистая синусоида, которую выдаёт ИБП в режиме online, избавляет владельца дата-центра от необходимости покупки отдельных стабилизаторов. И тут получается экономия.

Несмотря на декларируемую простоту ИБП Eaton 93PM — устройство достаточно сложное. Поэтому его техническим обслуживанием в ЦОД «Тушино» занимается сторонняя компания, имеющая в своём штате высококвалифицированных специалистов. Держать в собственном штате обученного сотрудника для этой цели — удовольствие дорогое.

Результаты и перспективы

Вот так был создан ЦОД, позволяющий оказывать качественные услуги потребителям, задачи которых не требуют высокого уровня резервирования и не предполагают больших экономических затрат. Подобный сервис всегда будет востребован.

При уже планируемом строительстве второй очереди для создания системы резервного энергоснабжения будет использоваться уже приобретённый ИБП Eaton. Благодаря модульной конструкции его модернизация сведётся к покупке дополнительного модуля, что удобней и дешевле полной замены устройства. Такой подход одобрят и инженер, и финансист.