Центры обработки данных ориентированы на решение бизнес-задач путём предоставления услуг в виде информационных сервисов. Современный ЦОД, несмотря на такие относительно новые требования как высокая степень гибкости и масштабируемости, по-прежнему должен, прежде всего, обеспечивать высокую надёжность. Всё, что вы хотели знать о надёжности ЦОДов, но боялись спросить – под катом.

ЦОД: что это такое?

Что такое центр (хранения и) обработки данных (ЦОД)? Современный ЦОД – комплексное решение по управлению информационными системами предприятия. Это совокупность помещений, внешних площадок, инженерного оборудования, образующая единую систему для размещения средств передачи, хранения и обработки информации с заданной степенью доступности. ЦОД включает в себя набор взаимосвязанных программных и аппаратных компонентов, организационных процедур, мест размещения этих компонентов и персонала для безопасной централизованной обработки, хранения и предоставления данных, сервисов и приложений. С системной точки зрения ЦОД – отказоустойчивое, комплексное, централизованное решение, охватывающее информационные и инженерные системы. В обычном представлении центр обработки данных – специализированное здание, где располагается серверное, сетевое оборудование и системы хранения данных, которые размещаются в стандартных стойках.


Оборудование, используемое в ЦОДе, размещается в специальных шкафах и стойках.

Назначение ЦОДа

ЦОД – сложное инженерное сооружение для централизованного размещения и обслуживания информационных систем, компьютерного и телекоммуникационного оборудования, высокотехнологичная площадка, оснащенная системами кондиционирования, бесперебойного питания, пожаротушения, СКС, контроля доступа. Основное назначение центров обработки данных – хранение, обработка и передача критичной для заказчика информации, поэтому в инфраструктуру ЦОДа входит множество сложных и резервируемых инженерных систем высокой надёжности.
Надёжность является главной характеристикой центра обработки данных. Она включает в себя много факторов: надёжность здания, электроснабжения, инженерных систем и коммуникаций, установленного оборудования. Высокая надёжность ЦОДа означает бесперебойное предоставление услуг заказчикам в случае коммерческого центра обработки данных и уверенную работу собственной ИТ-инфраструктуры компании, эксплуатирующей корпоративный ЦОД.

ЦОД обеспечивает доступ к информации предприятия, управление его информационными системами, организацию хранения и обработки данных. Как единая многокомпонентная система с консолидированным централизованным хранением и обработкой данных ЦОД, прежде всего, призван гарантировать бесперебойное автоматизированное функционирование бизнес-процессов.

К основным задачам ЦОДа, в первую очередь, относятся эффективное консолидированное хранение и обработка данных, предоставление пользователям прикладных сервисов, а также поддержка функционирования корпоративных приложений. Центры обработки данных создаются, в первую очередь, для повышения эффективности работы компаний, активно использующих в своей деятельности информационные технологии, повышения качества предоставляемых услуг. Они дают возможность надежно хранить важную информацию на протяжении всего ее жизненного цикла.

Состав и структура ЦОД

Любой ЦОД состоит из трех технологических блоков: информационного (отвечающего за обработку и хранение информации), телекоммуникационного (обеспечивающего взаимосвязь элементов центра и передача данных) и инженерного (сюда входят бесперебойное электроснабжение, поддержание температуры и влажности в помещении, системы пожаротушения). Таким образом, элементы ЦОДа включают в себя информационную, сетевую, инженерную инфраструктуру, а также системы мониторинга/управления и обеспечения безопасности.


Основными элементами ЦОДа являются системы обработки и хранения данных, активное сетевое оборудование, инженерные системы. В нем размещаются вычислительные платформы и СХД, система передачи данных, система электроснабжения и электроосвещения, система прецизионного кондиционирования, структурированная кабельная система, система кабельных каналов, фальшпол, подвесной потолок, интегрированная система безопасности, средства физической защита вычислительных систем и телекоммуникационного оборудования, системы раннего обнаружения пожара и газового пожаротушения.

В состав информационной инфраструктуры входят серверный комплекс, системы хранения данных и резервного копирования. Сетевая и телекоммуникационная инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и образует каналы связи, в том числе магистральные соединения с операторами связи и каналы, обеспечивающие доступ пользователей к ресурсам центра обработки данных. Телекоммуникационная инфраструктура позволяет осуществлять взаимосвязь элементов ЦОДа, взаимодействие между ЦОДом и пользователями.


Структура ЦОД.

Инженерная инфраструктура обеспечивает нормальное функционирование основных систем ЦОДа. Она включает в себя подсистемы контроля климата и кондиционирования, энергообеспечения, пожарной сигнализации и пожаротушения.


Сетевая инфраструктура (СКС) обеспечивает взаимодействие между серверами, а также включает в себя магистральные каналы для связи с операторами и коммуникации для связи пользователей с ЦОДом.

Автоматизированные системы мониторинга, диспетчеризации и управления информационными ресурсами – необходимый элемент повышения надёжности ЦОДа, уменьшения негативного влияния «человеческого фактора». Система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она включает в себя средства защиты, оповещения и контроля доступа. Часто для предотвращения несанкционированного проникновения в ЦОД (физическая безопасность) устанавливаются камеры видеонаблюдения.

Надёжность ЦОДа

Основная функция современных ЦОДов – это повышение надёжности обработки и хранения информации. Одним из главных критериев оценки качества работы любого ЦОД является время доступности информационных систем. ЦОД должен обеспечивать безопасность бизнеса и минимизировать риски простоя, отвечая следующим требованиям:

• Отказоустойчивость. Это свойство технической системы сохранять свою работоспособность после отказа одного или нескольких составных компонентов.
  
• Высокая доступность. Это свойство системы определяет её надёжность, возможность выполнять требуемую функцию при заданных условиях в данный момент времени или в течение заданного интервала времени при соблюдении определенного набора условий.
  
• Непрерывность бизнеса. Она включает в себя процессы и методы, направленные на обеспечение безостановочного выполнение критичных бизнес-функций.
  
• Катастрофоустойчивость. Это способность к восстановлению после катастрофы т.е. устойчивость к воздействию аварий и природных катаклизмов.
  

Эти первоочередные требования определяются стоимостью простоя и стоимостью обеспечения доступности приложений и данных. То есть требования бизнеса – стоимость решения, время восстановления приложений и данных после отказа – определяют соответствующие технические требования к подсистемам ЦОД, в числе которых их избыточность, производительность, пропускная способность, емкость и целостность данных.

Надёжность ЦОД обычно включает в себя такие составляющие как правильно выбранное помещение, наличие отлаженной системы бесперебойного гарантированного энергоснабжения, грамотной системы вентиляции и кондиционирования, водоснабжения и водоотвода, а также правильное построение телекоммуникационных систем. Критичным для пользователя остается обеспечение комплексной безопасности центра обработки данных – контроля доступа, охранной и пожарной сигнализации, пожаротушения. Все большее значение приобретают аспекты катастрофоустойчивости, наличия резервной площадки.

При проектировании современных центров обработки данных, помимо исключительной надёжности, отказоустойчивости и работоспособности, к системам предъявляется целый ряд дополнительных требований, таких как управляемость, ремонтопригодность, низкая совокупная стоимость владения, масштабируемость, адаптируемость к изменениям и безопасность. Поэтому ЦОД обычно проектируется как комплексное решение, тесно интегрированное как со службами эксплуатации здания, так и с ИТ-инфраструктурой предприятия. Модульность и стандартизация позволяет всему комплексу развиваться, адаптироваться к меняющимся условиям и нагрузкам.

ЦОД обеспечивает гарантированное бесперебойное питание размещаемого оборудования даже при отказе внешнего энергоснабжения, выполнение требований по климатическим параметрам (температура, влажность) и безопасности (физической и информационной). Как правило, для высокой доступности ЦОД подключают к нескольким (каналам различных операторов связи или узлам корпоративной сети. Качество и ширина каналов влияют на уровень предоставляемых услуг.

Основная характеристика ЦОДа – уровень его надёжности. По стандарту TIA-942 выделяют четыре уровня надёжности:

Tier I (N) — без резервирования. Доступность 99,71%. Это самый ненадежный ЦОД, в котором в случаи возникновения неполадок и отказа оборудования либо при начале ремонтных работ происходит остановка все центра обмена данными. Более того в таком ЦОДе нет фальшполов и дополнительных источников питания, а инженерная инфраструктура не зарезервирована.

Tier II (N+1) — резервирование критических узлов. Доступность 99,741%. В этом случае есть некий уровень резервирования, в таком ЦОДе присутствуют фальшполы и дополнительные источники питания, но в случае начала ремонтных работ ЦОД приостановит свою работу.

Tier III (N+1) — резервирование критических узлов, путей получения электроэнергии и трасс доставки хладоносителя. При этом есть возможность вывода любого узла из эксплуатации для его обслуживания с сохранением полной функциональности объекта в целом. Доступность 99,982%. В таких ЦОДах есть возможность проведения ремонтных работ без прекращения работы центра обработки данных. Инженерные системы однократно зарезервированы и существует несколько каналов служащих для распределения электропитания и охлаждения, но постоянно работает лишь один из них.

Tier IV (2(N+1)) — это самый отказоустойчивый уровень, где допускается одна авария (а не плановый вывод узла из эксплуатации) в один момент времени. Доступность составляет 99,995%, что означает простой в течение всего 26 минут в год. В ЦОДах такого типа возможно проведение всех видов работ без остановки его работы. Инженерные системы зарезервированы двукратно, продублирована основная и дополнительная система.


Четыре уровня отказоустойчивости ЦОДа.

По оценкам экспертов, ЦОД с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны либо из-за простоя и сбоев в работе критически важных систем, либо из-за нерациональных инвестиций.

Другие характеристики

Главная характеристика ЦОДа – отказоустойчивость, но не менее важными являются стоимость эксплуатации, показатель расхода электроэнергии и энергоэффективности (PUE). При определении требований к ЦОДу необходимо учитывать тенденции развития информационных систем и телекоммуникаций, предусмотреть варианты расширения мощностей ЦОДу в соответствии с планами развития предприятия.

Требования к площадям и пространству ЦОДа определяются наряду с общей производительностью и емкостью ИТ-систем также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости. Важный параметр – энергопотребление основного оборудования. Например, при проектировании нового ЦОДа рекомендуют ориентироваться не на 5?6 кВт на стойку, а на подведение 10?15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.

Подводимая к ЦОДу должна составлять примерно 250% от мощности, потребляемой ИТ-системами. Наряду с ИТ ее потребляют системы кондиционирования и электропитания, а также системы освещения, вентиляции, пожаротушения, контроля доступа, видеонаблюдения.
Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем – к кабельным системам и внешним кабельным вводам для каналов связи. На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям.
Требования к ЦОДу также определяются особенностями эксплуатации прикладных систем и необходимостью выделения ИТ-ресурсов, законодательными актами государственных регуляторов хозяйственной деятельности. В целом они зависят от потребностей бизнеса и решаемых бизнес-задач, однако есть и общие требования, определяемые стандартами.

Классификация ЦОДов

Центры обработки данных можно разделить на несколько видов, которые зависят от некоторых параметров. По целям использования обычно выделяют два вида ЦОД: корпоративный и коммерческий (КЦОД). Целью создания корпоративного ЦОД является автоматизация бизнес-процессов, хранение и обработке информации компании или организации. Главная задача коммерческого ЦОДа – получение прибыли от сдачи площадей в аренду, предоставления услуг и сервисов.

По своему назначению в информационной инфраструктуре ЦОД может быть основным или резервным. Последний необходим для замены основного в случае непредвиденных происшествий либо профилактических работ.

ЦОДы можно также разделить на несколько типов по размерам. Крупные ЦОДы имеют собственное здание, которое создано или выбрано в соответствии с предъявляемыми к центру обработки данных требованиями. Средние ЦОДы, как правило, арендуют помещение необходимого размера, а также каналы определенной пропускной способностью. Малые ЦОДы и серверные вовсе не обязательно располагаются в плохо приспособленных для этого помещениях, а перечень услуг представлен по минимуму. В последние годы становятся популярными высокотехнологичные контейнерные ЦОДы – специально спроектированные и быстро развертываемые модульные решения. Наконец, ЦОДы классифицируются по уровням надёжности – упомянутым выше Tier I-IV.

Существует несколько типов коммерческого использования ЦОДов. Первый — виртуальный хостинг, подразумевающий аренду части дискового пространства, процессорного времени и оперативной памяти (один физический сервер делится между множеством клиентов). Второй — выделенный хостинг — аналогичная схема, но с гарантированными ресурсами. Третий — размещение сервера и другого оборудования клиента в помещении центра (co-location).

Стандарты ЦОДов

Есть два основных документа, которые чаще всего упоминаются при обсуждении стандартов центров обработки данных: это стандарт TIA 942 и классификация по уровням от Uptime Institute. Оба этих документа регламентируют уровни надёжности (Tier), что часто приводит к путанице: например, Tier III по TIA 942 и Tier III по Uptime Institute — это две большие разницы.

Стандарт ANSI/TIA/EIA-942 регламентирует требования к расположению центров обработки данных, к внешней инфраструктуре, телекоммуникационному пространству внутри центра данных, к кабельной системе и кабельным каналам ЦОДа, к его инфраструктуре в зависимости от требуемого уровня надёжности ЦОДа. ЦОДы I и II класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются только в отдельных зданиях. Всего EIA/TIA-942 описывает до 200 различных параметров ЦОДа.

Стандарт TIA 942 (Telecommunications Industry Association — Telecommunications Infrastructure Standard for Data Centers) разработан ассоциацией телекоммуникационной промышленности США и, в первую очередь, касается вопросов организации структурированных кабельных систем в ЦОДе и отказоустойчивости и других инженерных подсистем. Он носит рекомендательный характер. Разработанный Uptime Institute документ – не стандарт, а скорее методология нормирования отказоустойчивости ЦОДа. В нем сформулированы основные принципы проектирования и подходы. Сертифицируется как проект (Tier Certification of Design Documents), так и работающая площадка (Tier Certification of Constructed Facility) и её эксплуатация (Operational Sustainability Certification). Сертификация осуществляется только самим Uptime Institute.

Хотя по сути эти уровни схожи, принципы оценки значительно различаются. Uptime Institute проверяет полученный результат – как работает построенный ЦОД, а не строгое соответствие документам. В России нет единого стандарта, однако ЦОДы ориентируются на требования, разработанные для сооружений связи, на TIA-942, а также на ГОСТы. Существует также относительно новый стандарт BICSI 002 2010 Data Center Design and Implementation Best Practices, который появился в 2010 году и был обновлен в 2011 году. Он создан с целью дополнения уже существующих стандартов. Близок к завершению и европейский стандарт EN 50173-5, на основе которого в будущем предполагается сформировать соответствующий российский ГОСТ.

ЦОДы SAFEDATA

Центры обработки данных – основное направление деятельности SAFEDATA, оператора собственной распределенной сети ЦОДов и поставщика услуг ИТ-аутсорсинга. Группа SAFEDATA, в состав которой сегодня входят Центр Хранения Данных, Центр Технологий Виртуализации, оператор CDN компания NGENIX и оператор площадки обмена трафиком MСК-IX, владеет сетью ЦОДов, построенных в соответствии с требованиями международных стандартов TIA-942 (Tier III).

По данным iKS-Consulting, структуры «Ростелекома» в 2015 году займут 12,5% российского рынка ЦОДов. Сейчас госкомпания запустила 3081 стойку, включая ЦОДы ММТС-9 и SAFEDATA. На конец 2014 года доход ее ЦОДов оценивается в 1,67 млрд руб.

ЦОДы SAFEDATA — современные и энергоэффективные инженерные решения. Они спроектированы так, что смогут функционировать практически в любых условиях. ЦОД SAFEDATA Москва-I общей площадью более 2000 кв.м расположен в Остаповском проезде.


ЦОД Москва-I начал свою работу в сентябре 2007 года. С момента запуска ЦОДа не было зафиксировано ни одной аварийной остановки.


Инфраструктура ЦОДа, рассчитанного на 500 стоек, построена в соответствии со стандартом TIA-942.


Питается этот ЦОД мощностью 4 МВт напрямую от ТЭЦ-8 Мосэнерго. ЦОД обеспечивает бесперебойное электропитание категории 1, имеет независимые энерговводы, резервированные дизель-генераторные установки. Для бесперебойной работы ЦОДа задействованы четыре ДГУ FG Wilson мощностью 1250 кВА каждая, и четыре ИБП мощностью 800 кВА. ДГУ автоматически запускается при пропадании напряжения от трансформаторной подстанции и работает до 8 часов без дозаправки топливом.


ЦОД имеет ВОЛС до ММТС-9, ММТС-10, а клиентам предоставляется возможность ввода собственной ВОЛС.


Работа системы энергоснабжения круглосуточно контролируется сотрудниками SAFEDATA.

В ЦОДе Москва-I установлены прецизионные шкафные кондиционеры, работающие по схеме (N+1), холодопроизводительностью 100 кВт каждый. Система прецизионного кондиционирования построена на базе шкафных кондиционеров Hiref и холодильных машин Geoclima. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола — в «холодные» коридоры.


На крыше здания расположены внешние конденсаторные блоки Guntner, соединенные с кондиционерами двумя независимыми трассами.

На открытых технологических площадках ЦОДа установлены два чиллера с технологией естественного охлаждения (free cooling) по 700 кВт холодопроизводительности, а также две холодильные машины с технологией Turbocool. Суммарная холодопроизводительность двух контуров независимой системы охлаждения ЦОДа доведена до 2600 кВт. В качестве хладагента используется 40% раствор этиленгликоля. ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 227.    

ЦОД Москва-II, расположенный по адресу пл. Академика Курчатова, д.1, стр.19, построен в рамках сотрудничества с Российским Научным Центром «Курчатовский Институт».


ЦОД Москва-II общей площадью 3500 кв.м. построен в соответствии со стандартом TIA-942 (Tier III) и введен в эксплуатацию в 2014 году.


Он рассчитан на 900 стоек, а  выделенная электрическая мощность составляет 10 МВт.

Как и Москва-I, данный ЦОД предусматривает собственные ВОЛС до ММТС-9 и ММТС-10, а крупным клиентам предоставляется возможность ввода собственной ВОЛС.  


ЦОД имеет бесперебойное электропитание категории 1, независимые энерговводы, дублированные дизель-роторными источниками бесперебойного питания. Он оснащен восемью дизель-роторными источниками бесперебойного питания Hitec Power Protection мощностью 1680 кВА каждый, зарезервированными по схеме N+1.

Специальная резервная емкость обеспечивает время автономной работы всей системы дизель-роторных ИБП не менее 20 часов (оперативная доставка дизельного топлива гарантирует бесперебойную работу ЦОДа даже при долговременном отсутствии питания городской электросети).

Поддержание требуемых климатических параметров осуществляется с помощью прецизионных кондиционеров Hiref. В ЦОДе Москва-II установлены несколько десятков прецизионных шкафных кондиционеров, работающих по схеме (N+1), холодопроизводительностью 100 кВт каждый. Вся система кондиционирования зарезервирована по схеме N+1 для каждого машинного зала. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола в «холодные» коридоры.  


ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 125. В состав АГПТ входят световая и звуковая сигнализация, предупреждающая о пуске газа, которая интегрирована с системой охлаждения для отключения кондиционирующего оборудования в случае аварии, и системой разграничения физического доступа.


Система безопасности и ограничения доступа ЦОДов Москва-I и Москва-II организована на нескольких уровнях и включает в себя охраняемую территорию, организационные процедуры контроля доступа в ЦОД, систему разграничения физического доступа на базе «proximity»-карт, систему видеонаблюдения внутри, снаружи ЦОДа и в каждом модуле с тридцатидневным архивированием записей. По желанию заказчика могут быть установлены дополнительные средства безопасности.

Главное свойство современного ЦОДа — надёжность. Он не останавливается даже при авариях в энергосистемах города. Вышедшее из строя оборудование и каналы связи подменяют резервные системы. ЦОДам SAFEDATA не помешают нештатные ситуации – на случай любого бедствия есть ответ.