Центром обработки данных принято считать специализированный объект, представляющий собой связанную систему ИТ‑инфраструктуры, инженерной инфраструктуры, оборудование (серверное и сетевое) и части которых размещены в здании или помещении, подключенном к внешним сетям — как инженерным, так и телекоммуникационным.

Данное определение говорит нам о том, что ЦОД — это не обязательно отдельное, специально построенное здание. В общем случае ЦОДом можно назвать некоторое помещение (комнату), в которой размещается оборудование. Именно такие помещения очень часто именуются ЦОДами во многих организациях.

В этой статье мы рассмотрим несколько типовых ошибок, которые допускают проектировщики при создании собственных центров обработки данных.

Стандарты проектирования центров обработки данных, такие как Uptime Institute's Tier Standard и TIA-942, уделяют большое внимание системам электропитания и охлаждения, что вполне оправдано, поскольку они играют важную роль в общих эксплуатационных расходах и общей функциональности центра обработки данных.

Однако не менее важным, но иногда игнорируемым аспектом проектирования является физическая инфраструктура, необходимая для размещения и подключения всего активного оборудования. Основными компонентами физической инфраструктуры являются стойки/шкафы, структурированная кабельная система и кабельный менеджмент, которые являются неотъемлемой частью общей эффективности, функциональности и масштабируемости центра обработки данных независимо от его размера, назначения и сложности.

Учитываем масштабы развития

При выборе помещения для ЦОД и подводке необходимых коммуникаций очень часто не учитываются масштабы будущего развития ИТ‑систем. С одной стороны, так как площадь помещений всегда в цене, нерентабельно включать в проект значительный объем неиспользуемой площади, предназначенной для будущего роста. Но с другой стороны, можно оптимизировать использование имеющегося пространства, используя специальное оборудование. Прежде всего, можно воспользоваться модульными конструкциями, которые можно относительно легко перемещать, устанавливать, регулировать или иным образом изменять.

Ниже представлен пример такого модульного ЦОД.

Также, при выборе помещения важно учитывать пределы по массе и высоте того оборудования, которое предполагается в нем размещать. Мне приходилось сталкиваться с ситуацией, когда помещение, предоставленное заказчиком для размещения серверных стоек, оказывалось непригодным, так как стойка с оборудованием была слишком тяжелой и перекрытия могли не выдержать такой вес. Здесь можно вспомнить, что требования к ЦОД третьего уровня по несущей способности перекрытий не менее 1225 кг/м2. Следует придерживаться данного требования при выборе помещения.

Кабельная проводка

Беспроводные ЦОД — это технологии далекого или не очень будущего. А пока для коммуникаций между нашим оборудованием мы используем кабели и нам необходимо учитывать возможный будущий рост нужно при проектировании кабельной проводки в серверном помещении. Существуют различные виды соединения кабельных систем. Прежде всего это широко распространенное соединение типа «точка‑точка». Соединение «точка‑точка» — это прямое соединение двух единиц ИТ‑оборудования отдельным кабелем без использования стандартной системы кабелей. Обычно для таких соединений используются кабели, напрямую соединяющие активное сетевое оборудование.

Помимо соединений «точка‑точка» существует также структурированная кабельная система, в которой для соединения узлов используются различные универсальные кабельные решения. Такая система может иметь одноранговую или иерархическую структуру и позволяет выполнять различные типы соединений.

К кабельной инфраструктуре относится стандарт EN 50600-2-4, который охватывает несколько типов кабельных систем.

Более подробно о кабельной инфраструктуре сетей ЦОД можно почитать в следующей статье.

Активное оборудование в центре обработки данных обычно распределено по нескольким стойкам/шкафам и часто дополнительно сегментировано по функциям, отделам, бизнес‑группам и т. д. Поэтому крайне важно продумать, как все это оборудование будет подключено. Недостаточно просто подсчитать количество необходимых соединений в каждой стойке/шкафу и предположить, что будет достаточно проложить такое же количество медных и/или оптоволоконных кабелей.

Наиболее распространенными топологиями для распределения кабелей и подключения оборудования являются топология Top‑of Rack (ToR), Middle‑of‑Row (MoR) и End‑of‑Row (EoR).

Эти топологии могут использоваться как отдельно, так и вместе, в зависимости от размера, сложности и специфических требований центра обработки данных. Однако все они оказывают существенное влияние на способы и места прокладки кабелей, а также на размер и тип кабельных систем, необходимых в каждом шкафу и/или каждом ряду шкафов.

Медь или оптика

Скорость работы сетей и требования к пропускной способности традиционно растут, и эта тенденция вряд ли изменится. Нередко на рабочих станциях развертываются сети 1GBase‑T и даже 10GBase‑T, что еще больше повышает требования к центру обработки данных для поддержки увеличенной пропускной способности.

Несмотря на то, что эти скорости передачи данных требуют использования оптического волокна, медный кабель все еще очень распространен и продолжает оставаться основным элементом при проектировании центров обработки данных. Поэтому настоятельно рекомендуется использовать гибридную инфраструктуру, состоящую как из медных, так и из оптоволоконных кабелей, но при этом проектирование должно основываться не только на текущих потребностях сети, но и на будущих требованиях и способности системы адаптироваться к новым и появляющимся технологиям. Правильно спроектированная система должна быть модульной и легко вмещать дополнительные кабели, несколько типов носителей и различные типы соединений/коннекторов.

Также в завершение темы кабельных систем важно напомнить о необходимости использования качественных кабелей и соединительного оборудования. Низкокачественные кабельные компоненты в сочетании с некачественной установкой могут негативно повлиять на общую производительность и надежность сети, что может привести к дорогостоящим незапланированным отключениям.

Документируй это

Поскольку центры обработки данных со временем растут и развиваются, кабельная инфраструктура, скорее всего, должна будет расти и развиваться вместе с ними. Это особенно верно, если будущий рост не был в достаточной степени учтен при первоначальном проектировании.

Одним из способов смягчить последствия изменений является внедрение и строгое соблюдение схемы маркировки, а также процесса управления изменениями при модернизации, подключении и добавлении оборудования. Чем более организованной и структурированной будет ситуация, тем меньше вероятность того, что она выйдет из‑под контроля и станет нефункциональной.

В частности, должен вестись кабельный журнал, в котором фиксируются все действия по подключению оборудования, фиксируются используемые порты и т. д. Также должна поддерживаться в актуальном состоянии схема сети. При этом будет большой ошибкой пытаться разместить на одной схеме все: и L1, и L2, и L3, и уровень приложений. Такая схема очень быстро станет нечитаемой, так как будет содержать слишком много информации.

Необходимо подготовить отдельные схемы для каждого уровня и поддерживать их в актуальном состоянии. Каждое изменение, вносимое в системы ЦОДа, должно в обязательном порядке фиксироваться на соответствующей схеме.

Заключение

Мы рассмотрели основные моменты, связанные с проектированием сети ЦОД. Сегодня мы говорили только о кабельной инфраструктуре и за рамками статьи остались другие очень важные элементы построения ЦОД, такие как инженерные коммуникации и другие системы.

В заключение расскажу об открытых уроках по дизайну сетей ЦОД, которые проведут мои коллеги в Otus в феврале:

• 6 февраля: Организация взаимодействия между VXLAN/EVPN‑доменом и MPLS/SR — доменом. Подробнее

• 13 февраля: Сети ЦОД. Как использовать не самый типовой протокол маршрутизации в underlay и не проиграть? Подробнее

• 20 февраля: FRR: Открытые возможности для маршрутизации в современных ЦОД. Подробнее