В предыдущей статье мы поговорили о надежности ЦОД и начали рассмотрение темы дизайна сетей ЦОД. В этой статье мы продолжим данную тему и поговорим о кабельной инфраструктуре. Эта тема не очень популярна у ИТ-шников. Мы привыкли втыкать шнурок в Ethernet розетку и там появляется сеть, а может даже Интернет, но мы не особо задумываемся о том, как эта сеть построена на физическом уровне. Но, между тем, кабельная инфраструктура в ЦОД имеет большое значение ведь именно она обеспечивает сетевую доступность ресурсов ЦОД.
Для проектирования различных систем ЦОД существует серия стандартов EN 50600-x, которая предоставляет всесторонний и независимый комплекс определений и требований к проектированию и эксплуатации всех сооружений и инфраструктуры ЦОД. К кабельной инфраструктуре относится стандарт EN 50600-2-4, который охватывает несколько типов кабельных систем.
Рассмотрим более подробно представленные на рисунке виды кабельных систем. Соединение точка-точка это прямое соединение двух единиц ИТ-оборудования отдельным кабелем без использования стандартной системы кабелей. Обычно для таких соединений используются кабели напрямую соединяющие активное сетевое оборудование.
Помимо соединений точка-точка существует также структурированная кабельная система, в которой для соединения узлов используются различные универсальные кабельные решения. Такая система может иметь одноранговую или иерархическую структуру и позволяет выполнять различные типы соединений.
Недостатки point to point
Топологию сети типа “точка-точка” получила широкое распространение. На рисунке ниже представлена исходная топология такой сети.
Как видно, здесь все узлы связаны с коммутаторами по отказоустойчивой схеме (каждый узел с каждым коммутатором). Это конечно хорошо, но что происходит, когда мы хотим добавить еще несколько узлов или коммутаторов, например так как показано на схеме ниже.
Тогда у нас возникает необходимость в добавлении соответствующего числа кабелей для подключения каждого из узлов. Кроме того, при такой схеме подключения на коммутаторах быстро расходуются порты, так как мы подключаем каждый узел в отдельный порт.
Таким образом, главным недостатком топологий типа точка-точка является сложность поддержки кабельной инфраструктуры.
В качестве альтернативы топологии “точка-точка” стандарт EN 50600-2-4 предлагает использовать фиксированную кабельную систему. Когда мы говорим о сети ЦОД, здесь гораздо лучше использовать фиксированную кабельную систему, которая построена по принципу иерархии, в которой соединения между серверами выполняются с помощью коротких шнуров, которыми легко оперировать.
На рисунке ниже коммутаторы в облаке это Центральный узел коммутации. А отдельно стоящие коммутаторы - это Зонный узел коммутации. Их тоже может быть несколько для отказоустойчивости, но в данном случае важно то, что при добавлении новых узлов нам не нужно подключать новые кабели ко всем коммутаторам участвующим в соединении. Вместо этого нам достаточно только подключиться коротким кабелем к коммутаторам зонного узла коммутации и далее выполнить настройки на логическом уровне.
Таким образом, действия по внесению изменений ограничиваются определенными областями и не затрагивают другие области. Подключение нового оборудования не нарушает работу активных систем, что исключает необходимость в плановом перерыве в работе. Вспоминаем требования к уровням ЦОД из предыдущей статьи. При этом сокращаются трудоемкость и время внесения изменений, снижаются сопутствующие изменениям риски и улучшается функционирование системы в целом.
Про шкафы и кроссы
Стандарт EN 50600-2-4 определяет различные типы кабельных систем, но мы рассмотрим рекомендации по серверным помещениям. Под серверным помещением в стандарте понимается часть центра обработки данных, в которой сосредоточены все функциональные элементы, относящиеся к ИТ-функциям ЦОД. Обычно в серверных помещениях кабельные соединения используются для соединения внутри шкафов и между шкафами.
Для соединения внутри шкафов как правило используется соединение типа “точка-точка”, так как в шкафах достаточно легко выполнять коммутацию при помощи коротких шнуров, если соединяемые узлы находятся в одном шкафу. Как вариант может использоваться фиксированная кабельная система, в которой устройства короткими шнурами подключаются к патч панелям, которые в свою очередь соединены с коммутаторами зонного узла коммутации. Оба этих варианта не требуют отключения оборудования при подключении новых узлов и тем самым мы можем выполнять подключения в рабочее время.
С соединением между шкафами ситуация несколько сложнее. Здесь стандарт накладывает требования по подключению в зависимости от классов доступности, представленных в следующей таблице.
Так первый класс доступности для соединений между шкафами у нас аналогичен соединению внутри шкафов, то есть мы можем использовать прямое соединение “точка-точка” или фиксированную инфраструктуру, но для других классов условия меняются. Второй класс тоже позволяет использовать фиксированную инфраструктуру, но здесь уже добавляется требование по резервированию внешних сетевых интерфейсов.
Также для второго класса появляются дополнительные требования по характеристикам используемого кросса: необходимо осуществлять организацию кабелей с тыльной стороны, должна осуществляться боковая организация коммутационных шнуров, а также ширина кроссовых шкафов должна быть не менее 800 мм.
Третий класс доступности требует от нас также фиксированной кабельной инфраструктуры, но он дополняется необходимостью применения дополнительных кабельных трасс для обеспечения большей надежности. По кроссу помимо требований для второго класса также добавляются требования по контролю радиусов изгиба (да, кабели не должны сгибаться как попало) и требования по укладке излишков кабеля.
И наконец, четвертый класс. Как нетрудно догадаться здесь особый упор делается на выполнение требований по отказоустойчивости. Так, здесь требуется использование фиксированной кабельной инфраструктуры с многоканальной конфигурацией, применением альтернативных кабельных трасс и резервированием распределительных областей. То есть по сути у нас должна быть отказоустойчивость и по кабельной инфраструктуре, и по коммутаторам и по сетевым интерфейсам. Требования к кроссам здесь аналогичны предъявляемым к третьему классу доступности.
В целом, построение кабельной инфраструктуры при взаимодействии между шкафами в стандарте представлена на следующем рисунке. Здесь представлены каналы соединения между коммутаторами, патч панелями и конечным оборудованием.
Организация кабельной разводки
Во многих серверных помещениях можно встретить ворох кабелей, кое-как помещенный в стойку. Во избежание подобных ситуаций приведу несколько рекомендаций из стандарта EN 50600-2-4.
Так, в системах с низкой плотностью подключений на каждый юнит стойки, отведенный для подключения, должен отводиться один юнит для организации шнуров/кабелей. Если же наша система имеет высокую плотность подключений, то лучше вообще не использовать системы организации шнуров/кабелей, занимающие место в стойке. Следует использовать внешнюю систему организации шнуров. Вместительность вертикальной системы организации кабелей в шкафах должна в два раза превышать общую площадь сечения кабелей при полном заполнении шкафов или стоек аппаратурой. Также, шкафы должны обладать достаточным запасом по глубине или ширине для выполнения надлежащей вертикальной прокладки кабелей.
Не лишним будем вспомнить о теплообмене, а именно, в незанятые юниты шкафа следует устанавливать панели-заглушки во избежание смешивания горячего и холодного воздуха.
Стандартом также рекомендовано использование подвесных (потолочных) кабельных систем. Такие системы рекомендуются для помещений с достаточной высотой потолков, где они позволяют существенно уменьшить снижение интенсивности воздушного потока из-за препятствий, образуемых элементами подпольных кабельных систем и кабельных трасс, а также вихревых движений воздуха, вызываемых этими препятствиями.
Заключение
В этой статье мы рассмотрели рекомендации стандарта по построению кабельной инфраструктуры EN 50600-2-4. Данный стандарт представляет фиксированную кабельную инфраструктуру как наиболее предпочтительное решение для ЦОД. В следующей статье мы поговорим об организации трафика в сетях ЦОД.
А сейчас приглашаю вас на бесплатный вебинар, в рамках которого мы предложим схему расследования BGP инцидента, по которой может действовать сетевой инженер. В ходе занятия рассмотрим недавние сетевые аварии и то, как можно использовать различные сервисы BGP-аналитики для выявления деталей.