В любом вычислительном центре любой компании масса проводов. Они везде и всюду, и если вы их не видите, то это не значит, что их нет. Просто их удачно спрятали. При этом далеко не всегда с кабелями работают так, как требуется. А ведь они соединяют все со всем, и повреждение пары кабелей в дата-центре может привести к частичной или полной остановке его работы.
Да и без повреждений полно ситуаций, когда неправильный кабель-менеджмент приводит к печальным последствиям, или просто негативно влияет на общую эффективность работы дата-центра. Мы, компания KingServers, уже много лет работаем с сетевым оборудованием. И за это время сформировали ряд правил по работе с кабелями. Они не являются откровением, просто мы их используем. Возможно, кому-то эти советы пригодятся.
Маркировка — это святое
Если не маркировать кабели, или делать это неправильно, то ничего хорошего из этого не получится. Даже если проводов 3-4, и то может быть проблема без маркировки. А если их сотни и тысячи? В этом случае, если уходит человек, который отвечал за кабель-менеджмент, то новичок может разбираться месяцами.
Мы советуем не просто маркировать кабели, а использовать специальные термоусаживаемые материалы. Для работы с ними есть множество различных инструментов. С ними можно научиться работать очень быстро — проблем здесь нет никаких.
Этикетка для маркирования обычно выполняется из эластичного пластика. Закрепление этикетки выполняется при помощи нагревания — для этого и нужен специальный прибор. Лучше всего работать с круговыми термоусаживаемыми этикетками.
Достоинств у термоусаживаемых материалов для маркирования кабелей много. Это и практичность, и долговечность, и устойчивость к внешним воздействиям. Плюс кабели, маркированные таким образом, выглядят эстетично. Все это гораздо лучше, чем скотч и маркеры — последний способ подходит для доморощенного небольшого ЦОД, но не для крупного дата-центра, где маленькая проблема может вылиться к миллионные убытки.
Мы также рекомендуем использовать маркировку цветом — для отдельных групп кабелей или для отдельных кабелей. Правда, использование цветовой маркировки должна подчиняться определенной логике, случайная работа с цветом не подходит. Нужно заранее определить, какой цвет должен использоваться в каждом конкретном случае, и в дальнейшем использовать именно этот цвет.
Точность измерений
Здесь как нельзя лучше подходит пословица «Семь раз отмерь — один отрежь». Дело в том, что если делать все на глазок, то и работать создаваемая инфраструктура будет примерно так же. Плюс ко всему, если работать с кабелями без тщательных промеров, то возможны частые ошибки. В этом случае создается большое количество отходов, а ведь кабели бывают очень дорогими. Поэтому работа на глазок может быть одной из незаметных дыр, куда утекают деньги из бюджета компании, например, оператора дата-центра.
Если ошибиться и кабель будет короче, чем нужно, придется готовить новый. Если, боясь сделать ошибку, инженер оставляет солидный запас — это бьет по карману предприятия. И ладно, если проводов не очень много. А если, как говорилось выше, их тысячи, и везде оставлена та самая запаска? Денег на такое уходит довольно много.
В общем, измерять провода нужно тщательно, чтобы потом не было мучительно больно.
Экономия
Она должна быть экономной, это так. Но скупость — это уже не наш вариант. Дело в том, что есть две крайности. В некоторые ДЦ закупают суперкачественные кабели чуть ли не с золотой фольгой в качестве экрана. Производители, гонясь за денежным клиентом, придумывают многое, описывая свой товар. За примером далеко ходить не нужно, вот, например, продается 3-х метровый ethernet-кабель за $2194. Это, правда, товар не для дата-центров, а для любителей «теплого лампового звука», но мы уверены, есть нечто подобное и для дата-центров. И ведь клиенты находятся, такие кабели
покупают.
Есть и другая крайность — это дешевые кабели, которые покупаются, глядя лишь на цену. В этом случае возможны проблемы, и очень крупные. Ненадежные соединения, слабый коннект — всю эту радость могут обеспечить дешевые кабели. Изначально можно думать, что вы экономите время и деньги, но это совсем не так. С увеличением некачественных элементов в вашей сетевой инфраструктуре проблемы будут увеличиваться лавинообразно.
Проверки и тесты
Даже, если нужно делать что-то очень быстро (авралы ведь никто не отменял, правда?), нельзя работать без проверки сделанного. Если какой-то тест (из того же набора Star Pass) показывает, что с кабелем проблемы, лучше проверить соединение несколько раз. Если после нескольких попыток исправить ситуацию проблема остается, выбросьте кабель. И, конечно, стоит использовать только качественные тестеры для кабелей. Один маленький сбой тестера — и большие проблемы для вас и всего дата-центра обеспечены.
Кабелепровод
Он должен быть больше, чем требуется в настоящий момент. Никогда не знаешь, что и как добавится через несколько месяцев или год, и если кабелепровод сделать точно такого размера, какой нужен сейчас, то потом все это придется перестраивать. Лучше продумать все заранее, чтобы потом не расстраиваться и не тратить дополнительные деньги.
Кроме того, при проектировании стоит продумать, где будет стоять оборудование, к которому нужно тянуть кабели. Иначе можно расставить все, а потом окажется, что куда-то кабели протянуть просто невозможно. Или можно, но это такая проблема, что легче изменить проект, чем мучиться с прокладкой кабелей.
И обязательно держите в голове мысль о возможном расширении ЦОД. Может быть, сразу стоит предусмотреть дополнительные кабелепроводы, выходы и т.п.?
Разделение Cat5 и электропроводки
Силовые кабеля, электропроводка, кабели Cat5 нужно разделять. Это кажется очевидным, но далеко не всегда очевидное реализуется. Многие компании просто прокладывают все вместе, связывая кабели различных типов в один пучок. А это, естественно, влияет на работу сетевых кабелей. Наводки, интерференция — все это может здорово мешать, или вообще вызывать глюки, причину которых потом придется искать очень долго.
Электропроводку, силовые кабели и Cat5 нужно разделять любой ценой.
Не давать кабелям нагреваться
Это еще одна проблема — охлаждать нужно не только серверы и прочее оборудование. Нельзя допускать нагрев кабелей. Они тоже могут нагреваться, а если их много, то это может привести к катастрофе. Проектируйте дата-центр таким образом, чтобы охлаждалось все.
Ну и конечно, «лапшу» допускать нельзя. В этом случае проблемы обязательно будут на каком-то этапе. Никакая маркировка и все прочее не поможет, если кабель-менеджменту не уделяется достаточное внимание.
В общем-то, большинство советов очевидны. Но лишний раз напомнить обо всем этом не мешает, тем более, что мы сами всегда используем это, как памятку. Есть и другие моменты в кабель-менеджменте, о которых бы хотелось поговорить, но об этом уже в следующий раз.
Комментарии (19)
DanilinS
06.09.2016 10:24Влияние конечно мизерное, но оно есть. Особенно от некачественного импульсника.
Плюс шанс поймать «короткое» на силовой провод. Автомат конечно отключит, по провод может хорошо подплавлять все вокруг. И «поджарить» жгут витой пары/оптики — длительный простой гарантирован.
SmartVolk
06.09.2016 10:37Хорошая статья, актуальная, но довольно тривиально и поверхностно. Тема оптических патчкордов не освещена. И не освещён один из важнейших моментов: человеческий фактор. Ведь всем вышеописанным занимаются люди. А они устроены сложно. Плохое настроение, депрессия, урезанная зарплата — качество катится вниз. Если руководство не занимается системно проектированием ЛАЦ-ов и подобных помещений, если патчкорд нужно пробросить «вчера», если телекоммуникационные шкафы расставлены бессистемно, разных размеров и высоты, просчёты в построении кабельростов… ясно, что порядка ожидать не приходится. К сожалению, я много видел подобного, и мне приходится работать с подобным. Конечно, силовые кабели должны быть разнесены с сигнальными, и, желательно, по разным металлоконструкциям/кабельростам. Тут и обсуждать нечего. И действительно, есть масса нормативной документации на эту тему. Главная проблема, на мой взгляд, это изначально отсутствие планирования, неоправданная спешка в прокладке кабелей и патчкордов. Ну и ещё хорошо бы использовать патчкорды соответствующей длины. Часто (увы!) бывает так, что нужен патчкорд 8 метров, а ЕСТЬ 25 метров. И шкафы превращаются в склады патчкордов, свёрнутых в бухты. Это обычное явление для операторов типа Ростелеком, МегаФон и Билайн, так что громкое имя не гарантирует качественный и красивый монтаж. А есть ещё такая штука, как наём шабашников для монтажа, например, сервера, ну скажем, фильтрации трафика. Одна очень известная фирма решила, что ей самой неинтересно заниматься нудной работой, и наняла двух халтурщиков. И если бы не технадзор с нашей стороны, выглядело бы это очень печально.
zxweed
06.09.2016 11:13А еще есть такие клиенты ДЦ как биржи, которые требуют, чтобы все патчкорды были строго одной длины, независимо от того, стоит сервер в соседнем слоте или в самом дальнем шкафу…
Pave1
06.09.2016 11:47Из реальных практических советов — только про термоусадочную маркировку.
Ни слова о моментах проектирования, рекомендациях, о типовых ошибках и т.д.
О чем статья? О том как кабель 3 раза тестировать?
И вообще насколько актуальна UTP в современных ЦОД-ах в эпоху 10GBase-X? Когда зачастую используется оптика и DAC-кабели.
Ведь 10GBase-T не состоялся, по сути.
SmartVolk
06.09.2016 11:51UTP пока ещё актуальна. Кроме того, она применяется для подключения сетевого оборудования на мониторинг через консольный порт.
Pave1
06.09.2016 19:38Что для outbound managamet, доступа в интернет и т.д. UTP еще долго будет востребована — это понятно. Но объемы уже существенно меньше, нежели в эпоху гигабитного эзернета.
PMaksimov
06.09.2016 11:47Статья нужная, но считаю, что не полная. Коллеги, есть у кого-то пример, а ещё лучше — эталон-образец ведения кабельного журнала. С год назад была необходимость в таком журнале, искал примеры, программные решения — поиск не увенчался особым успехом. В основном предлагается писать в Excel-файл. А хотелось бы чего-то завязанного на объекты инфраструктуры (стойка, оборудование, порт) с возможностью просмотра истории: кто, когда и какой кабель перетыкал. Кто как у себя на работе решает данную проблему? Было бы очень интересно узнать!
Melanxolik
07.09.2016 17:55Конечно извините, но можно было хотя бы линки на это приложить:
http://fishki.net/mix/1645995-kogda-sisadmin-perfekcionist.html
http://fishki.net/1821105-sistemnye-administratory-poznavshie-dzen.html
Есть личные фотки, переделка более 10ти стоек с комутацией и серверами, постараюсь позже должить. Но первый помощник это маркировочные бирки, липучка, патчкорды разной длины и цветов от 25см до 5ти метров, было бы желание, все можно уложить вполне опрятно.
kotte33
07.09.2016 17:55Вопрос к аудитории (с предысторией). Есть у меня один объект на поддержке, так вот сеть там кидали 3 года назад (до моего прихода) и с помощью дешевого кабеля из омедненного алюминия. Для многих не секрет, что медь в паре с алюминием плохо дружат вместе, химически разрушая друг друга. Ту же самую информацию я как-то прочитал на одном форуме, что мол, не надо использовать такие провода со временем начнутся проблемы. И вот собственно началось — в этом году сначала сетевой принтер перестал держать линк, несмотря на то, что тестер показывал 8 из 8, помогла только перетяжка провода. Потом через несколько месяцев такая же история, только немного в другом месте, но уже с компом, линка нет, но тестер показывает исправную линию. Внимание вопрос — кто-нибудь сталкивался с подобным или это просто неудачное стечение обстоятельств?
varnav
А есть какие-нибудь результаты замеров, говорящие в пользу того, что силовые кабели обычной сети 230/400 В как то пагубно влияют на витую пару категорий 5-6, и с какого расстояния?
rico_spb
Вообще-то в ПУЭ все давно написано и без замеров…
varnav
Меня ПУЭ не интересует, я когда тяну витую пару — с электроустановками не работаю, у меня даже допуска к ним нет.
А также витая пара почти везде прокладывается в одном кабель-канале с силовыми кабелями. Наличие ошибок легко проверяется на ethernet-интерфейсах командами типа netstat -i — их нет.
gbg
Это пока до вашего кабель-канала не дошел энтузиаст с перфоратором (с обратной стороны стены). И не проперфорировал силовой накоротко с сетевым. Тогда вам и netstat покажет и show int gi/X/X/X покажет. Все покажет.
ПУЭ написаны кровью и пеплом от тонн горелого железа. Стоит прислушаться.
varnav
Да, как защиту от закоротки при эксцессах я такое разделение признаю всецело. А вот как защита от помех — не, не верю.
SmartVolk
Последняя фраза абсолютно точна.
SmartVolk
Насчёт «почти везде» — это вряд ли. Кроме того, если это не частная лавочка, первая же серьёзная проверка за это навтыкает. Бывают кабель-каналы специальные, с раздельными пазами для слаботочки и силовых кабелей/проводов. Но засовывать всё до кучи в одну гофротрубу — это не очень умно. Даже по соображениям техники безопасности. Я не думаю, что силовые кабели плохо влияют на кабели слаботочки — если только там не идёт какая-то звуковая частота, на которую может наводиться фон. Кстати говоря, была такая услуга, проводное радио. От радиоузла специальным фидером шёл высоковольтный сигнал на понижающие трансформаторы в домах, оттуда в квартиры в радиоточки. И всеми правилами категорически запрещалось прокладывать эти радиофидеры в трубах городской телефонной канализации в тех же трубах, где лежат кабели связи. Иногда на это забивали, и как следствие, абоненты слышали радио в своих телефонных трубках. Особенно громко они его слышали, когда монтёр из-за отсутствия исправных пар подключал абонента проводами из разных пар (не одной скрутки). Скрученная пара уменьшает внешние помехи; в городских абонентских кабелях связи используется тот же принцип, что и в кабелях UTP.