В этой статье мы говорим о грамотном размещении оборудования в стойке, а иными словами, системно рассматриваем эксплуатацию серверного шкафа: от составления плана и инсталляции до маркировки проводов. Всё повествование строится, в первую очередь, на моем опыте работы инженером ЦОД, и, хорошо это или не очень, я стараюсь придерживаться именно этих правил и практик.

Введение. Зачем нужен порядок в стойке

Серверный шкаф с грамотно проведенным кабель-менеджментом и продуманным расположением оборудования служит не только для эстетического удовольствия. Безусловно, приведенная в надлежащий вид стойка смотрится эффектно, но в первую очередь решаются задачи чисто утилитарные:

  • Улучшение охлаждения

  • Продление срока службы оборудования

  • Сокращение времени на поиск точек отказа

  • Сокращение времени на установку и замену оборудования

  • Сокращение числа аварий, в т.ч. по вине персонала

Как следствие перечисленного, качественный rack-менеджмент снижает расходы, повышает коэффициент PUE, уменьшает время простоя… Ну и показать потенциальным клиентам не стыдно. 

Вместе с этим надо понимать, что организация стойки – процесс объемный, требующий определенного подхода. Каждое действие требуется продумать перед тем как воплотить в жизнь. В будущем, если выяснится неэффективность того или иного решения, работающее оборудование может не позволить переделать по-другому. Ну и конечно, поддерживать порядок нужно постоянно – бардак возникает очень быстро. 

Итак, с чего начать менеджмент вашей стойки? 

Шаг 1. Составление плана

Предположим, вы начинаете с относительного нуля – у вас уже есть арендованные площади в ЦОДе и вам выделили пустые стойки (или места под них).Электропитание и холод предоставляет ЦОД. Также присутствует понимание, какое оборудование и в каком количестве будет установлено в стойках.

Как уже было написано выше, размещать оборудование следует продуманно в первую очередь из-за того, что ИТ-инфраструктура в стойке предполагает безостановочную работу в течение долгого времени, и в дальнейшем вы можете не иметь возможности внести изменения в монтаж, не затронув работоспособность. А это даунтайм и недовольные клиенты. Поэтому перед началом инсталляции стоек и оборудования в них составьте примерный план размещения вашего железа в стойку. Сделать это можно с помощью Microsoft Visio, Lucidchart или вообще в экселевской таблице. Также обратить внимание стоит на draw.io.

Схема стойки в Visio, rus-visio-blog-archive.github.io
Схема стойки в Visio, rus-visio-blog-archive.github.io

Расположение оборудования зависит, в первую очередь, от стоечных размеров. Серверные стойки имеют определенные стандарты: стандартная ширина (19 дюймов), высота измеряется в юнитах (U). 1 юнит – это 1,75 дюйма, и чем выше стойка, тем больше в ней юнитов. Стойка высотой в 48 юнитов может вместить в себя 48 единиц оборудования стоечного форм-фактора, если каждая единица имеет высоту в один юнит (1U). Также бывает оборудование размером 2U, 3U, 4U… Наверное, бывают и больше, но встречать мне такие не доводилось. Может варьироваться глубина стойки – как правило, от 600 до 1100 мм. Обычно рамы, на которые крепится оборудование, можно двигать, тем самым ненамного уменьшая или увеличивая монтажную глубину, но всецело полагаться на это не стоит, поэтому заблаговременно выясните, влезет ли ваше оборудование в стойку по глубине. 

Итак, подготовьте план размещения вашего оборудования, учитывая его размеры, количество, а также габариты стойки. Не стоит гнаться за максимальной плотностью оборудования, исходя из мысли “Я заплатил за 48 юнитов, значит я использую все 48 юнитов!!”. Во-первых, мой опыт показывает, что в стойке первым, скорее всего, кончится лимит по питанию, а не пространство, а во-вторых, гонка за уплотнением снизит качество укладки кабелей и охлаждения. 

Набросок стойки в draw.io. Органайзер под свичом занимает один юнит и служит для организации пучка патч-кордов от всех серверов в стойке.
Набросок стойки в draw.io. Органайзер под свичом занимает один юнит и служит для организации пучка патч-кордов от всех серверов в стойке.

Также следует учитывать, откуда (сверху или снизу) заводятся силовые кабели к PDU (Power Distribution Unit, они же серверные розетки), еще следует продумать размещение PDU, их тип и количество – обычно размещают две вертикальные PDU с левой и правой стороны стойки, как на картинке ниже: 

Блоки розеток расположены слева и справа. 
Блоки розеток расположены слева и справа. 

Мы в FirstVDS делали таким же образом, но потом перешли к размещению обоих блоков розеток слева стойки, нам так удобнее. Также есть горизонтальные блоки розеток, но такое решение занимает стоечные юниты.

Не стоит забывать про ваши требования к резервированию электропитания. Внутри нашего ЦОДа построена схема 2N: 2 полные параллельные системы энергоснабжения, в которых дублируется каждый элемент. Применительно к стойке это означает, что в неё приходит два независимых ввода к двум PDU, и оборудование подключено таким образом, что полное отключение одного никак не влияет на работу инфраструктуры. 

Несколько дополнительных рекомендаций: 

  • Планируйте размещение оборудования с открытыми оптическими разъемами наверх стойки, это снизит их загрязнение пылью. 

  • Не стремитесь к самому плотному из возможного размещению оборудования – на каждый юнит. Оставляйте юниты под внеплановое масштабирование в будущем и под горизонтальные органайзеры.

  • Используйте широкие стойки, с возможностью размещения вертикальных блоков розеток и дополнительным местом для вертикальной укладки проводов. 

  • В план должно быть вписано не только сетевое и вычислительное оборудование, но и вспомогательное, если оно занимает место в стойке: полки, АВРы, телефоны, органайзеры, камеры, а также пустые юниты.

  • Стремиться к тотальной детализированности схемы при этом не стоит – чертить укладку силовых кабелей и патч-кордов не надо, достаточно просто описать общие принципы кабель-менеджмента в пояснительной записке. Вертикальные PDU, кстати, рисуют тоже далеко не все. 

  • Тяжелое оборудование лучше размещать внизу стоечного шкафа.

  • Кстати о тяжести. У стоек есть понятие несущей способности – сколько килограмм оборудования может выдержать конкретная стойка. Будет нелишним прикинуть массу вашего оборудования и сопоставить его с несущими способностями ваших серверных шкафов.

В итоге у вас должна получиться схема стойки, похожая на приведенную ниже, и в придачу к ней пояснительная записка с общими принципами кабель-менеджмента, например: силовые кабели прокладываются по левую сторону стойки, патч-корды по правую, красные патчи подключаются в первую сетевую карту, синие – во вторую, фиксация проводов осуществляется только определенным образом… И так далее. 

Также в пояснительной записке обязательно требуется указать, куда какое устройство будет подключаться по сети и по питанию.

Пример указания подключений серверов в коммутатор по схеме “юнит - порт”, draw.io
Пример указания подключений серверов в коммутатор по схеме “юнит - порт”, draw.io

Пояснительная записка играет роль более важную, чем может показаться на первый взгляд. Серверную стойку можно собрать хорошо один раз, но без описания правил монтажа каждое новое действие в стойке будет вносить путаницу и беспорядок. 

Пример визуализации серверного шкафа в Lucidchart, lucid.app
Пример визуализации серверного шкафа в Lucidchart, lucid.app

Шаг 2. Составление списка расходных материалов

Для инсталляции оборудования и его подключения вам понадобится определенная номенклатура материалов. Составьте этот перечень заранее, и позаботьтесь о доставке всех расходников до начала работ по установке. Вот список, с которого стоит начать: 

  • Крепеж для оборудования. То, чем крепятся ваши ИТ-балалайки к направляющим стойки. Большинство моделей прикручиваются через крепеж “винт-гайка-шайба” (на фото внизу), но некоторые модели оборудования монтируются только с помощью своего собственного крепежа (а есть рельсы, не требующие крепежа вообще) – уточняйте это у поставщика. 

    Винт+шайба+гайка M6
    Винт+шайба+гайка M6
  • Бухта витой пары. Для патч-кордов нестандартной длины. 

    Коробка с бухтой
    Коробка с бухтой
  • Готовые кабели разной длины: патч-корды Ethernet и другие, например, оптические. Использование готовых кабелей вместо витой пары здорово сэкономит вам время. 

Кабель Ethernet 5e cat, cabeus.ru
Кабель Ethernet 5e cat, cabeus.ru
  • Коннекторы RJ-45 для обжима витой пары.

  • Инструмент для обжима витой пары и тестер, чтобы проверять получившиеся кабели. 

Инструмент для обжима, dns-shop.ru
Инструмент для обжима, dns-shop.ru
Тестер. Мы используем точно такой же. Фото: prom.st
Тестер. Мы используем точно такой же. Фото: prom.st
  • Силовые кабели разной длины, с подходящим разъемом розетки и надлежащим сечением. Помните – чем больше мощность блока питания сервера, тем больше должно быть сечение силового кабеля! Разъемы розеток подбираются в соответствии с разъемами в оборудовании и в PDU. Ниже приведены фото и названия самых распространенных разъемов:

Фото: aliexpress.ru
Фото: aliexpress.ru
  • Принадлежности для маркировки. Опыт показал, что пластиковые клипсы для обозначения проводов (на фото внизу) не слишком удобны, поэтому рекомендую использовать только бумагу. 

Клипсы маркировки, treolink.ru
Клипсы маркировки, treolink.ru

Мы используем принтер Brady с виниловыми этикетками для маркировки кабелей и принтер наклеек Brother для всего остального. 

Для кабелей
Для кабелей
Brother QL-800
Brother QL-800
  • Принадлежности для укладки проводов: горизонтальные и вертикальные органайзеры, стяжки, патч-панели и кабелепроводы. 

Горизонтальный органайзер Cabeus
Горизонтальный органайзер Cabeus
  • Инструменты для работ: шуруповерты, отвертки, кусачки, ножницы и так далее. 

  • Рабочее место для хранения всего вышеописанного: комната, стеллажи, верстак, антистатический коврик и т.д.

Несколько дополнительных рекомендаций: 

  • Нет большого смысла экономить на СКС и кабелях питания – по сравнению с остальным оборудованием их стоимость невысока, а срок службы, наоборот, долог. Много сэкономить не удастся, а вот заиметь проблем из-за дешевого некачественного кабеля легче легкого. 

Скриншот из какого-то видео, коллега прислал. Наглядная иллюстрация моих слов выше.
Скриншот из какого-то видео, коллега прислал. Наглядная иллюстрация моих слов выше.
  • Вместо пластиковых хомутов-стяжек рассмотрите покупку многоразовых липучек, они намного удобнее. 

Хомут-липучка, ekfgroup.ru
Хомут-липучка, ekfgroup.ru
  • Рельсы и крепления, на которые ставится девайс в стойку, могут выйти из строя, потеряться или прийти бракованными. Возможно, имеет смысл закупить несколько запасных комплектов. Резерв нужен, чтобы не терять времени попусту – да, брак вы поменяете по гарантии, но замена будет идти какое-то время, важно не допустить простоя.

Смонтированная в стойку пара рельс для сервера
Смонтированная в стойку пара рельс для сервера

Шаг 3. Установки стойки

После составления плана и закупки всех расходников можно дождаться доставки стоек. Ничего сложного в установке нет, просто следуйте инструкции, работайте минимум втроем, открывайте только те заглушки и крышки, которые необходимы вам для заведения в стойку кабелей. Чем меньше посторонних отверстий – тем эффективнее воздушный поток будет охлаждать оборудование. Кстати, лучше использовать стойки с цифрами юнитов, подписанными краской – как на фото ниже. Обозначения на наклейках сдираются или облетают со временем, а выштампованные на металле цифры плохо видно. 

Номер юнита нанесен белой краской - долговечно и хорошо различимо.
Номер юнита нанесен белой краской - долговечно и хорошо различимо.

Тут же можно осветить вопрос установки и подключения PDU, а также организацию кабелепроводов. 

Удобнее всего инсталлировать PDU в стойку в первую очередь. Подключается в сеть дата-центра PDU через вилку IEC-309 (или “груша”), при подключении будет слышен характерный щелчок. В стойке серверные блоки розеток размещаются либо по бокам на стандартные крепления (вертикальные PDU), либо просто ввинчиваются в стойку как обычное оборудование (горизонтальные PDU). 

Кабелепроводы не следует размещать слишком высоко во избежание нагрева — весь теплый воздух будет под потолком. 20-30 сантиметров от крыши стоек будет оптимально. 

Дополнительные рекомендации: 

  • Не забывайте заземлять стойки. 

  • Сразу после установки блоков розеток в стойку  можно установить органайзеры для вертикальной организации кабелей питания и сетевых патчкордов в серверной стойке, установке оборудования они не помешают. 

  • Если это необходимо, отрегулируйте монтажную глубину стойки, передвигая направляющие.

Собранная стойка с установленными розетками и вертикальными органайзерами
Собранная стойка с установленными розетками и вертикальными органайзерами

Шаг 4. Установка оборудования

Пожалуй, главная часть нашего Марлезонского балета. В нашем ЦОДе сложился определенный порядок установки железа: 

В первую очередь призываются устанавливаются PDU и вертикальные органайзеры, затем сетевое оборудование, АВРы (при необходимости), и уже потом серверы. 

Устанавливаются серверы от первого юнита к последнему, то есть снизу вверх. 

Закреплять оборудование необходимо полностью, не пропуская отверстий в рельсах. 

Крепление гаек на задней части стойки, фото: 
Крепление гаек на задней части стойки, фото: 

Не допускайте перекоса рельс и оборудования, следите за соответствием юнитов на передних и задних рамах крепления. 14-ый юнит спереди — 14 сзади и т.п. 

Серверы должны задвигаться в стойку легко и плавно. Примерно в середине движения по рельсам большинство моделей серверов встанет на предохранительный упор. Сдвиньте предохранительную защелку и задвигайте сервер до конца в стойку. 

Защелка
Защелка

В конце необходимо неподвижно зафиксировать сервер в стойке при помощи болтов. 

Обязательно обращайте внимание на движение воздушного потока при установке оборудования – он идет из холодного коридора в горячий через ваше оборудование. Собственно, ваше оборудование и делает из холодного воздуха горячий (неожиданно, правда?).

Горячие и холодные коридоры, blog.rittal.us
Горячие и холодные коридоры, blog.rittal.us

Так вот, внутри большинства оборудования в стойке установлены кулеры, прогоняющие воздух внутри корпуса устройства и охлаждающие его. Воздушный поток, который они создают, также имеет определенное направление. Важно, чтобы кулеры оборудования гнали воздух правильно – из холодного коридора в горячий. 

Схема движения воздуха внутри сервера, синие стрелки – холодный воздух, красные – горячий. Передняя сторона сервера – лицевая, ею он должен быть размещен в холодный коридор. Фото: gigabyte.com
Схема движения воздуха внутри сервера, синие стрелки – холодный воздух, красные – горячий. Передняя сторона сервера – лицевая, ею он должен быть размещен в холодный коридор. Фото: gigabyte.com

Дополнительные рекомендации:

  • После установки всё оборудование должно быть зафиксировано на месте. 

  • После установки закройте все юниты, в которые не было установлено оборудование, заглушками со стороны холодного коридора. 

  • Оборудование в стойке без штатных креплений, например, сервер без рельс, просто положенный на другой – нехорошая история для рабочих нагрузок.  

Шаг 5. Подключение и маркировка

После установки оборудования в стойку его требуется подключить и промаркировать. В некоторых случаях процесс подключения и маркировки лучше совместить с установкой, то есть инженер действует в такой последовательности:

а) устанавливает сервер, 

б) подключает его по питанию и сети, 

в) маркирует сервер и кабели, 

г) переходит к установке следующего сервера. 

Процесс подключения особых сложностей не вызывает – знай себе втыкай до щелчка да проверяй, что пинги пошли и нагрузка по электричеству соответствует норме. Всегда проверяйте плотность контакта вилки с розеткой! Неплотный контакт провоцирует нагрев, это, в свою очередь, повышает вероятность возгорания. 

С маркировкой присутствуют некоторые нюансы. Так или иначе, должны быть нанесены следующие виды маркировки: 

На сервер:

  • Номер сервера, с обеих сторон – обязательно

  • MAC-адрес, номера блоков питания, номера корзин в дисках, серийные номера дисков, установленные в слоты сервера – опционально.

К примеру, у серверов на фото есть как наклейки с номером, так и наклейки для быстрого опознавания дисков, установленных в корзинах. 
К примеру, у серверов на фото есть как наклейки с номером, так и наклейки для быстрого опознавания дисков, установленных в корзинах. 

На другое оборудование: коммутаторы, PDU, АВР:

  • Также номера для опознавания.

На кабели: 

  • На силовые кабели должны быть нанесены наклейки с указанием запитанного сервера (коммутатора, АВР и т.д.), номера его юнита, номера блока питания, в который приходит кабель, а также номер PDU и номер розетки, от которой приходит кабель. Естественно, наклейки должны быть размещены на обоих концах кабеля – и у розетки, и у сервера. 

  • На сетевые кабели также должны быть нанесены наклейки с указанием сервера подключения, его юнита расположения, номера сетевой карты, в который приходит провод. Также должны присутствовать номер сетевого коммутатора, юнит его расположения и порт, откуда идет кабель. 

Опыт показывает, что маркировка – наиболее скучная работа из всего процесса rack-менеджмента, но без нее не обойтись. В любом ЦОДе проводов буквально выше крыши, и в большинстве случаев сразу непонятно, куда какой ведет. При этом в случае запроса клиента (или того серьезнее – в случае аварии) времени на перебор пучка проводов в поисках нужного не будет. Для быстрой идентификации проводов необходимо использовать маркировку. 

Пример маркировки сетевого кабеля
Пример маркировки сетевого кабеля

На картинке выше приведен пример макета кабель-флага для маркировки сетевого патч-корда. На верхней стороны приведены данные, к чему подключен патч-корд – номер сервера, его расположение и номер порта сетевой карты. На нижней стороне приведены данные, от чего ведет провод – коммутатор, его расположение и номер порта. 

Маркировать можно несколькими способами: наклейками на виниловой основе, самоклеющимися бумажными стикерами, термоусадочными трубками, кабельными стяжками с бирками и термоэтикетками. В настоящий момент мы используем маркировку термоэтикетками и виниловыми наклейками, это наиболее удобные решения. 

Дополнительные рекомендации: 

  • Заранее продумайте систему нейминга для маркировки и зафиксируйте ее в пояснительной записке при составлении плана, чтобы избежать путаницы и разночтений. Должно быть понятно, что как маркируется и какой аббревиатурой обозначается. Аббревиатуры для обозначения оборудования должны быть уникальными, чтобы не путать их между собой.

  • Маркировка – обязательный элемент rack-менеджмента. Она должна быть внедрена в процесс развертывания ИТ-инфраструктуры с самого начала. А если в начале про нее забыли, а на середине вспомнили, то потребуется втрое больше усилий, чтобы промаркировать уже работающую систему. 

Шаг 6. Обслуживание

После того, как оборудование установлено, подключено, админы прогнали все диаги и запустили оборудование в работу, бóльшая часть работы у сетевого инженера сделана, но кое-что еще остается. В двух словах — стойки и серверы надо периодически чистить, менять термопасту, следить за температурой и влажностью. Все остальные действия совершаются по мере необходимости, я говорю о замене комплектующих (ОЗУ, блоки питания и т.п.). Если что-то вышло из строя и требует вмешательства – оборудование даст соответствующий аларм, тогда и будет проводиться замена. Есть понятие плановой замены – в этом случае поступает уведомление от коллег из техподдержки. 

В целом, касательно оборудования в дата-центре можно придерживаться общего правила: если оборудование работает, нет нештатных ситуаций и не подходит время планового обслуживания – не трогай это оборудование. 

Чистку стоек и серверов в ней целесообразно, на мой взгляд, выполнять промышленным пылесосом не реже, чем раз в полгода. Операция крайне несложная – подходишь к стойке и мягкой насадкой аккуратно проводишь по каждой “железке”. Потом повторяешь с другой стороны стойки. Важно, чтобы в момент уборки за состоянием серверов следили админы, чтобы просигналить в случае нештатных изменений, в этом смысле уборка – командный спорт. 

При изъятии оборудования из стойки стоит проводить продувку и замену термопасты — не реже, чем раз в год. Продувку можно делать как пневматическим баллончиком-очистителем, так и электрическим компрессором.

 Особое внимание следует уделить блоку питания. Разбирать его не надо – так можно потерять гарантию на оборудование, а вот продуть снаружи стоит.

Разбирать блок питания не стоит.
Разбирать блок питания не стоит.

Дополнительные рекомендации:

  • Используйте качественную термопасту, наносите на процессоры тонким слоем, используя штатную лопатку. 

Мы используем Arctic MX-2
Мы используем Arctic MX-2

Шаг 7. Аудит

Не лишено смысла ввести в производственный процесс практику периодических проверок порядка в машинном зале – скажем, раз в месяц. Помимо выявления ошибок в установке оборудования и укладке СКС, регулярные проверки состояния ваших стоек позволят, например, быстро определять возможности дальнейшего масштабирования инфраструктуры. Под термином “аудит” в данном случае не нужно понимать заказ дорогостоящей экспертизы у профильных компаний (хотя и это иногда нелишне), а просто определенную процедуру внутри компании по сбору, анализу и оценке изменений в аппаратной инфраструктуре. 

Не надо думать, что простой осмотр стоек не может выявить никаких ошибок. При установке серверов “оптом” по несколько десятков за раз инженер может допустить невероятные по глупости просчеты – наверное, число случаев в мире, когда сервер с двумя БП подключается в один луч питания, уже исчисляется тысячами. Чтобы увидеть такую ошибку, иногда достаточно просто внимательного взгляда.

Заключение

Вышеописанные 7 шагов – неплохое начало знакомства с искусством организации аппаратной части ИТ-инфраструктуры. Эти тезисы – не универсальное решение, но дают хорошее общее представление об эксплуатации стоек как о процессе. 

Также мне будет интересно узнать, какими решениями пользуетесь вы.


НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.

Комментарии (12)


  1. AlexNixon
    26.01.2023 11:26
    +1

    Увы, справедливо только для тех случаев, когда стойка забивается сразу на всю свою расчетную емкость. А бывают стойки, которые набивают постепенно, по 1-2 машины, такие страшно даже открыть обычно. А уж если в системе присутствуют толстые негнущиеся громоздкие кабели, DAC-и какие-нибудь, или просто витуху купили неподходящую, или в пределах одной стойки нужно сочетать витуху, питалово, пару видов оптики... В общем, все описанные вами способы верны, но в сферических условиях в вакууме. А жизнь, руководитель и заказчик часто диктуют свои условия.


  1. Kotsusamu
    26.01.2023 11:31

    При монтаже: используйте кабели нужной длинны. В том числе и кабели питания, используйте цветовую дифференциацию кабелей (удобнее потом искать), для оптики используйте "мягкие" стяжки.

    Не используйте стойки глубиной 800м для серверов.

    Наклейки на дисковых салазках через пару лет бесполезны - слетают. Да и охлаждение дисков страдает (актуально для нагруженных SSD).


  1. aik
    26.01.2023 11:40

    Самый бюджетный и колхозный способ маркировки — бумажный скотч и фломастер.
    Конечно, им неудобно маркировать сотни проводов в коммуникационных стойках, но десяток-другой серверов вполне можно подписать.


  1. HiLander
    26.01.2023 11:56

    В малом-среднем бизнесе порядок в коммутационных скорее исключение чем правило.

    В одном со всех сторон замечательном банке пришлось наводить порядок в трех стойках после отсутствия присмотра более 5 лет (!!!). Большинство непонятного оборудования детектировалась методом "Отключил и никто не прибежал - ОК", второй итерацией "неделю простояло отключенным и все еще никто не прибежал - вон из стойки" (ибо документация и маркировки отсутствовали как класс). Мало того, коммутаторы были смонтированы в первую стойку а коммутация (и патч-панели) приходила в третью (зато с органайзерами!). Пришлось в нерабочее время переставлять коммутаторы в 3 стойку и полностью менять патчкорды.


  1. SmartVolk
    26.01.2023 12:24

    По опыту в Ростелекоме. Время от времени нужно подключить порт оборудования в одной стойке к другой стойке. Или на кросс (оптический или медный). Это постоянный процесс. С медными кабелями можно сделать красиво. С оптикой проблема: часто не бывает патчкорда нужной длины. И стойка превращается в склад. Приходится сбухтовывать слишком длинные патчкорды и куда-то прятать. Через время это становится ужасно. В какой-то момент я понял, что стараться бессмысленно, красиво уже не сделать никогда...


  1. yds
    26.01.2023 13:05

    Тема нужная.

    А я для маркировки кабелей стал использовать простую нумерацию: клею наклейку-флажок кабель "00013" на обоих концах. Дальше в excel табличка (сейчас потихоньку в Netbox перевожу).

    Так меньше мучительной возни и при повторном использовании патчкорда, не нужно наклейки сдирать и переклеивать.

    Ну у меня и не ЦОД, просто 20 шкафов.

    От готовых патчкордов потихоньку отказываюсь, мне проще обжать нужной длины. В качестве горизонтальных органайзеров перестал использовать сплошные (как на картинке) - есть с отверстиями там с тыльной стороны можно спрятать лишнюю часть кабеля, таких еще много в наследство досталось.

    А с оптическими патчкордами проблемы, да. Соглашусь.

    И еще на обратной стороне шкафа клею наклейку с указанием, с какой сборки он питается.


  1. HellKaim
    26.01.2023 15:28

    Есть еще рекомендация - покупать патчкорды с "закрытыми" защелками (где резиновый колпачек имеет карман, в котором оканчивается защелка), так как при вытягивании мало того, что защелка за все цепляется, так еще и обламывается или вообще не дает вытащить кабель.

    Проблема кросс-линковки решается обязательной установкой определенного количества кросс-панелей в каждую (!) стойку и коммутаторов - в отдельные стойки, часто - в отдельный ряд.

    Или, делалось иначе - центр ряда - коммутаторы, края - оборудование и везде кросс-панели. Тогда ваша задача дотянуть до рядного коммутатора, а оттуда уже настроить в нужный vlan и в дрйгом ряду из его рядного коммутатора - в нужное оборудование. Да, тут больше затраты на оборудование (больше коммутаторов), но если у вас ЦОД, это не так критично. А в маленьких (на 2 ряда) инсталляциях это можно решить "потолочным" кабель-каналом между 2мя рядами, где будут точно такие же патч панели в соседние стойки. Всех потрат - несколько патчкордов.

    В свое время была у нас практика раз в год наводить красоту и проверять-обновлять кабельные журналы. Вся система работает если а) есть ответственный за процесс и технологию и б) если комманда постоянная (более или менее). Если в стойках часто бывают постронние для объекта персонажи, будет весело.


  1. SpbBear
    26.01.2023 16:03
    +2

    Как уже написал коллега ранее - клеить маркировку на дисковые салазки не стоит, они держаться не будут, вентиляции мешают.

    Продувать сервера от пыли прямо в стойке - это серьезно? Т.е. вся пыть будет гоняться по серверной с одного сервера на другой? Если у Вас отведено время на регламентные работы (похоже, что это так, без этого термопасту не поменяете), то продувку и подобные работы лучше планировать на одно время, изъять сервер из стойки, перевезти в специально организованное техническое помещение с инструментами, столами и вентиляцией и уже там продувать и выполнять запланированные регламентные работы.

    Нигде не увидел упоминания о серверных кабельных органайзерах (Cable Management Arm), крепящихся на заднюю стенку сервера и на рековую стойку, что позволяет выдвигать сервер на направляющих без отключения и путаницы кабелей.


  1. megaslowpoke
    27.01.2023 06:47

    Особое внимание следует уделить блоку питания. Разбирать его не надо – так можно потерять гарантию на оборудование, а вот продуть снаружи стоит.

    Только главное не забывать, что продувая с одной стороны — надо забирать пылесосом с другой, т.е. там где вылетает или там куда вывести пыль надо, иначе смысл теряется, т.к. не покинувшее корпус всё равно сядет обратно, а вышедшее наружу осядет на окружении, и можно было просто погромче чихнуть рядом примерно с тем же успехом.


  1. SergeyT-hh
    27.01.2023 12:00
    +1

    Ещё классно использовать патч-корды в которых есть подсветка втогого разъема при освещении фанариком первого разъема. Есть такие у нескольких производителей, называются а-ля Self-Tracing Cables.


  1. Surrogate
    27.01.2023 17:39

    Для шага 1 (подготовки фасада шкафа) в MS Visio могу предложить использовать мой трафарет в духе аскетизма (абсолютно бесплатно):

    Видео с описанием

    Ссылка на скачивание в описании к видео…


  1. Hidon
    28.01.2023 00:01

    Продувку можно делать как пневматическим баллончиком-очистителем, так и электрическим компрессором.

    баллончиком ты сделаешь пару пшиков и прощай. точнее жди, пока он "отойдёт". компрессор - это хорошо, но только если он работает постоянно. а лично я пользуюсь электрической воздуходувкой на 600W. дует просто сатанински, всегда готова к работе, стоит как три баллончика(если брать аккумуляторную, то ещё столько же).

    да, маркировать ещё можно стяжкой-биркой. эти штуки очень суровые, т.к. ими обычно пломбируют мешки(большие такие) для дальних перевозок. но это только на железки вешать, для проводов не подходит.