В этой статье мы говорим о грамотном размещении оборудования в стойке, а иными словами, системно рассматриваем эксплуатацию серверного шкафа: от составления плана и инсталляции до маркировки проводов. Всё повествование строится, в первую очередь, на моем опыте работы инженером ЦОД, и, хорошо это или не очень, я стараюсь придерживаться именно этих правил и практик.

Введение. Зачем нужен порядок в стойке

Серверный шкаф с грамотно проведенным кабель-менеджментом и продуманным расположением оборудования служит не только для эстетического удовольствия. Безусловно, приведенная в надлежащий вид стойка смотрится эффектно, но в первую очередь решаются задачи чисто утилитарные:

• Улучшение охлаждения

• Продление срока службы оборудования

• Сокращение времени на поиск точек отказа

• Сокращение времени на установку и замену оборудования

• Сокращение числа аварий, в т.ч. по вине персонала

Как следствие перечисленного, качественный rack-менеджмент снижает расходы, повышает коэффициент PUE, уменьшает время простоя… Ну и показать потенциальным клиентам не стыдно. 

Вместе с этим надо понимать, что организация стойки – процесс объемный, требующий определенного подхода. Каждое действие требуется продумать перед тем как воплотить в жизнь. В будущем, если выяснится неэффективность того или иного решения, работающее оборудование может не позволить переделать по-другому. Ну и конечно, поддерживать порядок нужно постоянно – бардак возникает очень быстро. 

Итак, с чего начать менеджмент вашей стойки? 

Шаг 1. Составление плана

Предположим, вы начинаете с относительного нуля – у вас уже есть арендованные площади в ЦОДе и вам выделили пустые стойки (или места под них).Электропитание и холод предоставляет ЦОД. Также присутствует понимание, какое оборудование и в каком количестве будет установлено в стойках.

Как уже было написано выше, размещать оборудование следует продуманно в первую очередь из-за того, что ИТ-инфраструктура в стойке предполагает безостановочную работу в течение долгого времени, и в дальнейшем вы можете не иметь возможности внести изменения в монтаж, не затронув работоспособность. А это даунтайм и недовольные клиенты. Поэтому перед началом инсталляции стоек и оборудования в них составьте примерный план размещения вашего железа в стойку. Сделать это можно с помощью Microsoft Visio, Lucidchart или вообще в экселевской таблице. Также обратить внимание стоит на draw.io.

Расположение оборудования зависит, в первую очередь, от стоечных размеров. Серверные стойки имеют определенные стандарты: стандартная ширина (19 дюймов), высота измеряется в юнитах (U). 1 юнит – это 1,75 дюйма, и чем выше стойка, тем больше в ней юнитов. Стойка высотой в 48 юнитов может вместить в себя 48 единиц оборудования стоечного форм-фактора, если каждая единица имеет высоту в один юнит (1U). Также бывает оборудование размером 2U, 3U, 4U… Наверное, бывают и больше, но встречать мне такие не доводилось. Может варьироваться глубина стойки – как правило, от 600 до 1100 мм. Обычно рамы, на которые крепится оборудование, можно двигать, тем самым ненамного уменьшая или увеличивая монтажную глубину, но всецело полагаться на это не стоит, поэтому заблаговременно выясните, влезет ли ваше оборудование в стойку по глубине. 

Итак, подготовьте план размещения вашего оборудования, учитывая его размеры, количество, а также габариты стойки. Не стоит гнаться за максимальной плотностью оборудования, исходя из мысли “Я заплатил за 48 юнитов, значит я использую все 48 юнитов!!”. Во-первых, мой опыт показывает, что в стойке первым, скорее всего, кончится лимит по питанию, а не пространство, а во-вторых, гонка за уплотнением снизит качество укладки кабелей и охлаждения. 

Также следует учитывать, откуда (сверху или снизу) заводятся силовые кабели к PDU (Power Distribution Unit, они же серверные розетки), еще следует продумать размещение PDU, их тип и количество – обычно размещают две вертикальные PDU с левой и правой стороны стойки, как на картинке ниже: 

Мы в FirstVDS делали таким же образом, но потом перешли к размещению обоих блоков розеток слева стойки, нам так удобнее. Также есть горизонтальные блоки розеток, но такое решение занимает стоечные юниты.

Не стоит забывать про ваши требования к резервированию электропитания. Внутри нашего ЦОДа построена схема 2N: 2 полные параллельные системы энергоснабжения, в которых дублируется каждый элемент. Применительно к стойке это означает, что в неё приходит два независимых ввода к двум PDU, и оборудование подключено таким образом, что полное отключение одного никак не влияет на работу инфраструктуры. 

Несколько дополнительных рекомендаций: 

• Планируйте размещение оборудования с открытыми оптическими разъемами наверх стойки, это снизит их загрязнение пылью. 

• Не стремитесь к самому плотному из возможного размещению оборудования – на каждый юнит. Оставляйте юниты под внеплановое масштабирование в будущем и под горизонтальные органайзеры.

• Используйте широкие стойки, с возможностью размещения вертикальных блоков розеток и дополнительным местом для вертикальной укладки проводов. 

• В план должно быть вписано не только сетевое и вычислительное оборудование, но и вспомогательное, если оно занимает место в стойке: полки, АВРы, телефоны, органайзеры, камеры, а также пустые юниты.

• Стремиться к тотальной детализированности схемы при этом не стоит – чертить укладку силовых кабелей и патч-кордов не надо, достаточно просто описать общие принципы кабель-менеджмента в пояснительной записке. Вертикальные PDU, кстати, рисуют тоже далеко не все. 

• Тяжелое оборудование лучше размещать внизу стоечного шкафа.

• Кстати о тяжести. У стоек есть понятие несущей способности – сколько килограмм оборудования может выдержать конкретная стойка. Будет нелишним прикинуть массу вашего оборудования и сопоставить его с несущими способностями ваших серверных шкафов.

В итоге у вас должна получиться схема стойки, похожая на приведенную ниже, и в придачу к ней пояснительная записка с общими принципами кабель-менеджмента, например: силовые кабели прокладываются по левую сторону стойки, патч-корды по правую, красные патчи подключаются в первую сетевую карту, синие – во вторую, фиксация проводов осуществляется только определенным образом… И так далее. 

Также в пояснительной записке обязательно требуется указать, куда какое устройство будет подключаться по сети и по питанию.

Пояснительная записка играет роль более важную, чем может показаться на первый взгляд. Серверную стойку можно собрать хорошо один раз, но без описания правил монтажа каждое новое действие в стойке будет вносить путаницу и беспорядок. 

Шаг 2. Составление списка расходных материалов

Для инсталляции оборудования и его подключения вам понадобится определенная номенклатура материалов. Составьте этот перечень заранее, и позаботьтесь о доставке всех расходников до начала работ по установке. Вот список, с которого стоит начать: 

• Крепеж для оборудования. То, чем крепятся ваши ИТ-балалайки к направляющим стойки. Большинство моделей прикручиваются через крепеж “винт-гайка-шайба” (на фото внизу), но некоторые модели оборудования монтируются только с помощью своего собственного крепежа (а есть рельсы, не требующие крепежа вообще) – уточняйте это у поставщика. 

  

• Бухта витой пары. Для патч-кордов нестандартной длины. 

  

• Готовые кабели разной длины: патч-корды Ethernet и другие, например, оптические. Использование готовых кабелей вместо витой пары здорово сэкономит вам время. 

• Коннекторы RJ-45 для обжима витой пары.

• Инструмент для обжима витой пары и тестер, чтобы проверять получившиеся кабели. 

• Силовые кабели разной длины, с подходящим разъемом розетки и надлежащим сечением. Помните – чем больше мощность блока питания сервера, тем больше должно быть сечение силового кабеля! Разъемы розеток подбираются в соответствии с разъемами в оборудовании и в PDU. Ниже приведены фото и названия самых распространенных разъемов:

• Принадлежности для маркировки. Опыт показал, что пластиковые клипсы для обозначения проводов (на фото внизу) не слишком удобны, поэтому рекомендую использовать только бумагу. 

Мы используем принтер Brady с виниловыми этикетками для маркировки кабелей и принтер наклеек Brother для всего остального. 

• Принадлежности для укладки проводов: горизонтальные и вертикальные органайзеры, стяжки, патч-панели и кабелепроводы. 

• Инструменты для работ: шуруповерты, отвертки, кусачки, ножницы и так далее. 

• Рабочее место для хранения всего вышеописанного: комната, стеллажи, верстак, антистатический коврик и т.д.

Несколько дополнительных рекомендаций: 

• Нет большого смысла экономить на СКС и кабелях питания – по сравнению с остальным оборудованием их стоимость невысока, а срок службы, наоборот, долог. Много сэкономить не удастся, а вот заиметь проблем из-за дешевого некачественного кабеля легче легкого. 

• Вместо пластиковых хомутов-стяжек рассмотрите покупку многоразовых липучек, они намного удобнее. 

• Рельсы и крепления, на которые ставится девайс в стойку, могут выйти из строя, потеряться или прийти бракованными. Возможно, имеет смысл закупить несколько запасных комплектов. Резерв нужен, чтобы не терять времени попусту – да, брак вы поменяете по гарантии, но замена будет идти какое-то время, важно не допустить простоя.

Шаг 3. Установки стойки

После составления плана и закупки всех расходников можно дождаться доставки стоек. Ничего сложного в установке нет, просто следуйте инструкции, работайте минимум втроем, открывайте только те заглушки и крышки, которые необходимы вам для заведения в стойку кабелей. Чем меньше посторонних отверстий – тем эффективнее воздушный поток будет охлаждать оборудование. Кстати, лучше использовать стойки с цифрами юнитов, подписанными краской – как на фото ниже. Обозначения на наклейках сдираются или облетают со временем, а выштампованные на металле цифры плохо видно. 

Тут же можно осветить вопрос установки и подключения PDU, а также организацию кабелепроводов. 

Удобнее всего инсталлировать PDU в стойку в первую очередь. Подключается в сеть дата-центра PDU через вилку IEC-309 (или “груша”), при подключении будет слышен характерный щелчок. В стойке серверные блоки розеток размещаются либо по бокам на стандартные крепления (вертикальные PDU), либо просто ввинчиваются в стойку как обычное оборудование (горизонтальные PDU). 

Кабелепроводы не следует размещать слишком высоко во избежание нагрева — весь теплый воздух будет под потолком. 20-30 сантиметров от крыши стоек будет оптимально. 

Дополнительные рекомендации: 

• Не забывайте заземлять стойки. 

• Сразу после установки блоков розеток в стойку  можно установить органайзеры для вертикальной организации кабелей питания и сетевых патчкордов в серверной стойке, установке оборудования они не помешают. 

• Если это необходимо, отрегулируйте монтажную глубину стойки, передвигая направляющие.

Шаг 4. Установка оборудования

Пожалуй, главная часть нашего Марлезонского балета. В нашем ЦОДе сложился определенный порядок установки железа: 

В первую очередь призываются устанавливаются PDU и вертикальные органайзеры, затем сетевое оборудование, АВРы (при необходимости), и уже потом серверы. 

Устанавливаются серверы от первого юнита к последнему, то есть снизу вверх. 

Закреплять оборудование необходимо полностью, не пропуская отверстий в рельсах. 

Не допускайте перекоса рельс и оборудования, следите за соответствием юнитов на передних и задних рамах крепления. 14-ый юнит спереди — 14 сзади и т.п. 

Серверы должны задвигаться в стойку легко и плавно. Примерно в середине движения по рельсам большинство моделей серверов встанет на предохранительный упор. Сдвиньте предохранительную защелку и задвигайте сервер до конца в стойку. 

В конце необходимо неподвижно зафиксировать сервер в стойке при помощи болтов. 

Обязательно обращайте внимание на движение воздушного потока при установке оборудования – он идет из холодного коридора в горячий через ваше оборудование. Собственно, ваше оборудование и делает из холодного воздуха горячий (неожиданно, правда?).

Так вот, внутри большинства оборудования в стойке установлены кулеры, прогоняющие воздух внутри корпуса устройства и охлаждающие его. Воздушный поток, который они создают, также имеет определенное направление. Важно, чтобы кулеры оборудования гнали воздух правильно – из холодного коридора в горячий. 

Дополнительные рекомендации:

• После установки всё оборудование должно быть зафиксировано на месте. 

• После установки закройте все юниты, в которые не было установлено оборудование, заглушками со стороны холодного коридора. 

• Оборудование в стойке без штатных креплений, например, сервер без рельс, просто положенный на другой – нехорошая история для рабочих нагрузок.  

Шаг 5. Подключение и маркировка

После установки оборудования в стойку его требуется подключить и промаркировать. В некоторых случаях процесс подключения и маркировки лучше совместить с установкой, то есть инженер действует в такой последовательности:

а) устанавливает сервер, 

б) подключает его по питанию и сети, 

в) маркирует сервер и кабели, 

г) переходит к установке следующего сервера. 

Процесс подключения особых сложностей не вызывает – знай себе втыкай до щелчка да проверяй, что пинги пошли и нагрузка по электричеству соответствует норме. Всегда проверяйте плотность контакта вилки с розеткой! Неплотный контакт провоцирует нагрев, это, в свою очередь, повышает вероятность возгорания. 

С маркировкой присутствуют некоторые нюансы. Так или иначе, должны быть нанесены следующие виды маркировки: 

На сервер:

• Номер сервера, с обеих сторон – обязательно

• MAC-адрес, номера блоков питания, номера корзин в дисках, серийные номера дисков, установленные в слоты сервера – опционально.

На другое оборудование: коммутаторы, PDU, АВР:

• Также номера для опознавания.

На кабели: 

• На силовые кабели должны быть нанесены наклейки с указанием запитанного сервера (коммутатора, АВР и т.д.), номера его юнита, номера блока питания, в который приходит кабель, а также номер PDU и номер розетки, от которой приходит кабель. Естественно, наклейки должны быть размещены на обоих концах кабеля – и у розетки, и у сервера. 

• На сетевые кабели также должны быть нанесены наклейки с указанием сервера подключения, его юнита расположения, номера сетевой карты, в который приходит провод. Также должны присутствовать номер сетевого коммутатора, юнит его расположения и порт, откуда идет кабель. 

Опыт показывает, что маркировка – наиболее скучная работа из всего процесса rack-менеджмента, но без нее не обойтись. В любом ЦОДе проводов буквально выше крыши, и в большинстве случаев сразу непонятно, куда какой ведет. При этом в случае запроса клиента (или того серьезнее – в случае аварии) времени на перебор пучка проводов в поисках нужного не будет. Для быстрой идентификации проводов необходимо использовать маркировку. 

На картинке выше приведен пример макета кабель-флага для маркировки сетевого патч-корда. На верхней стороны приведены данные, к чему подключен патч-корд – номер сервера, его расположение и номер порта сетевой карты. На нижней стороне приведены данные, от чего ведет провод – коммутатор, его расположение и номер порта. 

Маркировать можно несколькими способами: наклейками на виниловой основе, самоклеющимися бумажными стикерами, термоусадочными трубками, кабельными стяжками с бирками и термоэтикетками. В настоящий момент мы используем маркировку термоэтикетками и виниловыми наклейками, это наиболее удобные решения. 

Дополнительные рекомендации: 

• Заранее продумайте систему нейминга для маркировки и зафиксируйте ее в пояснительной записке при составлении плана, чтобы избежать путаницы и разночтений. Должно быть понятно, что как маркируется и какой аббревиатурой обозначается. Аббревиатуры для обозначения оборудования должны быть уникальными, чтобы не путать их между собой.

• Маркировка – обязательный элемент rack-менеджмента. Она должна быть внедрена в процесс развертывания ИТ-инфраструктуры с самого начала. А если в начале про нее забыли, а на середине вспомнили, то потребуется втрое больше усилий, чтобы промаркировать уже работающую систему. 

Шаг 6. Обслуживание

После того, как оборудование установлено, подключено, админы прогнали все диаги и запустили оборудование в работу, бóльшая часть работы у сетевого инженера сделана, но кое-что еще остается. В двух словах — стойки и серверы надо периодически чистить, менять термопасту, следить за температурой и влажностью. Все остальные действия совершаются по мере необходимости, я говорю о замене комплектующих (ОЗУ, блоки питания и т.п.). Если что-то вышло из строя и требует вмешательства – оборудование даст соответствующий аларм, тогда и будет проводиться замена. Есть понятие плановой замены – в этом случае поступает уведомление от коллег из техподдержки. 

В целом, касательно оборудования в дата-центре можно придерживаться общего правила: если оборудование работает, нет нештатных ситуаций и не подходит время планового обслуживания – не трогай это оборудование. 

Чистку стоек и серверов в ней целесообразно, на мой взгляд, выполнять промышленным пылесосом не реже, чем раз в полгода. Операция крайне несложная – подходишь к стойке и мягкой насадкой аккуратно проводишь по каждой “железке”. Потом повторяешь с другой стороны стойки. Важно, чтобы в момент уборки за состоянием серверов следили админы, чтобы просигналить в случае нештатных изменений, в этом смысле уборка – командный спорт. 

При изъятии оборудования из стойки стоит проводить продувку и замену термопасты — не реже, чем раз в год. Продувку можно делать как пневматическим баллончиком-очистителем, так и электрическим компрессором.

 Особое внимание следует уделить блоку питания. Разбирать его не надо – так можно потерять гарантию на оборудование, а вот продуть снаружи стоит.

Дополнительные рекомендации:

• Используйте качественную термопасту, наносите на процессоры тонким слоем, используя штатную лопатку. 

Шаг 7. Аудит

Не лишено смысла ввести в производственный процесс практику периодических проверок порядка в машинном зале – скажем, раз в месяц. Помимо выявления ошибок в установке оборудования и укладке СКС, регулярные проверки состояния ваших стоек позволят, например, быстро определять возможности дальнейшего масштабирования инфраструктуры. Под термином “аудит” в данном случае не нужно понимать заказ дорогостоящей экспертизы у профильных компаний (хотя и это иногда нелишне), а просто определенную процедуру внутри компании по сбору, анализу и оценке изменений в аппаратной инфраструктуре. 

Не надо думать, что простой осмотр стоек не может выявить никаких ошибок. При установке серверов “оптом” по несколько десятков за раз инженер может допустить невероятные по глупости просчеты – наверное, число случаев в мире, когда сервер с двумя БП подключается в один луч питания, уже исчисляется тысячами. Чтобы увидеть такую ошибку, иногда достаточно просто внимательного взгляда.

Заключение

Вышеописанные 7 шагов – неплохое начало знакомства с искусством организации аппаратной части ИТ-инфраструктуры. Эти тезисы – не универсальное решение, но дают хорошее общее представление об эксплуатации стоек как о процессе. 

Также мне будет интересно узнать, какими решениями пользуетесь вы.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.