Кто мы и почему решили поделиться опытом

Здравствуй, дорогой читатель.

Моя команда занимается технической поддержкой вычислительного комплекса двух государственных информационных систем федерального значения в ЦОДах, расположенных в двух субъектах РФ

За время, которое мы посвятили любимому делу, было накоплено достаточно опыта (шишек), которым я и хочу поделиться.

Казалось бы, вопрос выбора стойки важен только тем, кто будет заниматься непосредственно монтажом, коммутацией и дальнейшей эксплуатацией этого хозяйства. Но на практике, если стойка, которую вы выбрали, под нагрузкой «сложится, как карточный домик», то это уже станет головной болью как для прикладных администраторов, так и для самих пользователей системы.

Но если вы заселяете своё железо в чью-то "коммунальную квартиру", то можете расслабиться и поискать рекламу о хороших collocation. Остальным приятного чтения.

В моём понимании стойка для дорогого оборудования - это монументальное творение, которое должно выдержать в одиночку обрушение ЦОД и прочие невзгоды, сохранив вверенные ей ресурсы.

Согласитесь, "неприятно" зайти в ЦОД и увидеть, как стойка решила принять горизонтальное положение.

Наши "грабли"

Ужесточить свои требования к вендорам стоек пришлось нам после того, как в один из обычных дней, когда мы занимались рутинным обслуживанием серверов, они начали осыпаться на пол, как осенние листья. От полного краха нас спасла быстрая реакция и достаточная физподготовка, благодаря которой все продуктовые системы остались в строю.

— Босс сервер упал!

— Так подними его!!

— Это немного сложнее, чем кажется...

А проблема в следующем: рельсы этих серверов, представляющие собой Г-образный профиль, не имеют физического соединения с самим сервером и держат его лишь на своих неглубоких выступах. Кроме крепления передней части сервера двумя болтами, других крепёжных элементов не предусмотрено. Такой конструктив позволяет, при небольшом смещении сервера вбок, противоположной стороне свалиться со своего посадочного места. А естественная деформация стойки от веса и температуры позволили этому случиться.

В качестве решения такой проблемы было выбрано связывание стоечных направляющих специальными планками, которые не дают им расходиться и могут принять вес серверов на себя.

Домик Ниф-Нифа

Подорожание металла, в определённый период нашей истории, тоже сказалось на качестве исполнения стоек у некоторых производителей. Оказалось, что можно делать так:

Или так, что, после загрузки нижних юнитов, в верхние уже ничего не помещается, т.к. направляющие свернулись в дугу и сервер просто невозможно втиснуть в данную ширину.

Поэтому, берём на вооружение следующее: перед покупкой просим показать действующий образец, максимально загруженный оборудованием, или устроить экскурсию на завод, где пробуем согнуть руками весь металл, до которого нам разрешат дотянуться.

Высота имеет значение

Если вы не «вкинули» на старте в проект килотонны денег, а развиваетесь постепенно, то и ваш машзал будет заполняться по мере роста проекта. А это приводит к тому, что и все новые стойки, вероятнее всего, будут отличаться от уже установленных. И если по ширине они будут идентичны, то реальная высота ограничена только фантазией проектировщика.

Сейчас в нашем машзале несколько видов стоек, и отличие по высоте составляет от одного до десятков сантиметров при одинаковом количестве юнитов.

Это не было бы проблемой, но в большинстве ЦОД применяется система изоляции холодных/горячих коридоров и для её реализации требуется полная герметизация коридоров одного вида. Современные решения позволяют компенсировать перепады высот стоек путем установки специальных заглушек, а как это будет выглядеть на практике нам ещё только предстоит узнать на собственном опыте в этом году.

Когда с российского рынка массово начали уходить зарубежные производители телекоммуникационного оборудования, мы плотно задумались о максимальной утилизации имеющихся у нас сетевых портов. И если до их ухода, мы чаще использовали стойки высотой 42U, то после пришлось переходить на 48U. При использовании 2U серверов - этот переход позволил нам увеличить объем подключаемых серверов в наши Leaf с 39 до 45 серверов. А при наших объемах, это десятки дополнительных серверов, которые мы "бесплатно" подключили к сети.

НО! В дополнение к этому появилась острая необходимость в парнях с баскетбольным прошлым, т.к. даже при росте в 182 см обслуживать верхние юниты без дополнительных приспособлений очень непросто.

А что с шириной?

Вернусь к плотности размещения оборудования в машинном зале. Большинство наших стоек имеет ширину 750 или 800 мм. Нет никаких сомнений, что при использовании стоек шириной 600 мм, плотность размещения будет самой высокой. Только вы не угадаете с чем придётся столкнуться при реальной эксплуатации.

Нам "повезло" выполнить замену всего парка коммутаторов другим вендором и есть обоснованное мнение, что в узких стойках мы не смогли бы выполнить это с той же лёгкостью и меньшим даунтаймом систем. Так как «худенький» - не всегда хорошо.

Поэтому мы не рекомендуем использовать стойки шириной менее 750мм, только если вы не создаете систему, которая не будет нуждаться в модернизации и обслуживании, а как мы все знаем - такого не бывает.

Глубже!

Я рассказал о высоте и ширине стойки, осталось поделиться мыслями про глубину. Тут, конечно, нужно исходить из габаритов вашего оборудования, а также используете вы медь или оптику. Главное не забываем, что лишнее пространство всегда можно использовать с умом, а вот недостаток его компенсировать будет трудозатратно. Понятно, что большая часть кабельменеджмента будет приходиться именно на тыловую часть, и вот тут свобода позволит сделать вам всё максимально красиво и удобно.

Немного касаясь этой темы, скажу, что разнесение по бокам силовой и слаботочной части сделало наш кабельменеджмент более изящным.

Для себя же, мы сделали выводы, что глубина стоек при работе с медью – минимум 1050мм, а лучше все 1200.

Вентиляция стоек: всё просто и не совсем

Теперь рассмотрим вопрос вентиляции стоек. Мы обратили свое внимание на это, когда система мониторинга показала, что наше сетевое оборудование, которое углубленно внутрь стойки, начало нагреваться сильнее, чем должно в стандартном режиме.

Вариации подачи охлаждённого воздуха к оборудованию разнятся от ЦОД к ЦОД. В нашем случае это нагнетание в пространство фальшпола с выдачей в холодный коридор через перфорированные плиты. Воздух устремляется к потолку и всё, что оборудование успело захватить с передней части, вдувается в горячий коридор. При отсутствии системы изоляции коридоров мы получаем нежелательный эффект подсоса горячего воздуха. Это актуально для стоек с шириной более 600 мм и открытым типом стоечных направляющих.

Неплохим временным решением, до момента установки системы изоляции, будет установка импровизированных заглушек из металла или поликарбоната.

Нужны ли колёса?

И последняя капля опыта касательно наличия колёс у стоек:

1. Очевидно, что до момента загрузки оборудованием, их удобнее катать по машзалу без спецсредств;

2. Неочевидно - если вам неожиданно потребуется воткнуть широкую стойку в середину ряда, а даунтайм на пересборку всего ряда вам никто и никогда не согласует, то эти колёсики вас спасут (но мы, конечно, так никогда не делали)

   

3. Из категории «Основано на реальных событиях», у нас в планах перевезти 4 десятка активных стоек из одного машзала в другой. И тут без колесиков, было бы гораздо «веселее».

Заключение

Принимать решение, конечно, о выборе стоек вам предстоит самостоятельно. У каждого свой тернистый путь к опыту. Но не забывайте, что выбор стоек, как и выбор ЦОД – это фундамент для вашей будущей системы! И в этой статье мы хотели поделиться тем, через что нам пришлось пройти от самой первой стойки, до сегодняшнего дня, а это на секундочку - 300 активных стоек.

Спасибо, что вы здесь.

Автор: Ростовцев Владимир, Петров Александр