В процессе деятельности компания по тем или иным причинам может поменять место своей дисклокации. При смене места дислокации необходимо перевезти оборудование серверной комнаты. Практически на всем пространстве СНГ в большей части случаев делается «на авось», без какого-либо продуманного плана. А в процессе переезда выясняется, что не хватает коммутационных шнуров, силовые розетки находятся с другой стороны и длины шнуров питания не хватает, контур заземления не оборудован и прочие мелочи, которые отнимают время. Ну и деньги. Что-то делать без плана — это во всех случаях очень дорого.
В этой статье изложен алгоритм перемещения серверной комнаты из точки А в точку B, с учетом всех пунктов этого сложного, но увлекательного процесса.
1. Будущая серверная комната
В этом пункте не буду описывать, какой должна быть серверная комната, где ее лучше располагать и прочие детали, которые описаны в стандарте TIA-569-C.
Для подготовки плана нужна следующая информация:
При наличии плана будущей серверной комнаты с размерами есть возможность схематического расположения серверных стоек, коммутационных шкафов и иного оборудования, которое планируется разместить в серверной комнате.
2. Провайдеры (ISP)
Планирование переключения интернет-каналов один из самых важных пунктов подготовки к перемещению серверной комнаты. Необходимо заранее проверить техническую возможность подключения каналов, согласовать с провайдером время и порядок подключения, заранее проложить линии связи в серверную комнату и проверить их работоспособность.
С провайдером связи необходимо согласовать время переноса фиксированных IP-адресов во время переезда.
3. Расположение серверных и коммутационных шкафов
Расположение серверных и коммутационных шкафов необходимо заранее спланировать. Наилучший вариант — нарисовать (пусть даже и от руки) схему расположения серверных шкафов в помещении. На схеме указать:
При перемещении этот план поможет без лишних затрат времени разместить серверные шкафы в помещении и приступить к монтажу оборудования.
4. Расположение оборудования в шкафах
Современные программы визуализации позволяют отобразить на схемах все, включая крепеж оборудования. В своей работе использую MS Visio. На схеме расположения оборудования указываются:
Очень важно учитывать размеры оборудования на этапе планирования. В практике был такой случай, когда ИБП (источник бесперебойного питания) не поместился в коммутационный шкаф по причине несоответствия размеров. Шкаф был глубиной 800 мм, ИБП — 1000 мм.
5. Лист коммутации
Один из самых важных пунктов подготовки. Лист коммутации позволит вам значительно сократить время запуска серверной комнаты после перемещения. Ниже приведен шаблон, который используется нами постоянно — при переездах серверных комнат, при наведении порядка в коммутационном шкафу и в повседневной деятельности. Согласитесь, что иметь под рукой схему подключения кабелей удобно.
6. Риски и пути их снижения
Несомненно, перемещение серверной комнаты, и даже одного сервера — это всегда риск. Начиная от статического электричества, и заканчивая повреждениями при транспортировке или погрузочно-разгрузочных работах. На этот случай необходимо составить таблицу возможных рисков, путей их уменьшения и обязательно аварийный план восстановления. Путем уменьшения рисков в первую очередь служит наличие актуальных резервных копий и их проверки на консистентность (целостность) непоредственно перед началом работ.
7. Временной график
Часто время на перемещение серверной комнаты ограничено. В процессе планирования необходимо составит график, где будут указаны следующие параметры:
Каждый пункт желательно детально расписать и назначить ответственного за тот или иной этап работ. Четкий график позволит сократить ненужные действия и красиво и органично выполнить работы.
8. Демонтаж оборудования
Перед началом работ по демонтажу оборудования необходимо провести инструктаж по соблюдению ТБ (техники безопасности) при проведении работ для всех вовлеченных лиц, включая водителей транспортных средств, которым будет поручена перевозка оборудования. Основная мысль, которую нужно донести до участников процесса — всегда есть время выполнить работу безопасно.
После проведения инструктажа по ТБ ответственное лицо обесточивает оборудование от сети электропитания. После дополнительной проверки на отсутствие электропитания начинается демонтаж оборудования.
В первую очередь отключаются силовые кабели. После отключения всех силовых кабелей настает очередь коммутационных шнуров. Нет никакой необходимости маркировать коммутационные шнуры при наличии заранее подготовленной таблицы коммутации.
Затем начинается демонтаж оборудования. Демонтируемое оборудование выносится за пределы серверной комнаты, чтобы не создавать неудобств в ограниченном пространстве.
Серверные и коммутационные шкафы выносятся в последнюю очередь.
9. Упаковка и траспортировка
Все демонтированное оборудование упаковывается специальной пленкой и укладывается в подготовленные коробки для перевозки. Системы хранения данных и серверы пакуются более тщательно, потому как накопители довольно чувствительны к вибрации и ударам.
Коммуникационное оборудование (маршрутизаторы, коммутаторы, точки беспроводного доступа и их контроллеры) допускается укладывать вместе, предварительно обернув их упаковочной пленкой.
В автомобиль оборудование укладывается в порядке разгрузки — по принципу первым загрузил-последним выгрузил. Так серверные и коммутационные шкафы загружают в первую очередь.
После прибытия оборудования на место установки, оборудование разгружается и укладывается возле серверной комнаты в порядке его последующего монтажа.
Серверные и коммутационные шкафы устанавливаются в заранее определенное место, выравниваются. Шкафы подключаются к контуру (проводнику) заземления.
10. Монтаж оборудования
Монтаж оборудования в серверные и коммутационные шкафы производиться в обратном порядке согласно схемы. Из практики оборудование устанавливается снизу вверх. Монтаж производится без спешки, аккуратно и осторожно.
11. Коммутация
Один из самых сложных этапов монтажа. Коммутацию оборудования необходимо проводить согласно подготовленному листу коммутации. До начала коммутации желательно подготовить коммутационные шнуры, сгруппировав их по длине. Коммутационные шнуры нужно укладывать аккуратно и сразу, не оставляя наведение порядка «на потом». На этот этап работы выделяется не менее 2 часов.
После завершения коммутации к оборудованию подключаются силовые кабели питания.
12. Запуск
Перед запуском проверить визуально и физически подключение силовых кабелей, так как непрочный контакт может послужить причиной выхода оборудования или его компонентов из строя. Проверить подключение контура/проводника заземления. После проверки включается ИБП (при наличии) или автомат на распределительном щите.
После подачи электропитания визуально проверяется запуск оборудования.
13. Проверочный список (check-list)
После подачи электропитания и загрузки серверов и иного оборудования ответственное лицо проверяет доступность систем и сервисов, каналов связи и прочих элементов информационной системы.
Хорошей практикой служит наличие проверочного списка (check-list), где будут указаны системы и параметры для проверки после запуска оборудования.
14. Включение системы охлаждения
После окончательной проверки не забудьте включить систему охлаждения, чтобы среди ночи не ехать в офис после уведомления системы мониторинга о превышении температуры воздуха в серверном помещении.
Подготовка четкого плана перемещения серверной комнаты позволит вам выполнить работы красиво и без спешки, принеся вам моральное удовлетворение от сделанного. Та же работа без плана, на авось — принесет вам много стресса, беспокойства и недовольство начальства. Выбор за вами.
Берегите себя.
В этой статье изложен алгоритм перемещения серверной комнаты из точки А в точку B, с учетом всех пунктов этого сложного, но увлекательного процесса.
1. Будущая серверная комната
В этом пункте не буду описывать, какой должна быть серверная комната, где ее лучше располагать и прочие детали, которые описаны в стандарте TIA-569-C.
Для подготовки плана нужна следующая информация:
- план серверной комнаты с указанием размеров
- расположение силовых розеток 220V
- расположение силовых розеток 380V
- наличие контура (провода заземления)
- наличие системы кондиционирования/охлаждения
- наличие системы контроля доступа
- размеры дверного проема
При наличии плана будущей серверной комнаты с размерами есть возможность схематического расположения серверных стоек, коммутационных шкафов и иного оборудования, которое планируется разместить в серверной комнате.
2. Провайдеры (ISP)
Планирование переключения интернет-каналов один из самых важных пунктов подготовки к перемещению серверной комнаты. Необходимо заранее проверить техническую возможность подключения каналов, согласовать с провайдером время и порядок подключения, заранее проложить линии связи в серверную комнату и проверить их работоспособность.
С провайдером связи необходимо согласовать время переноса фиксированных IP-адресов во время переезда.
3. Расположение серверных и коммутационных шкафов
Расположение серверных и коммутационных шкафов необходимо заранее спланировать. Наилучший вариант — нарисовать (пусть даже и от руки) схему расположения серверных шкафов в помещении. На схеме указать:
- место расположения
- размеры шкафов
- схему открывания дверей шкафа
- расположение силовых розеток
- схему прокладки коммутационных шнуров в случае удаленности шкафов более, чем на 2 метра.
- расстояние между стенами и шкафами с каждой стороны
При перемещении этот план поможет без лишних затрат времени разместить серверные шкафы в помещении и приступить к монтажу оборудования.
4. Расположение оборудования в шкафах
Современные программы визуализации позволяют отобразить на схемах все, включая крепеж оборудования. В своей работе использую MS Visio. На схеме расположения оборудования указываются:
- размеры шкафа в юнитах (U)
- схема расположения оборудования
- при необходимости схема коммутации
Очень важно учитывать размеры оборудования на этапе планирования. В практике был такой случай, когда ИБП (источник бесперебойного питания) не поместился в коммутационный шкаф по причине несоответствия размеров. Шкаф был глубиной 800 мм, ИБП — 1000 мм.
5. Лист коммутации
Один из самых важных пунктов подготовки. Лист коммутации позволит вам значительно сократить время запуска серверной комнаты после перемещения. Ниже приведен шаблон, который используется нами постоянно — при переездах серверных комнат, при наведении порядка в коммутационном шкафу и в повседневной деятельности. Согласитесь, что иметь под рукой схему подключения кабелей удобно.
6. Риски и пути их снижения
Несомненно, перемещение серверной комнаты, и даже одного сервера — это всегда риск. Начиная от статического электричества, и заканчивая повреждениями при транспортировке или погрузочно-разгрузочных работах. На этот случай необходимо составить таблицу возможных рисков, путей их уменьшения и обязательно аварийный план восстановления. Путем уменьшения рисков в первую очередь служит наличие актуальных резервных копий и их проверки на консистентность (целостность) непоредственно перед началом работ.
7. Временной график
Часто время на перемещение серверной комнаты ограничено. В процессе планирования необходимо составит график, где будут указаны следующие параметры:
- время на подготовительные работы
- время на отключение электропитания
- время на демонтаж оборудования
- время на упаковку и транспортировку
- время на монтаж оборудования
- время на коммутацию
- время на проверку перед запуском
- время на проверку после запуска
- время окончания работ
Каждый пункт желательно детально расписать и назначить ответственного за тот или иной этап работ. Четкий график позволит сократить ненужные действия и красиво и органично выполнить работы.
8. Демонтаж оборудования
Перед началом работ по демонтажу оборудования необходимо провести инструктаж по соблюдению ТБ (техники безопасности) при проведении работ для всех вовлеченных лиц, включая водителей транспортных средств, которым будет поручена перевозка оборудования. Основная мысль, которую нужно донести до участников процесса — всегда есть время выполнить работу безопасно.
После проведения инструктажа по ТБ ответственное лицо обесточивает оборудование от сети электропитания. После дополнительной проверки на отсутствие электропитания начинается демонтаж оборудования.
В первую очередь отключаются силовые кабели. После отключения всех силовых кабелей настает очередь коммутационных шнуров. Нет никакой необходимости маркировать коммутационные шнуры при наличии заранее подготовленной таблицы коммутации.
Затем начинается демонтаж оборудования. Демонтируемое оборудование выносится за пределы серверной комнаты, чтобы не создавать неудобств в ограниченном пространстве.
Серверные и коммутационные шкафы выносятся в последнюю очередь.
9. Упаковка и траспортировка
Все демонтированное оборудование упаковывается специальной пленкой и укладывается в подготовленные коробки для перевозки. Системы хранения данных и серверы пакуются более тщательно, потому как накопители довольно чувствительны к вибрации и ударам.
Коммуникационное оборудование (маршрутизаторы, коммутаторы, точки беспроводного доступа и их контроллеры) допускается укладывать вместе, предварительно обернув их упаковочной пленкой.
В автомобиль оборудование укладывается в порядке разгрузки — по принципу первым загрузил-последним выгрузил. Так серверные и коммутационные шкафы загружают в первую очередь.
После прибытия оборудования на место установки, оборудование разгружается и укладывается возле серверной комнаты в порядке его последующего монтажа.
Серверные и коммутационные шкафы устанавливаются в заранее определенное место, выравниваются. Шкафы подключаются к контуру (проводнику) заземления.
10. Монтаж оборудования
Монтаж оборудования в серверные и коммутационные шкафы производиться в обратном порядке согласно схемы. Из практики оборудование устанавливается снизу вверх. Монтаж производится без спешки, аккуратно и осторожно.
11. Коммутация
Один из самых сложных этапов монтажа. Коммутацию оборудования необходимо проводить согласно подготовленному листу коммутации. До начала коммутации желательно подготовить коммутационные шнуры, сгруппировав их по длине. Коммутационные шнуры нужно укладывать аккуратно и сразу, не оставляя наведение порядка «на потом». На этот этап работы выделяется не менее 2 часов.
После завершения коммутации к оборудованию подключаются силовые кабели питания.
12. Запуск
Перед запуском проверить визуально и физически подключение силовых кабелей, так как непрочный контакт может послужить причиной выхода оборудования или его компонентов из строя. Проверить подключение контура/проводника заземления. После проверки включается ИБП (при наличии) или автомат на распределительном щите.
После подачи электропитания визуально проверяется запуск оборудования.
13. Проверочный список (check-list)
После подачи электропитания и загрузки серверов и иного оборудования ответственное лицо проверяет доступность систем и сервисов, каналов связи и прочих элементов информационной системы.
Хорошей практикой служит наличие проверочного списка (check-list), где будут указаны системы и параметры для проверки после запуска оборудования.
14. Включение системы охлаждения
После окончательной проверки не забудьте включить систему охлаждения, чтобы среди ночи не ехать в офис после уведомления системы мониторинга о превышении температуры воздуха в серверном помещении.
Подготовка четкого плана перемещения серверной комнаты позволит вам выполнить работы красиво и без спешки, принеся вам моральное удовлетворение от сделанного. Та же работа без плана, на авось — принесет вам много стресса, беспокойства и недовольство начальства. Выбор за вами.
Берегите себя.
Crazyvlad
Обычно все-же переезд делается этапами (системами), если это не 1 стойка с железом.
и немного улыбнуло «расположение силовых розеток 380V». Тока на производстве такие видел.
Все-таки ИБП лучше включать через «автомат», а не через розетку. И нагрузку (каждый PDU) так-же включать через автоматы.
adolgopolov
Бесперебойники, от примерно 8000кВА, эффективнее запитывать от трех фаз. Отсюда и 380В.
Crazyvlad
Вы из через розетки подключаете или все-таки через автомат?
Vvka Автор
Как упомянуто мной в п.1 данной статьи — не будем расписывать правила организации серверной комнаты, так как эта не тема данной статьи. По умолчанию все силовые линии будь то серверная комната или санузел в квартире, подключаются через устройства защиты, в простонародье именуемые автоматами.
Crazyvlad
" И снова вынужден вас огорчить", нагрузку в санузле необходимо подключать используя УЗО, либо диффавтомат. А использование любых подобных средств защиты крайне не рекомендуется в серверных.
adolgopolov
Затрудняюсь с ответом, тк, не совсем понимаю что означает через автомат.
Поскольку чаще всего приходится использовать продукцию APC, для моделей от 5000кВА приходится вызывать электриков для подключения — у них только клемники.
Подключения, из того что видел, либо прямиком в щитовую, либо к клемнику на стене (в таком случае и правда сразу с автоматом было).
В обоих случаях в щитовой будет отдельный автомат.
Розетки на этом пути, ввиду характера нагрузок и практики использования, скорее всего лишние.
(По тексту статьи воспринял скорее как оборот речи)
Crazyvlad
Вот, вот. Да и для серверных с такой нагрузкой данная статья скорее всего вредна… Ибо проблемы переноса как инфраструктуры, так и ИС не затронут от слова совсем.
adolgopolov
Перемешение серверной комнаты, а не инфраструктуры.
С последним обычно все просто если есть "лишние" вычислистельные ресурсы, или их можно арендовать — в зависимости от используемых решений (все крайне зависит от используемых приложений, но в целом straightforward):
В зависимости от размеров и количества свободных ресурсов может занять от выходных и до...
Ну а если у нас какойто неведомый уникальный кластер/нет ресурсов — забэкапили, выключили, и повезли )
Shiva-TM
А можно увидеть модель такого ИБП с подключением в розетку на 380, именно в розетку.
Vvka Автор
Для информации розетки 380V
Модель ИБП — любая мощностью от 5 квт.
denco78
Так а все-таки.
Для чего подключать бесперебойник именно через розетку?
Автомат и розетка, как тут уже писали- разные вещи.
Автомат защищает сеть и нагрузку. Должны быть на всех линиях вне зависимости от того есть там розетка или нет. Розетка — обеспечивает легкое подключение и отключение переносного оборудования. Бесперебойники свыше 5 КВа не являются переносным оборудованием и подключаются стационарно.
Я вижу тут только один вариант — когда щит с автоматами находится черт знает где и недоступен. И в случае чего экстренно обесточить бесперебойник нечем.
Crazyvlad
Да ладно, я встречал и трехфазные розетки на стене у ИБП, электрики утверждали, что их так сисадмин просил. Но это быстро лечилось.
denco78
Ну у меня был один сисадмин, который 12-и вольтовый АКБ в бесперебойнике (обычный настольный на 700 ВА) подключал одной рукой и изолированными плоскогубцами. Думаю, в ваших случаях могло быть примерно тоже самое.
katzen
Вы далее пишете «… Должны быть на всех линиях ...» — значит, имеете в виду не автоматические выключатели в аппаратуре. Так вот автоматический выключатель, установленный в сети, а не в аппаратуре, защищает исключительно проводку.
denco78
Молодец, поймал :)
Согласен. Оговорился. :)
mrtippler
Когда на розетке (трехфазной) написано «380 вольт», имеется в виду напряжение между фазами. Каждая фаза при этом — 220 В.
Vvka Автор
Видимо вы не видели ИБП, которые требуют 380V. То, что все источники питания подключены через автомат — по умолчанию.
Crazyvlad
А вы видимо читать не умеете. Удивление вызывают трехфазные розетки в серверной.
Если инженер путает розетку с автоматом — это вызывает как минимум вопросы к его квалификации…
Vvka Автор
В наше время очень модно сомневаться в компетенции/квалификации другого человека не имея при этом собственной.
RStarun
Ибп может подключаться через розетку 380. Почему нет? Перед розеткой ставится автомат.
Pdu так же может подключаться через розетки к Ибп. Просто понятие 'розетки' у всех разное.