Всем привет! Предыдущие публикации habrahabr.ru/post/320300, habrahabr.ru/post/321226, habrahabr.ru/post/322192. В очередной раз получается большая пауза между публикациями. Очень хочется её сократить, но пока никак не удаётся. Буду над этим работать. Сегодня затронем ряд вопросов, которые задал нам один из наших читателей. Вопросы действительно важные и достаточно интересные. Спасибо Вам большое. Вообще хочется всех поблагодарить, и тех, кто читает, и тех, кто участвует в обсуждении, все комментарии воспринимаются объективно и принимаются во внимание. Итак, сегодня мы коснёмся планировки нового ЦОД, настройки сети и серверов, каналов связи и их организации на территории завода, а также изменения, которые мы внесли в конструкцию ДГУ.image
В прошлой публикации habrahabr.ru/post/322192 мы остановились на том как самостоятельно приступили к планировке и ремонту помещения. На наведение порядка, вывоз мусора, ремонт своими силами, ушло где-то три месяца. Вначале я делал один из серверных залов, чтобы перенести часть оборудования туда и так как имел ограниченный бюджет, делал всё сам, одновременно работая с клиентами. Всё это конечно наложило определённый след на сроки переезда. Уже после, сделав один из залов, я перевёз туда оборудование, настроил его и приступал постепенно к дальнейшему ремонту. Вот так, в течении трёх месяцев, я привёл всё в порядок.
Итак, из каких помещений состоял наш новый ЦОД? Распланировать наше помещение мы решили следующим образом: на 70 кв. м. располагались два серверных зала 20 и 25 кв. м. В одном из залов находились стойки с оборудованием, в другом размещалась техподдержка. Также отвели помещение для одного из наших генераторов, менее мощного. Кондиционеры и второй генератор находились за пределами ЦОД, но на нашей территории. Вот в принципе и всё, что мы могли себе позволить разместить на 70 кв. м. В последствии, благодаря договорённостям мы добавили ещё 15 кв. м., освободили вторую серверную и техподдержка переехала именно в эту комнату 15 кв. м., освободив место для расширения. Так через некоторое время второй зал был занят оборудованием. Мы не всё фотографировали, потому что в тот момент ещё не было мыслей что-то рассказывать о нас, даже не представлял, что это можно вот так сделать. Но вот выложу что есть, чтобы примерно имелось представление как было до и становилось после.
image

image

image
Как я уже писал, на новую площадку закупали всё новое. Со средствами пожаротушения мудрить ничего не стали, решили пока остановиться на противопожарных модулях, о которых было написано в прошлых публикациях. Это потом, впоследствии, мы уже стали использовать другую противопожарную систему, об этом позже и вы поймёте почему очень скоро. Про ИБП, ДГУ и кондиционеры я писал тоже в прошлой публикации, а вот про АВР ни слова. Учитывая ошибки прошлых лет, к этому вопросу мы подошли более серьёзно. На этот раз воспользовались услугами компании из нашего города и нам собрали АВР по нашему проекту. Потрачено было около 40000 рублей. Вот его фото.
image

image

Также мы добавили аварийное освещение. Не смотря на гарантированное энергоснабжение, мы решили приобрести светильники аварийного освещения. Мало ли что… Такой светильник является автономным, в случае прекращения подачи электроэнергии светильник переходит на работу от встроенного аккумулятора. Так не разу не пришлось воспользоваться ни аварийным освещением, ни противопожарной системой.
Для переезда на новую площадку нам было необходимо приобрести другой маршрутизатор, достаточно профессиональный. Опять же в целях экономии купили бывший в употреблении, потратив около 100000 рублей. Новый такой стоил порядка 1000000 рублей. Чувствуется разница, правда?
image

Нужно было его настроить, с этим пришлось повозиться. Необходимо было сбросить старый пароль. Двое специалистов пытались это сделать, но ничего не вышло. Я так и не понял почему, видимо не работали с подобным железом. Пришлось разбираться самому. Оказалось, ничего сложного, поработал с поисковиком, нашёл решение и сбросил пароль. А вот для дальнейшей настройки пришлось пригласить посвященного человека, так как я объективно смотрел на вещи и не надеялся на свои возможности в данном случае. Он-то всё и сделал. Для того чтобы начать перенос виртуальных серверов мы между площадками проложили волокно, точнее взяли в аренду на время. Нужно было чтобы они взаимодействовали. Я такое не разу не делал, забегая вперед скажу, что с какими-либо трудностями столкнуться не пришлось. Работали два маршрутизатора, виртуальные сервера мы перенесли по сети, и клиенты даже не заметили этого. А физические приходилось отключать и перевозить. С каждым клиентом индивидуально договаривались, учитывая, когда ему будет удобно отключиться. Иногда получалось объединять в один временной промежуток по 10 серверов. Перевозил на своём легковом автомобиле. В среднем время отключения на каждого клиента занимало около двух часов, благо площадки, в рамках нашего города, находились недалеко друг от друга, на расстоянии 5 км. Переезжали где-то около месяца, так как повторюсь, учитывали время и возможности клиентов. В основном всё это происходило ночью. По настройке серверов сказать особо нечего. Так как оборудование б/у, если чего не знали, смотрели в интернете рекомендации и делали самостоятельно. Теперь что касаемо интернета… По интернет- провайдерам, завод предлагал своих операторов по совсем уж заоблачным ценам. Мы обращались к конкурсному управляющему, который отвечал за эти вопросы. Аудиенцию у него очень было сложно получить, в итоге мы с ним так и не встретились. IT-отдел отказывался, чтобы мы подключали своего оператора. В конце концов наше упорство было поощрено, и мы воспользовались услугами оператора с предыдущей серверной и завод взял лишь деньги за крепление кабеля к объектам.
Теперь по генератору. В ДГУ нам пришлось внести незначительные изменения в конструкции, для удобства обслуживания и работы, сейчас расскажу почему и что было сделано. При включении аварийного энергоснабжения и запуске ДГУ двигатель не заводился самостоятельно. По всей вероятности, причиной этого было попадание воздуха в систему. Приходилось вручную подкачивать топливо, а помпа ручной подкачки находилась в очень неудобном месте, плюс шаг был ну очень маленьким, всего 1 см. Не понятно, почему так неудобно было всё сделано. Это нас не устраивало, да и ненадёжно как-то. Пообщались с людьми, который сталкиваются по роду своей работы с дизелями и пришли к выводу, что нужно поменять помпу ручной подкачки, а также перенести её в другое, более удобное место.На фото как раз видно где располагается старая, фабричная помпа
image

Мы решили не экономить и приобрели помпу иностранного производства, а также заменили топливные шланги на прозрачные, чтобы можно было наблюдать наличие топлива. На фото как раз видно новую помпу и общий вид, где располагалась старая и где теперь новая.
image
Стрелочками как раз указано-вверху расположение фабричной помпы, внизу новая.
image
Ну и конечно решили увеличить время запуска зажигания до 15 секунд. Это оказалось очень удобным решением. С проблемой мы справились, ДГУ заводится с пол оборота и по сей день, при необходимости. Но эта необходимость возникает крайне-крайне редко. Ну вот пока и всё, будем готовить следующий материал. Всем удачи и всего хорошего. До встречи. Продолжение следует……
Поделиться с друзьями
-->

Комментарии (13)


  1. ifaustrue
    22.03.2017 12:04

    Коллега, судя по вёрстке, склейке и потерянным фотографиям, пост вылетел в паблик случайно. Выйдите из класса и зайдите как положено верните в черновик скорее.

    не пишу в ЛС потому, что 1) до них не добраться через нормальные места в интерфейсе 2) уведомления от них не видны сходу (или мне не видны).


    1. admanvladimir
      22.03.2017 12:30

      Да, спасибо большое, благодаря вам все исправил, а то всё делается быстро и в спешке.


      1. ImmortalCAT
        22.03.2017 17:11

        А что исправили?
        Просто текст без оформления… Будто накидали фото и текст, даже отступ у абзаца украл НЛО


        1. admanvladimir
          22.03.2017 17:14

          Возможно вы не видели ошибок, которые были мною допущены ранее.Не понимаю цели вашего комментария, поясните пожалуйста и я обращу внимание? Вам неудобно читать и режет глаз?


  1. old_bear
    22.03.2017 14:40

    Смущает (с точки зрения пожарной безопасности) использование пенопласта.


    1. admanvladimir
      22.03.2017 16:08

      Возможно и нас бы смущало, если бы не один факт.Во-первых, это не воспламеняющийся пенопласт из стиропора особой марки, хорошо вылежанного. когда пенопласт хорошо полежит, его горючие свойства изчезают. Особенно этой марки. Под воздействием огня, он только уседает, но никак не горит. И во-вторых, им утеплена наружняя стена комнаты техподдержки, она никак не соприкасается с серверной.Всего использовано четыре листа.


  1. heleo
    22.03.2017 18:41

    Крайне занимательно, ничуть не хуже чем читать про развёртывание ЦОД более «крупного» формата)
    А как у Вас обстоят дела с резервированием каналов связи? Что с внутренней сеть?


    1. admanvladimir
      23.03.2017 08:26

      Спасибо. У нас на тот момент было три канала связи.


      1. admanvladimir
        23.03.2017 08:38

        В каждую стойку ставим 1 свитч. Каждая стойка подключена к ядру 2 кабелями. В случае выхода из строя свитча в стойке, меняем его на запасной со склада.


  1. MonstreekS
    23.03.2017 07:39

    четыре статьи про генератор, пару строк и картика ужаса древнючей циски и то без описания которая дешевле 100 тысяч рублей стоит даже если брать на nag (хотя даже там уже такого древнюго железа нет), там вроде SUP2-2GE как мозги (в дц не будет bgp fullview или этот ящик брался для роли коммутатора) судя по C6500-SFM. Остальне линейные платы тоже древнючие что древнее старых.

    По поводу каналов к «датацентру», непонятно, там всего один пров, а где резервирование? Дадут ли еще один кабель прокинуть через другие столбы?


    1. admanvladimir
      23.03.2017 08:25

      Фотографии сделаны в 2012 году в момент ремонта, возможно по этой причине вы увидели один кабель. Мы пишем про то как создавался, а не про то как есть сейчас, и с какими, на первый взгляд, невидимыми трудностями нам пришлось столкнуться, чтобы было понятно, с чего мы начали и к чему пришли за это время.Повествование на этом не закончено.мы дойдём ещё до того, что мы имеем сейчас.Соответственно, оборудование, которое вы видите покупалось именно в то время и цены указаны на время описания.На фото Cisco отключена. До нее у нас вообще был софтовый маршрутизатор на Linux. Да оборудование слабое, старое и не дорогое, но оно надежно работает. Принимать FV у нас не было необходимости (до 150000 маршрутов принимали на эту Cisco), принимали обычно маршруты с пирингов, а весь дефолт шел на другого провайдера.
      У нас даже в самом начале сразу было 2 оператора, после переезда их было три. Ввиду отсутствия портов SFP в циске и желании сэкономить на электричестве (каждая лишняя плата в Cisco потребляла до 300 ватт в час), некоторые операторы подключались через свитчи по SFP и потом по ДЦ витой парой в эту Cisco.
      В маршрутизаторе был только один управляющий модуль (настроить на двух модулях у нас не получилось), запасной модуль лежал на складе на случай проблем с первым.


  1. TechLodge
    30.03.2017 07:18

    Здравствуйте. Очень нравится Ваш цикл статей о развитии ЦОДа.
    Хотелось бы в будущих статьях увидеть больше технических деталей касаемо IT-инфраструктуры, а также более подробное описание финансовой части (если это не коммерческая тайна).
    Можете более детально осветить затраты на каналы связи у провайдеров, аренду IP подсетей?
    Сколько примерно времени после переезда потребовалось чтобы Ваш ЦОД вышел на уровень окупаемости?
    Были ли DDos-атаки, как боролись на старте, и как решаете сейчас? Используете аппаратное решение в своем ДЦ или фильтруете трафик пользуясь услугами других провайдеров?


    1. admanvladimir
      30.03.2017 07:20

      Добрый день!
      Спасибо большое.Обязательно коснёмся ваших вопросов в следующих публикациях.