Переезд из ЦОДа в ЦОД или как положится на Мегафон, если очень кратно — переехали благополучно, второе — на Мегафон полагаться не стоит. А теперь К сути.
Здравствуйте уважаемые коллеги! Прежде всего я хочу Вас поздравить с прошедшим Новым Годом и Рождеством и в НГ пожелать Вам спокойствии и мирного неба над головой!
В то время, когда кто‑то праздновал, кушал салатики и веселился, мне было не до веселья, т.к. на утром 2е января был намечен переезд из ЦОДа в ЦОД, что накладывало существенные ограничение на количество выпитого согревающего (хотя я не пью), но так‑же распорядок дня 1го января. Нужно было перед выключением еще раз все проверить и перепроверить, но об этом чуть позже.
В ряде прошлых материалов, а именно: Выбор ЦОДа в Санкт‑Петербурге, практический опыт выбора, Переезд в ЦОД: Подготовка и Переезд в ЦОД: Как это было я затрагивал не только аспект выбора ЦОДа, подготовку к перееду и сам переезд.
В одной из последних статей Резервный ЦОД были выведены тезисы о том, что резервный ЦОД — это не только показатель зрелости компании, её уверенности в масштабировании ресурсов, безопасном хранении данных, но это и аспекты репутации компании перед акционерами, собственниками, партнерами и клиентами.
Так почему‑же мы опять переезжаем в ЦОД и не противоречит ли это стратегии по организации резервного ЦОДа? Ответ простой. Во‑первых — текущий ЦОД с Нового Года подложил свинью предложил нам платить почти вдвое выше, так, что переезд в новый ЦОД и платежи в новом ЦОДе полностью нивелировали это предложение. Во‑вторых, было принято стратегическое решение об открытии второго — резервного ЦОДа в Москве, и я считаю это правильным и знаковым решением, которое позволит по его реализации не только консолидировать разрозненные ресурсы в одном месте, но и обеспечить высокую доступность и отказоустойчивость в масштабах компании. Ну и третье ‑новый ЦОД находится всего в 5 минутах ходьбы от офиса и если кто‑то надеется, что он не будет ездить в ЦОД, или удаленные рука закроют все вопросы, он дико заблуждается, ездить придется, и чем он будет ближе от офиса — тем лучше.
Подготовка была разбита на несколько этапов:
— один из основополагающих этапов — организация каналов связи в новом ЦОДе, их интеграция в текущую инфраструктуру ЛВС. Сюда входит наличие в ЦОДе требуемых операторов связи, заранее продуманные и подготовленное задание на предоставление требуемых услуг. В моем случае, после стратегического решения о переезде в новый ЦОД этот этап начал формализоваться более чем за полгода. Не буду спойлерить, но если кто‑то будет проецировать картину своего возможного переезда и использует связь от Мегафона, хочу Вас предостеречь, это единственный оператор который облажался по полной, и не в первый раз (об этом чуть позже). Думаю Вам возможно в новом ЦОДе лучше присмотреться к другому оператору.
— подготовка поэтапного плана переезда, включающего ответственных за все этапы, демонтаж, монтаж, транспортная компания, страховка, подготовительные работы, остановка всех служб и серверов, СХД, верификацию запуска, наличие резервных копий и многого прочего
— не маловажно — согласование сроков переезда и вызванного им простоя с бизнесом, тут любимая бухгалтерия как обычно, была готова начинать подготавливать отчеты как можно раньше, чуть ли не с самого начала января. Для ЦОДа, который обслуживает группу компаний, с численностью сотрудников больше 2–3 тысяч, остановка даже в новогоднее праздники — это большая удача.
— непосредственна подготовка инфраструктуры самого ЦОДа к переезду, подготовленные стойко‑места, необходимая внутренняя и внешняя коммутация. В моем случае это было важно, т.к. стойки приходилось заказывать самим, т.к. стойки ЦОД мог предоставить, размазав их цену на ежемесячные платежи с соответствующей маржинальностью.
Ну, давайте приступим к самому интересному
Итак, 1го января мы начали штатное завершение работы систем и сервисов, остановку серверов. Еще 2го января я в 3 часа ночи я еще контролировал завершение выполнения резервного копирования баз данных, делал дополнительные копии, хотя на сон оставалось всего чуть‑чуть. В ЦОДе Linx мы были в 10 утра как штык.
Смеркалось Началось!
Первым делом в соответствии с составленной схемой размещения в старом‑новом ЦОДе была проведена дополнительная маркировка оборудования. Наверное, это можно было провести и раньше, но в декабре время так катастрофически не хватало, что этот момент пришлось делать на месте.
Без схемы никуда
Начался демонтаж стоек, на подготовленные заранее паллеты складывали сервера и СХД и вывозили, чтобы можно было как‑то пройти в общем проходе.
С транспортной компанией была договоренность, наш демонтаж‑монтаж, на их плечи упаковка, перенос до машины, безопасная перевозка, успокоительная страховка.
Тем временем стойки начали пустеть…
Немного отвлекусь, в какой‑то момент, ко мне подходит дежурный инженер Linx и говорит, что стоит ограничение на вывоз оборудования… Опа‑па… Мы половину уже разобрали, а за неделю до этого мы в тестовом порядке вывезти часть оборудования (согласно регламенту у меня был полные права на ввоз‑вывоз оборудования) а тут такое. До последнего не разбирали центральную коммутационную стойку, вдруг придется собирать) Ситуацию, конечно, разрулили, но осадочек, конечно, остался. Не хочется думать, что это какой‑то саботаж, по принципу заехать легко, а выехать… вот вам трудностей немного/много (нужное подчеркнуть).
Продолжаем, мы почти полностью демонтировали все оборудование, к этому времени подоспела транспортная компания с опытными специалистами по погрузке‑разгрузке‑упаковке. Упаковочный процесс у них явно отлажен и поставлен на поток.
Потихоньку наполнялся кузов серверовозки
По завершении шести проведенных часов в Linx, обернувшись в последний раз, глубоко набрав воздух и выдохнув, сказал — прощай)
Колесница с серверным оборудованием тронулась, не дай Бог что‑то случилось‑бы, страховка, конечно, это хорошо, но на период перевозки, все яйца были в одной корзине данные были в одном кузове газели, а на улице зима, гололед…. Мы скрестили пальцы, надеялись на опыт и благоразумие водителя и самостоятельно тронулись в новый ЦОД.
Некоторое ожидание и оборудование уже в машинном зале нового ЦОДа Гознак, к слову — единственного ЦОДа в СПб с двумя сертификатами Tier III Certification of Design Documents и Tier III Certification of Constructed Facility. Московские ЦОДы этому конечно не удивить. С точки зрения надежности, стабильности — уверенность в ЦОДе полная, но с точки зрения некоторого комфорта для клиентов… вопросы конечно есть, тот уровень комфорта к которому мы привыкли, попивая бесплатный разнообразней кофе в кофе автомате, наличие беруш, пластыри… эх(
На следующий день начался долгожданный хаос монтаж
В процессе монтажа появились первые потери ранения, пришлось обходиться подручными средствами.
Ближе к вечеру начала вырисовываются итоговая коммутация и конечные очертания содержимого стоек уже начинают приобретать законченный вид
К вечеру второго дня стойки выглядели так
Для ценителей звука:
Напоследок, если вдруг прибежит шеф и как в старом анекдоте, скажет — у Вас сутки для чтобы все вывезти все оборудование — проверено на практике, вывезти оборудование за день реально.
После завершения всех манипуляций будет еще длительный запуск оборудования, серверов, систем, тестирование цепочек интеграции и обменов.
P. S. Забыл самое интересное. Как я и сказал в начале, процесс подготовки начался за много месяцев до переезда. Знаете кому не хватает 5 месяцев чтобы организовать канал связи в ЦОДе, в котором оператор присутствует? Правильно — оператору Мегафон, знаете, кто много раз сдвигая сроки, клятвенно обещал, что успеет все организовать каналы связи, правильно — Мегафону. А знаете кто не справился с аналогичной услугой 5 лет назад, при переезде в Linx? Ну вы поняли, Мегафон. Слава Богу, что этот оператор не основной, а лишь организовывает L2 каналы я рядом филиалов, но все равно, не просто осадочек остался, а огромная поварёшка дегтя в бочке меда.
К чему я все это, наличие требуемых операторов связи в ЦОДе — важнейшей аспект переезда, а полагаться на то, что Мегафон выполнит подключение в установленный срок не советую, для себя я вывод сделал однозначный. Третьего шанса Мегафону я не дам.
Какой итог переезда в новый ЦОД? Первое — уже через месяц начнется подготовка к открытию второго ЦОДа, и второе — все сработано гладко и штатно, и из всех сотрудников лишь единицы знают о проделанной работе в то время, когда остальные проводили НГ праздники.
Открытие второго ЦОДа, организация связи и построение отказоустойчивости будет куда интереснее.
Всем удачи и стабильно работающих систем и сервисов!
Thomas_Hanniball
Если сократить время переезда до минимума, то появляется место для героического подвига по переезду из одного ЦОД в другой. Статья именно о подвиге.
Если переезд осуществлять максимально плавно, то никакой подвиг не нужен, т.к. всё происходит в рамках обычной рабочей активности.
P.S. У нас было 20 стоек и весь переезд занял 1,5 года. Всё прошло спокойно и гладко.
Yuriy_krd
Ну так статья же про подвиги...) Плавно переместить инфраструктуру - зачем?! Надо 1-го января делать бэкапы, а потом (как я понял) сложить их же в кузов машины, где было все оборудование и все данные. И в новогодние праздники подрываться и молиться (в статье - "скрестить пальцы"), чтобы все доехало в целости и сохранности. Эффект "автобуса" здесь, похоже, не учитывался...