Мы в King Servers столкнулись с необходимостью сменить один из наших зарубежных дата-центров. ЦОД располагался в американском штате Калифорния, и искать новый нужно было в том же регионе. Сегодня мы расскажем о том, как прошел переезд, поделимся впечатлениями от него и дадим пару советов тем, кому еще только предстоит близко столкнуться с инфраструктурными площадками в США.

Зачем менять дата-центр

Развитие инфраструктуры компании постепенно привело к тому, что нас перестали устраивать условия нашего текущего дата-центра. Несмотря на то, что ЦОД имел стандарт Tier2, буквально за год мы столкнулись с рядом проблем, таких как пропадание питания в части стоек или полное падение интернет-канала.

Кроме того, площадка была не Carrier-neutral — на практике это означало, что услуги связи предоставляла лишь одна компания, которая и владела ЦОД. Поэтому в моменты сбоев на ее каналах, связь пропадала полностью, что не могло устроить ни нас, ни наших клиентов.

Взвесив все за и против, мы решились на миграцию инфраструктуры в новый датацентр, в котором было бы возможно использование двух независимых линий питания одновременно и подключение к нескольким провайдерам.

Процесс переезда

Оба дата-центра находились недалеко друг от друга, на расстоянии 20 км. Старый в городе Фримонт, а новый в Санта-Кларе.



Готовились к переезду основательно — заранее закупили расходные материалы, необходимые для монтажа серверов в стойки, новые кабели питания и патч-корды, чтобы сократить время на демонтаж в старом датацентре.



Запасы для переезда

Также установили второй роутер в новом датацентре и организовали одновременную работу наших сетей в обоих дата-центрах.

В итоге был разработан план, предполагающий поэтапный перевод инфраструктуры на новую локацию — так мы могли бы продолжить работу и не доставлять лишних неудобств пользователям.

Первоначально мы хотели воспользоваться услугами специализированной компании для перевозки оборудования, но в процессе переговоров с несколькими компаниями выяснили что они смогли бы перевезти наше оборудование либо крупными партиями с большим даунтаймом для клиентов, либо мелкими частями с минимальным даунтаймом, но цена при таких условиях значительно увеличивалась. В итоге было решено командировать нескольких наших инженеров через половину земного шара и выполнить работы своими силами. Даже с учетом перелетов, проживания и аренды транспорта такой шаг выходил в 2 раза дешевле, чем минимальный прайс от калифорнийских мувинговых компаний.

Первый этап работ включал выезд в старый дата-центр для оценки инфраструктуры — не все инженеры нашей команды бывали там раньше, а некоторые в последний раз приезжали пару лет назад, и за это время было проведено много различных работ сотрудниками дата-центра. Было необходимо проверить и монтаж оборудования — как оказалось с этим не все было так хорошо, как в наш последний приезд.

В стойках были использованы кабели с избыточной длиной, некоторые серверы смонтированы без использования салазок и намертво прикручены к стойке. Стало понятно, что времени на демонтаж потребуется куда больше, чем мы запланировали. К счастью, запасных материалов было достаточно для того, чтобы обойтись без полного демонтажа всего железа, и мы все еще укладывались в график миграции.



Нельзя сказать, что мы остались довольны увиденным в старом ДЦ

Затем последовала разведывательная поездка в новый ЦОД с целью осмотреться и изучить новые стойки.

Во время первого приезда в новый дата-центр наши инженеры в первую очередь оценили его технологичность. В старом дата-центре все было очень строго — сотрудники ЦОД не только очень дотошно проверяли документы инженеров, но и сопровождали при перемещении к своим стойками и около них. Это влекло за собой временные задержки, так как часто нужно было ждать, пока такой сопровождающий освободится. Новая площадка оказалась куда демократичней в этом плане, что позволило нам работать быстрее.

По плану команда инженеров должна была приезжать в старый ЦОД, забирать 15-20 серверов, затем устанавливать их в стойки на новом месте, включать их, и после этого все должно было работать не требуя дополнительного вмешательства с нашей стороны.

Не обошлось без сложностей — например, внезапно выяснилось, что маршрутизатор Cisco, который мы планировали использовать для организации туннеля работал не так, как планировалось и после перевозки тестовой части не используемых клиентами серверов и тестирования стало понятно, что трафик клиентов он не выдержит.

Пришлось оперативно менять схему сети и использовать дополнительные маршрутизаторы, чтобы разделить нагрузку от клиентов и позволить сети продержаться пару дней в ходе миграции. Время настройки уже не входило ни в один из наших планов, что все-таки вызвало отклонение от графика.

Также не все серверы после перевозки запустились сразу. Часть наших клиентов администрирует выделенные серверы самостоятельно и закрывает нам все доступы, включая мониторинг. На некоторых серверах диски находились не в лучшем состоянии и даже аккуратное отключение с корректным завершением работы системы не спасло от сбоев загрузки из-за поврежденных файловых систем и распавшихся рейдов.

В каждой новой партии перевезенных серверов встречалась парочка подобных проблемы, и инженеры службы технической поддержки после миграции каждой партии серверов проводили работы по восстановлению их работоспособности.

Итого: общие впечатления

В американских дата-центрах все очень строго, получить даже минимальный доступ к собственному оборудованию непросто — на каждое действие нужно получить одобрение, которое может дать только менеджер, который совсем не обязательно физически находится в ДЦ. Тогда нужно создавать тикет в хелпдеск-системе и ждать его разрешения.

Также можно встретить довольно жесткие условия, например, по использованию ресурсов дата-центра — так в нашем новом ЦОД есть ограничение, запрещающее надолго (более 1-2 суток) оставлять свое железо на складе. Нам нужно было больше времени, и чтобы получить разрешение на более долгое хранение пришлось по описанной выше схеме получать одобрение менеджера. ID (паспорт или права), как и в принципе в США, в местных дата-центрах спрашивают постоянно, к этому тоже нужно быть готовым.

С другой стороны, с организационной точки зрения использование ДЦ в Калифорнии оказалось очень приятным. Все оговоренные в контрактах условия всегда выполнялись, чего нам не всегда удавалось добиться в России. К примеру, однажды наш переезд в новый ЦОД сорвался по причине того, что его инженеры не успели подготовить стойки — хотя в договоре сроки подготовки были прописаны четко (мы рассказывали о своих приключениях в этом материале).

Помимо этого, местные инженеры оказались очень дружелюбными и всегда шли нам навстречу — например, когда у нас обнаружилась нехватка кабелей, чтобы мы не прерывались и не ехали в магазин за новыми, коллеги выделили нам ресурсы из своих запасов.

Заключение: что нужно знать при работе с американскими дата-центрами

В завершение еще раз перечислим несколько основно

• В США далеко не все дата-центры очень технически продвинуты — поэтому не стоит выбирать первый попавшийся вариант, а уделить больше времени поискам. Возможно, стоимость услуг более инновационного ЦОД будет дороже, но при определенных размерах инфраструктуры лучшие условия могут принести экономию на ремонте, обслуживании и замене железа.
• Нужно жестко следовать правилам — США такая страна, где законы исполняются, даже если это кажется не всегда логичным. Но если в правилах сказано, что клиент не может отойти от своей стойки на два шага, то чтобы это сделать, нужно будет получить разрешение менеджера — и попутно подписать не одну бумагу и несколько раз показать ID.
• Все очень дружелюбны, но надеяться в любом случае нужно только на себя — знаменитая американская позитивность не миф и распространяется в том числе на инженеров дата-центров, которые всегда не против помочь. Однако это не значит, что нужно расслабляться — например, ошибки при подготовке миграции никто за вас не исправит.

Больше полезных ссылок и материалов от King Servers:

• Бесплатный тест инфраструктуры от King Servers
• Как и зачем мы создавали базу знаний
• Как выбрать дата-центр для ИТ-проекта в России: аптайм, деньги и общая адекватность
• Статистика популярности операционных систем в IaaS: Ubuntu пока номер один, популярность CentOS растет
• Когда ломается «облако»: что можно сделать в этой ситуации?