Привет, друзья! Обычно мы тут вещаем про разные self-hosted сервисы и делимся полезными штуками. Но сегодня история совсем иного масштаба. Совсем недавно с нами приключился форс-мажор, из-за которого часть команды PQ.Hosting экстренно вылетела в Турцию и работала сутки почти без отдыха. И все для того, чтобы спасти проекты наших любимых клиентов!
Но мы что-то забежали вперед — сейчас по порядку объясним, что случилось с нашим железом в турецком дата-центре.
Особенности национального турецкого рынка хостинга
С турецким рынком нас связывает очень долгая и трудная история. Мы залетели на него еще до того, как это стало мейнстримом: сейчас уже множество российских хостеров облюбовали стамбульские ДЦ. А вот мы были практически первыми — так сказать, успели до хайпа!
При этом, у «непаханности» турецкого рынка есть свои причины. Прежде всего была (да и есть до сих пор) большая проблема с ввозом оборудования. Это вообще отдельная головная боль. Даже если найти какого-то местного фиксера, у которого дядя/брат/сват работает на таможне, но все равно не факт, что все выйдет удачно.
Примерно так у нас и получилось: даже с помощью брокера, знакомых и всеми связями вышло растаможить только диски. Все остальное застряло в каком-то бесконечном бюрократическом лимбе. Брокеры предлагали помочь за солидные деньги, но честно предупреждали, что 100% гарантий нет.
В итоге решение нашлось само собой: оборудование начали покупать на местном рынке, но это оказалось очень дорого — в 2–3 раза дороже, чем в Европе. Да, в Турции есть что-то вроде локального Ebay, но и там много скама: проверяй, перепроверяй, и все равно есть шанс, что обманут.
Первые шаги в Турции и первый переезд
Итак, с оборудованием мы разобрались (хоть и сильно переплатили) и обосновались в Измире — это такой красивый древний город на побережье Эгейского моря.
Все получилось благодаря знакомому — он свел нас директором местного ДЦ. Кстати, он же и помог закупиться оборудованием прямо на месте. Это было дешевле, чем другие варианты, но цены все равно заметно выше европейских.
Работали мы в этом ДЦ около полутора лет. В целом, все было вполне нормально, даже неплохо, цены на электроэнергию вообще радовали. Главная проблема, с которой мы больше не могли мириться — это адски высокая стоимость интернета. Там к примеру, интернет-канал на 40 Гбит обходился в $20 000 — такое никуда не годилось, а про стоимость защиты от DDoS атак стоит промолчать.
Поэтому после работы в Измире мы переехали в Стамбул, в дата-центр Comnet. Нам предложили выгодные условия, особенно по интернету, и мы смогли перейти на порты с 10 Gbps.
Кстати, этот ДЦ нам посоветовал наш клиент-хостер. Это вообще очень распространенная история — во многих странах у нас есть компании, которые берут в аренду наши серверы под ноды, базы данных, удаленных доступов и других задач .
Это удобно и для нас, потому что мы получаем стабильного клиента, который покупает много и сразу. Ну клиентам, конечно же: им не нужно самим заморачиваться с покупкой оборудования. К тому же, для них доступны самые разные конфигурации железок — не только те, которые есть у нас на сайте. Поэтому если вы хостер или только хотите им стать, то обращайтесь — все устроим в лучшем виде. Но это так — на правах рекламы. Теперь возвращаемся к нашей истории!
В стамбульском ДЦ все работало идеально. Клиенты были довольны: высокая скорость, стабильность, никаких проблем. Но в понедельник ночью, 20 января, все пошло наперекосяк.
Арест и экстренные меры
В 01:21 ночи нам прилетает сообщение от технического директора: у Comnet забрали лицензию. На компанию наложили арест, и всё оборудование могло быть конфисковано в любой момент и тысячи наших клиентов остались с нерабочими сайтами.
Ситуация была жесткая: времени на раздумья не было. Чтобы избежать даунтайма и сохранить работу наших серверов и проектов клиентов, мы начали экстренно искать новый ДЦ. Критерии: Tier III, тоже Стамбул, чтобы успеть быстро переехать в рамках города.
Ближе к утру нашли подходящий вариант. Цены там оказались в 2,5 раза выше, но выбора не было. Но в таких ситуациях мы всегда становимся пользователей: они не должны пострадать ни в скорости, ни в качестве услуг.
Работа закипела. Наша команда, сотрудники нового ДЦ и техника на местах сработали как единое целое. Переезд занял 10 часов — с момента уведомления до запуска всех серверов. Никто не спал, работали всю ночь, чтобы минимизировать неудобства пользователей.
Мы делали всё специально ночью, чтобы не прерывать привычный рабочий ритм наших клиентов. Забота о них всегда была и остается нашей главной целью. Да, это были сложные часы, но мы знали: наши клиенты этого достойны?
К 9 утра по стамбульскому времени всё оборудование уже стояло в новом ДЦ и было онлайн. Мы вернули прежнюю скорость и качество, сохранив высокий уровень обслуживания, несмотря ни на что.
Итоги
Ситуация была сложной, но мы справились. Это был наш третий переезд в рамках Турции, и теперь мы знаем: никакой арест или форс-мажор не способен выбить нас из колеи. У нас свое оборудование в каждой стране, где мы работаем. Каждый сервер, свитч и роутер принадлежит нам, и это позволяет быстро адаптироваться к любой ситуации.
Мы благодарны всей команде, которая сработала оперативно и слаженно, а нашим клиентам — за доверие.
Если вам интересно, как выстроить надежную инфраструктуру в условиях форс-мажора, — подписывайтесь, обсуждайте, задавайте вопросы. Истории у нас еще будут, обещаем!