Драматически ситуация поменялась после вступления в силу поправок к ФЗ-152, гласящих, что персональные данные российских граждан нужно записывать, систематизировать, хранить и обрабатывать с использованием баз данных, находящихся исключительно в нашей стране. Некоторые компании приняли решение поднимать дата-центры в Москве, чтобы не терять бизнес. В нашем случае получилось примерно так (изменены некоторые компоненты и названия, так как есть соглашение о неразглашении — иностранцы, что вы хотите):
Сложностей море, например, такие:
- Полное отсутствие ИТ-персонала в российском офисе, занимающегося миграцией систем и управлением всего проекта в целом — нужно общаться с сетевиками из Европы или США и разработчиками, например, из Шанхая.
- Мало поднять прокси-структуру — нужно реально по факту обрабатывать данные в России. А, значит, в Москве (или в другом городе, но, как правило, действие происходит в столице) должен быть развёрнут инстанс CMS, почты, прикладного ПО для работы с продажами, бухгалтерия и так далее.
- Нужно перевезти всё это быстро и без существенных простоев, а потом ещё и поддерживать в плане инфраструктуры (приклад в данном случае поддерживают «родные» ИТ-команды).
Постановка задачи
Во-первых, было довольно сложно сформировать точное техзадание. Да и вообще понять, что и как нужно сделать. Специфика очень простая — в России находится офис, который занимается коммерцией, а не ИТ. И если для нас CMS, ERP, документооборот и почтовый сервер — разные вещи, то с точки зрения менеджера — это одна и та же система. Поэтому российский представитель компании выступал исключительно в качестве юр.лица, с которым подписывался контракт. Абсолютно все переговоры происходили с зарубежными коллегами. Даже договор был на двух языках. Их спецы в начале приезжали на экскурсию в наши дата-центры: их вице по ИТ в качестве гостей, наши топы — в роли экскурсоводов.
Во-вторых, география. Площадка и администраторы в одном часовом поясе, разработчики в другом, мы — в третьем. Языкового барьера не было, к счастью, весь ИТ-мир говорит на английском, и даже с китайской стороной никаких непониманий не возникало.
В-третьих, надо было понять, что такое ПД внутри их инфоообмена, то есть подключить юристов. В итоге юристы сделали заключение, что ПД для этой компании — любые данные, по которым можно идентифицировать человека. Туда попало хранение и обработка ФИО, фотографий, разные косвенные признаки типа места работы с указанием должности, адреса аккаунтов в соцсетях. При этом адреса твиттера с никнеймами — не ПД. Кстати, небольшой ликбез мы не так давно сами проводили.
Очень хорошо, что у нас было много исходных данных. История про переезд такая: чем меньше входных данных у тебя есть — тем дороже решение. Закладываешь самый дорогой продукт, который все умеет, самые дорогие лицензии — но можно не выиграть конкурс, потому что заказчику цена не понравится. Мы потратили свое время — показали, что можем разобраться. И получилось куда дешевле для заказчика.
В итоге были сформированы первичные задачи переноса и вторичные по сертификации-аттестации. История в том, что регулятор сначала будет смотреть компании с иностранным происхождением — где у них данные. Если за границей – блокировку сделать можно гораздо быстрее, чем перенести системы. И уже второй вопрос, требующий более глубокого вдумчивого копания — аттестация элементов системы. В нашей практике никто эти вопросы разом не решает. Сначала переезд, потом проверка всего на местах, уже потом остальное. Это два разных проекта.
Часть А — переезд — заняла полгода от первого контакта.
Этапы
Сначала мы предоставили тестовую зону из нескольких виртуальных машин, на которые заказчик выполнял так называемый proof of concept. КРОК выполнял задачу провайдера инфраструктуры — серверы, системы хранения, сеть.
Представители заказчика делали тестовые переносы, проверяя, как устанавливается соединение, с какой скоростью передаются данные, как разворачивать системы внутри того, что мы предоставляем. Грубо говоря, изучали инструментарий.
Потом было получено и установлено боевое оборудование. В этот момент начался перенос реальных систем, но без переноса фактической нагрузки — для того, чтобы увидеть, что системы работают, выполнялись нагрузочные тестирования. Потом шёл сам переезд в даунтайме на выходных.
Инфраструктура
Связь понадобилась с тремя дата-центрами, поэтому работали с иностранными коллегами в связке достаточно плотно. Если не считать сложностей с часовыми поясами, всё прошло гладко и на очень высоком уровне взаимопонимания.
В итоге мы полностью создавали инфраструктуру для российской площадки, а заказчик заливал на неё данные своими силами под нашим наблюдением на случай сюрпризов. Наша часть — инфраструктура до уровня операционки и виртуальной машины. Адресацию согласовали почти сразу, причём наш сетевой архитектор работал с их архитектором бок о бок. Внутренняя адресация полностью соответствует их изначальной сети. Публичные адреса российские — потому что используются уже наши каналы.
Самый простой случай — схема бекапа
Полезный урок по сбору данных
На первый взгляд проект кажется достаточно простым — мол делов-то собрать тут то же, что есть у заказчика в Европе. У заказчика эти сервисы ещё и в разных дата-центрах, плюс они сразу же захотели оценить последующую модернизацию — и все эти требования не всегда хорошо ложатся на «просто перенос», надо объяснять и выяснять.
Выявление требования к инфраструктуре и согласование техзадания заняло половину времени заказа, то есть почти три месяца. Удалось очень хорошо сэкономить время за счёт того, что мы смогли составить специальные опросники в виде списка закрытых вопросов («да»/«нет» или 3-5 вариантов) — чтобы четко получать информацию от заказчика. До этого был на похожем переезде опыт с открытыми вопросами — и ответы были такие, что пришлось заходить ещё на две итерации. Здесь же мы получили довольно много информации изначально и могли предлагать свои варианты.
В большинстве случаев подобный подход себя оправдывает. Но в паре мест мы поймали нюансы, которые в итоге чуть усложнили миграцию — несмотря на повысившиеся трудозатраты, сделали за свой счет, поскольку сами выбрали подход с закрытым опросником.
Плюс местные особенности, конечно. Например, сроки мы согласовывали с боями — зарубежные коллеги не всегда представляют актуальные сроки доставки оборудования. Не понимают, что не всегда можно привезти что-то конкретное в РФ. Цены не как у них — у нас они вообще другие, и то, что в Европе дороже, может оказаться у нас дешевле. Или наоборот.
Чем мы были удивлены, так это их идеальной скрупулезностью во всём, что касается существующих стандартов и правил, написанных часто лет 10 назад. У них всё это работает на честные 100 процентов, а не на 20-80, как мы это часто видим внутри России. У нас любое правило стандарта рассматривается как некая полезная рекомендация. У них — как железный барьер.
Или вот план миграции. У нас оперативные правки делаются просто по звонку, а у них так не работает. Надо прописать, приложить схему, потом отправить письма и ждать понедельника. Никаких сверхурочных. Они привыкли работать размеренно, медленно и кайфно, но на пять с плюсом.
Ещё мы не всегда видели их структуру: на этапе общения ты даже не всегда знаешь, с кем конкретно общаешься. И думаешь — ок, договорились, завтра дадут требования. А этот человек в Ирландии, железо в Америке, там своя ИТ-команда, с которой он ещё должен всё согласовать, а они должны показать проект тимлиду команды в Китае. Пока письмо с ответом пройдет — минимум двое суток из-за часовых поясов. Много отдельных бизнес-подразделений, и у каждого техподразделения свои хотелки, особенно на будущее. Согласование с 10 людьми в копии — совершенно нормально.
Или вот вообще чумовой пример: обновить прошивку роутера — у нас решает ИТ-главный, а у них все эти 10 человек сразу, причём туда входят и разработчики приклада.
Внедряли собственными силами, позже заказчик обратился к нам и за сопровождением не только на уровне инфраструктуры, но и на уровне операционок.
Сейчас у них следующий шаг — катастрофоустойчивость. Мы и предлагаем — есть два наших дата-центра, между ними толстые независимые каналы для синхронной репликации. Готовы в любой момент переключиться или восстановиться, иными словами строить любое их решение.
Итог
Договорились про даунтайм на переключение, перенесли за 32 часа (большая часть даунтайма — окончательная синхронизация данных и тесты продакшна), согласовав работы всех команд. Сейчас система уже несколько месяцев работает без нареканий. Кратко история прошла так: монтаж железа, сборка, проверки, накатывание инфраструктурного софта, поднятие виртуализации, первоначальная настройка, сопровождение и внедрение их систем, ещё тесты — дальше включалась команда заказчика. Иногда они просили нас помогать по своим задачам, например, на тестах производительности приклада мы ковыряли вместе с ними, искали узкие места в инфраструктуре. У нас много всяких услуг, всё же по ИТ-инфраструктурам мы по России первые. Вот они всем этим смело и пользовались к общему счастью. Их сетевики заглядывали в проект всего лишь пару раз, и то, когда были просадки на международных каналах, всё остальное время никто, кроме прикладников, в эксплуатации не участвует. После внедрения 2 недели мы были в режиме усиленной поддержки, то есть каждый день обсуждали с их спецами статусы и мелкие доработки. Сейчас предоставляем инфраструктуру: серверы, системы хранения, сети, балансировщики, устройства ИБ, виртуализация, систему резервного копирования. Плюс все это в режиме отказоустойчивости резервируется во второй дата-центр, за счет чего SLA составляет 99,9% для всех уровней инфраструктуры.
Ссылки
- Экскурсия по нашему дата-центру T-III «Компрессор» (T3 проект, T3 объект, Т3 эксплуатация)
- Миграция данных одного банка
- Распределённые системы хранения данных (часть программно-определяемого дата-центра)
- Моя почта — RSayfutdinov@croc.ru
Комментарии (30)
msfs11
25.02.2016 18:24+1> Они привыкли работать размеренно, медленно и кайфно, но на пять с плюсом.
Я работаю и с чехами и с немцами, у всех косяки бывают.
И еще про провоз серверов через таможню: сервера содержат процессоры, которые имеют модули шифрования, соответственно на модель должна быть получена нотификация ФСБ. Она получается 1 раз производителем на конкретную модель, или может быть получения юридическим лицом по доверенности от производителя, которая мелкому-среднему бизнесу не дается.
То есть, если сервера закупаются за границей, то нужно сначала убедиться, что нотификация есть в реестре.
estum
28.02.2016 08:55+1Нахер соблюдать мудацкий закон, исполнение которого все равно никто не будет контролировать?
msfs11
02.03.2016 11:44Могу только из своего опыта сказать, что ЦБ при проверке страховых компаний просит справку о местонахождении сервера, которая должна быть чем-то подкреплена, например договором с ДЦ.
juryev
Вот и плюсы от решения о переводе хранилищ ПД в Россию: создаётся инфраструктура, рабочие места.
StrangerInRed
Большому бизнесу это ни к чему. Затраты в пыль. Вчерашняя новость про один HeadHunter-сайт этому подтверждение. Гугл, майкрософт, фейсбук не будут строить в России ДЦ, а просто выпилят регион куском, если придавить — но опять же по максимуму потянут времени, а там, глядишь, и закон отменят.
juryev
Не факт, что не будут. Тут логическая вилка. Если это небольшой рынок и нет доходов, то нет нужды в строительстве, можно обойтись и арендой. Если это большой рынок и много чего нужно хранить, значит, придётся построить.
Новость по хедхантеров я не видел, но если это про hh, честно говоря, и… ладно. Свято место пусто не бывает, другие придут.
inkvizitor68sl
Проблема ещё в том, что в России рынок услуг не развит, арендовать нечего. Попробуйте найдите failover ip за вменяемые деньги между локациями.
Плюс даже несмотря на новый курс евро, наши "лоукостеры" по ценам ближе к топовым хостерам в Европе, а техподдержка наша в сравнении с европейской никакой критики не выдерживает.
juryev
всему этому есть объективные причины, заключающиеся как раз в том, что можно было размещать за рубежом, и деньги перетекали туда. Теперь будут, по крайней мере, отчасти, перетекать сюда, а за деньгами тянется и сервис, и техподдержка.
inkvizitor68sl
Рынок работает не так. У hetzner отличный сервис (про качество железа холивар разводить не будем, но там тоже всё неплохо) был всегда, даже в далеком 2007м.
Из-под палки у наших хостеров ничего не улучшится, им это только повод драть деньги за те услуги, которые во всем мире давно уже бесплатны или стоят копейки.
Для справки — за цену failover-ip (без железа) в России я всё ещё могу снять 2 сервера в hetzner с ssd и между ними растянуть heartbeat или что-то похожее. И в SYS могу. А в России — не могу.
inkvizitor68sl
Или вот система автоматической наливки сервера. Казалось бы, что проще? dhcp, pxe и простенькая морда, которая пишется за 1 день.
У всех европейских хостеров она есть. В России на тебя смотрят как на идиота в ответ на просьбу "самостоятельно установить ОС из своего образа своими руками".
Да чего уж там, у 90% хостеров нет даже rescue-загрузки по сети, какая там автоматическая (пере)установка ОС.
За ip-kvm деньги берут, опять же (в смысле за тот, который ты раз в год просишь подключить на пару часов).
Стабильность вообще никакой критики не выдержит, у меня сервера в hetzner (который вообще-то так себе по стабильности) живут по году без даунтайма, а у российских серверов проекта раз в полгода стабильно сейчас падает питание/сеть на несколько часов раз в 3 месяца.
А в fasthosts сервер проекта стоит больше 5 лет без даунтайма (тьфу-тьфу) по вине хостера. 5 лет его не вырубали ни по питанию, ни по сети.
Единственный, кто на рынке более или менее крут по стабильности/качеству техпода при адекватной цене — это flops. Но у них хватает других проблем, да и железа у них нет.
А ещё я помню ДЦ в Химках какой-то в который мы заехали на неделю, из которых 4 дня сеть лежала.
Ах да, ещё очень весело у нас диски меняют — диск поменяли, система не запустилась, сидят молчат, даже письма не напишут. Спустя пару-тройку часов прилетает письмо "мы диск поменяли, но ОС запустить не смогли, развлекайтесь". Rescue нет, ip-kvm — почасово по тысяче рублей, за 2 часа инженеры не додумались загрузиться со второго диска. Загрузка со второго диска удаленными руками — полторы тысячи.
Вот и живи как хочешь.
Говно всё это, горбатого могила не исправит. Есть, конечно, хорошие хостеры у нас, но цены там вида "18 тысяч в месяц за тазик с Xeon о четырёх ведрах и 16 гб памяти". И, опять же, за каждый чих там тебе ещё нарисуют по тысяче в месяц.
ftarasenko
А в серверс.ру ходили? Судя по описанию, там нет перечисленных вами проблем.
inkvizitor68sl
Дорого, смысла нет. Вместо их одного ssd-сервера можно взять 4-5 в he и в ус не дуть.
ftarasenko
Там виртуальные сервера с ssd, обычные не обязательно.
Насчёт цен не в курсе, мне оно пока не надо )
inkvizitor68sl
Виртуалки неинтересно, там есть из чего повыбирать.
fortyseven
В Селектел и rescue и автоустановка из панели и бесплатный KVM. Если ищите по цене подешевле, то посмотрите распродажу https://selectel.ru/services/dedicated/#sale
inkvizitor68sl
Там старьё всякое совсем уж на распродаже, больше 12G RAM железа нет.
У селектел failover как раз и стоит 6к, а нормальная железка стартует от 7500 (а по-хорошему — 9500). 20-25 тысяч против 7 тысяч? Нет, спасибо.
fortyseven
Бывают конфиги и по 64ГБ памяти и 2х Xeon E5, но быстро раскупаются. В ближайшее время сделаем почтовую подписку на новые лоты (пока можете подписаться на наш твиттер).
VRRP — это не failover IP, а резервирование между ДЦ в разных городах.
Если вам достаточно резервирования на уровне сервера, то вы можете перебрасывать IP между серверами в одной локации без заказа дополнительных услуг.
inkvizitor68sl
Я говорю про перебрасывание IP между серверами в разных локациях, всё же (городах, не странах, ок). У вас это реализовано в виде VRRP за цену двух серверов в Европе.
У OVH это бесплатно, у hetzner — 5 EUR в месяц, в online.net — $2. Да, не автоматом, но даунтаймы балансера пережить позволяет.
Так-то у вас всё хорошо, по уровню вы не уступаете европейским лоукостерам (а они в хвост и гриву дерут остальных наших хостеров по качеству услуг и аптайму. Да и по качеству железа догоняют уже.), но цены у вас лютые всё же, даже с новым курсом, даже с учетом того, что вы их почти не корректировали по курсу.
Более того, у вас цены высокие даже в сравнении с fasthosts, а эти из разряда "дорого, долго, ох*нно", "6 лет без разрывов".
redmanmale
Не про HH, а про SaaS-сервис icims.com, который используют сотни компаний (в т.ч. RedHat, Amazon и т.д.). Подробности: https://geektimes.ru/post/271574/
Valery35
За счет снижения эффективности и увеличения количества проверяющих.
Для бизнеса это чистые издержки.
juryev
насчёт снижения эффективности — это смотря как считать. Увеличение количества проверяющих это тоже слишком общо, какие тут "проверяющие" добавляются?
Относительно эффективности она скорее растёт по ряду причин: 1) русскоязычное сопровождение на месте, а не украинцы в онлайне; 2) ДЦ меньше загружены, поэтому при сравнимых характеристиках доступность получается выше. 3) стоимость услуг — ниже с учётом курса.
Ну и вот КРОК уже заработал, почему нет, я лично вижу в этом плюс, рад за ребят.
Razaz
Кто мешает воткнуть сервак с юзерами на колокейшен и админить это из-за границы? Все проблемы упираются в адекватный identity management. Выпилили всех россиян в отдельный security realm и федерируют аутентификацию.
juryev
я об этом и пишу, если объём доходов невелик, можно колокейшн выделить и всё. Но в целом — это вполне неплохая протекционистская мера, перетаскивающая оказание услуг в Россию.
Razaz
Она вообще ничего не перетаскивает кроме базы/LDAP директории при нормально спроектированной инфраструктуре. Ее в любой момент можно грохнуть и закрыть лавочку. Рабочих мест это не создает, разве что малюсенькая капелька денег за колокейшен.
Viacheslav01
Не согласен, любой даже маленький проданный кусок товара или услуг, создает рабочие места, да пусть мизерное количество но создает, это только про прямые рабочие места, а если брать в расчет косвенные?
В любом случае отношение 0 рабочих мест и 1 рабочего места, как и 0 денег и малюсенькая капелька денег — бесконечность.
Razaz
Может кто подскажет сколько стоит виртуалка с развернутым OpenLDAP… а там уже будет видно сколько бизнес ланчей для админа это окупает :) Это не дает ничего, ктроме раздражения групных игроков и отсутствия мелких. Привет конкуренция.
Zardos
А потом можно пригнать кучу бульдозеров и снести эти новые дата-центры, а на их месте затем построить новые. Куча работы будет для кучи людей. Вон какая польза для экономики. Можно пойти толпой и разгромить магазин или продуктовый рынок — будет куча халявной еды, можно будет сразу накормить кучу людей. Та же логика.
juryev
по поводу кучи бульдозеров — это Вы излагаете идеи Кейнса, благодаря которым США вышли из Великой депрессии, но это уж слишком, да и об этом речи не идёт. Стоимость самого ДЦ, конечно, высока, но суть бизнеса его владельца — в оказании услуг, а не в строительстве, поэтому основной денежный поток идёт как раз за услуги. Так что перенос их в РФ — безусловно выгодная протекционистская мера.
VenomBlood
Изоляция никогда не бывает в плюс, вы видите только верхушку айсберга, на которой, внезапно, оказалась маленькая печенька. На деле негативных факторов в средне- и долгосрочной перспективе гораздо больше. Практически любая попытка нечестно отнять у кого-то деньги путем издания подобных искуственных законов вместо того чтобы развивать конкурентную среду приводит в долгосрочной перспективе только к еще большим проблемам.
juryev
пока она привела к активному строительству ДЦ. И какие Вы предлагаете другие «способы развития конкурентной среды»?