У зарубежных компаний история с ИТ-инфраструктурой очень простая: они как росли себе на Западе, так там всё и осталось. В России, как правило, нет даже инженеров, а все сервисы предоставляются откуда-нибудь из Ирландии, Франкфурта, Бостона или других городов, где находится головная организация и её дата-центры.

Драматически ситуация поменялась после вступления в силу поправок к ФЗ-152, гласящих, что персональные данные российских граждан нужно записывать, систематизировать, хранить и обрабатывать с использованием баз данных, находящихся исключительно в нашей стране. Некоторые компании приняли решение поднимать дата-центры в Москве, чтобы не терять бизнес. В нашем случае получилось примерно так (изменены некоторые компоненты и названия, так как есть соглашение о неразглашении — иностранцы, что вы хотите):



Сложностей море, например, такие:
  • Полное отсутствие ИТ-персонала в российском офисе, занимающегося миграцией систем и управлением всего проекта в целом — нужно общаться с сетевиками из Европы или США и разработчиками, например, из Шанхая.
  • Мало поднять прокси-структуру — нужно реально по факту обрабатывать данные в России. А, значит, в Москве (или в другом городе, но, как правило, действие происходит в столице) должен быть развёрнут инстанс CMS, почты, прикладного ПО для работы с продажами, бухгалтерия и так далее.
  • Нужно перевезти всё это быстро и без существенных простоев, а потом ещё и поддерживать в плане инфраструктуры (приклад в данном случае поддерживают «родные» ИТ-команды).


Постановка задачи


Во-первых, было довольно сложно сформировать точное техзадание. Да и вообще понять, что и как нужно сделать. Специфика очень простая — в России находится офис, который занимается коммерцией, а не ИТ. И если для нас CMS, ERP, документооборот и почтовый сервер — разные вещи, то с точки зрения менеджера — это одна и та же система. Поэтому российский представитель компании выступал исключительно в качестве юр.лица, с которым подписывался контракт. Абсолютно все переговоры происходили с зарубежными коллегами. Даже договор был на двух языках. Их спецы в начале приезжали на экскурсию в наши дата-центры: их вице по ИТ в качестве гостей, наши топы — в роли экскурсоводов.

Во-вторых, география. Площадка и администраторы в одном часовом поясе, разработчики в другом, мы — в третьем. Языкового барьера не было, к счастью, весь ИТ-мир говорит на английском, и даже с китайской стороной никаких непониманий не возникало.

В-третьих, надо было понять, что такое ПД внутри их инфоообмена, то есть подключить юристов. В итоге юристы сделали заключение, что ПД для этой компании — любые данные, по которым можно идентифицировать человека. Туда попало хранение и обработка ФИО, фотографий, разные косвенные признаки типа места работы с указанием должности, адреса аккаунтов в соцсетях. При этом адреса твиттера с никнеймами — не ПД. Кстати, небольшой ликбез мы не так давно сами проводили.

Очень хорошо, что у нас было много исходных данных. История про переезд такая: чем меньше входных данных у тебя есть — тем дороже решение. Закладываешь самый дорогой продукт, который все умеет, самые дорогие лицензии — но можно не выиграть конкурс, потому что заказчику цена не понравится. Мы потратили свое время — показали, что можем разобраться. И получилось куда дешевле для заказчика.
В итоге были сформированы первичные задачи переноса и вторичные по сертификации-аттестации. История в том, что регулятор сначала будет смотреть компании с иностранным происхождением — где у них данные. Если за границей – блокировку сделать можно гораздо быстрее, чем перенести системы. И уже второй вопрос, требующий более глубокого вдумчивого копания — аттестация элементов системы. В нашей практике никто эти вопросы разом не решает. Сначала переезд, потом проверка всего на местах, уже потом остальное. Это два разных проекта.

Часть А — переезд — заняла полгода от первого контакта.

Этапы


Сначала мы предоставили тестовую зону из нескольких виртуальных машин, на которые заказчик выполнял так называемый proof of concept. КРОК выполнял задачу провайдера инфраструктуры — серверы, системы хранения, сеть.

Представители заказчика делали тестовые переносы, проверяя, как устанавливается соединение, с какой скоростью передаются данные, как разворачивать системы внутри того, что мы предоставляем. Грубо говоря, изучали инструментарий.

Потом было получено и установлено боевое оборудование. В этот момент начался перенос реальных систем, но без переноса фактической нагрузки — для того, чтобы увидеть, что системы работают, выполнялись нагрузочные тестирования. Потом шёл сам переезд в даунтайме на выходных.

Инфраструктура


Связь понадобилась с тремя дата-центрами, поэтому работали с иностранными коллегами в связке достаточно плотно. Если не считать сложностей с часовыми поясами, всё прошло гладко и на очень высоком уровне взаимопонимания.

В итоге мы полностью создавали инфраструктуру для российской площадки, а заказчик заливал на неё данные своими силами под нашим наблюдением на случай сюрпризов. Наша часть — инфраструктура до уровня операционки и виртуальной машины. Адресацию согласовали почти сразу, причём наш сетевой архитектор работал с их архитектором бок о бок. Внутренняя адресация полностью соответствует их изначальной сети. Публичные адреса российские — потому что используются уже наши каналы.


Самый простой случай — схема бекапа

Полезный урок по сбору данных


На первый взгляд проект кажется достаточно простым — мол делов-то собрать тут то же, что есть у заказчика в Европе. У заказчика эти сервисы ещё и в разных дата-центрах, плюс они сразу же захотели оценить последующую модернизацию — и все эти требования не всегда хорошо ложатся на «просто перенос», надо объяснять и выяснять.

Выявление требования к инфраструктуре и согласование техзадания заняло половину времени заказа, то есть почти три месяца. Удалось очень хорошо сэкономить время за счёт того, что мы смогли составить специальные опросники в виде списка закрытых вопросов («да»/«нет» или 3-5 вариантов) — чтобы четко получать информацию от заказчика. До этого был на похожем переезде опыт с открытыми вопросами — и ответы были такие, что пришлось заходить ещё на две итерации. Здесь же мы получили довольно много информации изначально и могли предлагать свои варианты.

В большинстве случаев подобный подход себя оправдывает. Но в паре мест мы поймали нюансы, которые в итоге чуть усложнили миграцию — несмотря на повысившиеся трудозатраты, сделали за свой счет, поскольку сами выбрали подход с закрытым опросником.

Плюс местные особенности, конечно. Например, сроки мы согласовывали с боями — зарубежные коллеги не всегда представляют актуальные сроки доставки оборудования. Не понимают, что не всегда можно привезти что-то конкретное в РФ. Цены не как у них — у нас они вообще другие, и то, что в Европе дороже, может оказаться у нас дешевле. Или наоборот.

Чем мы были удивлены, так это их идеальной скрупулезностью во всём, что касается существующих стандартов и правил, написанных часто лет 10 назад. У них всё это работает на честные 100 процентов, а не на 20-80, как мы это часто видим внутри России. У нас любое правило стандарта рассматривается как некая полезная рекомендация. У них — как железный барьер.

Или вот план миграции. У нас оперативные правки делаются просто по звонку, а у них так не работает. Надо прописать, приложить схему, потом отправить письма и ждать понедельника. Никаких сверхурочных. Они привыкли работать размеренно, медленно и кайфно, но на пять с плюсом.

Ещё мы не всегда видели их структуру: на этапе общения ты даже не всегда знаешь, с кем конкретно общаешься. И думаешь — ок, договорились, завтра дадут требования. А этот человек в Ирландии, железо в Америке, там своя ИТ-команда, с которой он ещё должен всё согласовать, а они должны показать проект тимлиду команды в Китае. Пока письмо с ответом пройдет — минимум двое суток из-за часовых поясов. Много отдельных бизнес-подразделений, и у каждого техподразделения свои хотелки, особенно на будущее. Согласование с 10 людьми в копии — совершенно нормально.

Или вот вообще чумовой пример: обновить прошивку роутера — у нас решает ИТ-главный, а у них все эти 10 человек сразу, причём туда входят и разработчики приклада.

Внедряли собственными силами, позже заказчик обратился к нам и за сопровождением не только на уровне инфраструктуры, но и на уровне операционок.

Сейчас у них следующий шаг — катастрофоустойчивость. Мы и предлагаем — есть два наших дата-центра, между ними толстые независимые каналы для синхронной репликации. Готовы в любой момент переключиться или восстановиться, иными словами строить любое их решение.

Итог


Договорились про даунтайм на переключение, перенесли за 32 часа (большая часть даунтайма — окончательная синхронизация данных и тесты продакшна), согласовав работы всех команд. Сейчас система уже несколько месяцев работает без нареканий. Кратко история прошла так: монтаж железа, сборка, проверки, накатывание инфраструктурного софта, поднятие виртуализации, первоначальная настройка, сопровождение и внедрение их систем, ещё тесты — дальше включалась команда заказчика. Иногда они просили нас помогать по своим задачам, например, на тестах производительности приклада мы ковыряли вместе с ними, искали узкие места в инфраструктуре. У нас много всяких услуг, всё же по ИТ-инфраструктурам мы по России первые. Вот они всем этим смело и пользовались к общему счастью. Их сетевики заглядывали в проект всего лишь пару раз, и то, когда были просадки на международных каналах, всё остальное время никто, кроме прикладников, в эксплуатации не участвует. После внедрения 2 недели мы были в режиме усиленной поддержки, то есть каждый день обсуждали с их спецами статусы и мелкие доработки. Сейчас предоставляем инфраструктуру: серверы, системы хранения, сети, балансировщики, устройства ИБ, виртуализация, систему резервного копирования. Плюс все это в режиме отказоустойчивости резервируется во второй дата-центр, за счет чего SLA составляет 99,9% для всех уровней инфраструктуры.

Ссылки


Комментарии (30)


  1. juryev
    25.02.2016 10:32
    -25

    Вот и плюсы от решения о переводе хранилищ ПД в Россию: создаётся инфраструктура, рабочие места.


    1. StrangerInRed
      25.02.2016 10:38
      +8

      Большому бизнесу это ни к чему. Затраты в пыль. Вчерашняя новость про один HeadHunter-сайт этому подтверждение. Гугл, майкрософт, фейсбук не будут строить в России ДЦ, а просто выпилят регион куском, если придавить — но опять же по максимуму потянут времени, а там, глядишь, и закон отменят.


      1. juryev
        25.02.2016 10:42
        -5

        Не факт, что не будут. Тут логическая вилка. Если это небольшой рынок и нет доходов, то нет нужды в строительстве, можно обойтись и арендой. Если это большой рынок и много чего нужно хранить, значит, придётся построить.
        Новость по хедхантеров я не видел, но если это про hh, честно говоря, и… ладно. Свято место пусто не бывает, другие придут.


        1. inkvizitor68sl
          25.02.2016 11:20
          +10

          Проблема ещё в том, что в России рынок услуг не развит, арендовать нечего. Попробуйте найдите failover ip за вменяемые деньги между локациями.

          Плюс даже несмотря на новый курс евро, наши "лоукостеры" по ценам ближе к топовым хостерам в Европе, а техподдержка наша в сравнении с европейской никакой критики не выдерживает.


          1. juryev
            25.02.2016 11:28
            -16

            всему этому есть объективные причины, заключающиеся как раз в том, что можно было размещать за рубежом, и деньги перетекали туда. Теперь будут, по крайней мере, отчасти, перетекать сюда, а за деньгами тянется и сервис, и техподдержка.


            1. inkvizitor68sl
              25.02.2016 15:58
              +1

              Рынок работает не так. У hetzner отличный сервис (про качество железа холивар разводить не будем, но там тоже всё неплохо) был всегда, даже в далеком 2007м.
              Из-под палки у наших хостеров ничего не улучшится, им это только повод драть деньги за те услуги, которые во всем мире давно уже бесплатны или стоят копейки.

              Для справки — за цену failover-ip (без железа) в России я всё ещё могу снять 2 сервера в hetzner с ssd и между ними растянуть heartbeat или что-то похожее. И в SYS могу. А в России — не могу.


            1. inkvizitor68sl
              25.02.2016 16:08
              +7

              Или вот система автоматической наливки сервера. Казалось бы, что проще? dhcp, pxe и простенькая морда, которая пишется за 1 день.
              У всех европейских хостеров она есть. В России на тебя смотрят как на идиота в ответ на просьбу "самостоятельно установить ОС из своего образа своими руками".

              Да чего уж там, у 90% хостеров нет даже rescue-загрузки по сети, какая там автоматическая (пере)установка ОС.

              За ip-kvm деньги берут, опять же (в смысле за тот, который ты раз в год просишь подключить на пару часов).

              Стабильность вообще никакой критики не выдержит, у меня сервера в hetzner (который вообще-то так себе по стабильности) живут по году без даунтайма, а у российских серверов проекта раз в полгода стабильно сейчас падает питание/сеть на несколько часов раз в 3 месяца.
              А в fasthosts сервер проекта стоит больше 5 лет без даунтайма (тьфу-тьфу) по вине хостера. 5 лет его не вырубали ни по питанию, ни по сети.

              Единственный, кто на рынке более или менее крут по стабильности/качеству техпода при адекватной цене — это flops. Но у них хватает других проблем, да и железа у них нет.

              А ещё я помню ДЦ в Химках какой-то в который мы заехали на неделю, из которых 4 дня сеть лежала.

              Ах да, ещё очень весело у нас диски меняют — диск поменяли, система не запустилась, сидят молчат, даже письма не напишут. Спустя пару-тройку часов прилетает письмо "мы диск поменяли, но ОС запустить не смогли, развлекайтесь". Rescue нет, ip-kvm — почасово по тысяче рублей, за 2 часа инженеры не додумались загрузиться со второго диска. Загрузка со второго диска удаленными руками — полторы тысячи.

              Вот и живи как хочешь.

              Говно всё это, горбатого могила не исправит. Есть, конечно, хорошие хостеры у нас, но цены там вида "18 тысяч в месяц за тазик с Xeon о четырёх ведрах и 16 гб памяти". И, опять же, за каждый чих там тебе ещё нарисуют по тысяче в месяц.


              1. ftarasenko
                25.02.2016 23:52

                А в серверс.ру ходили? Судя по описанию, там нет перечисленных вами проблем.


                1. inkvizitor68sl
                  26.02.2016 04:13

                  Дорого, смысла нет. Вместо их одного ssd-сервера можно взять 4-5 в he и в ус не дуть.


                  1. ftarasenko
                    26.02.2016 06:46

                    Там виртуальные сервера с ssd, обычные не обязательно.
                    Насчёт цен не в курсе, мне оно пока не надо )


                    1. inkvizitor68sl
                      26.02.2016 09:52

                      Виртуалки неинтересно, там есть из чего повыбирать.


              1. fortyseven
                26.02.2016 17:36

                В Селектел и rescue и автоустановка из панели и бесплатный KVM. Если ищите по цене подешевле, то посмотрите распродажу https://selectel.ru/services/dedicated/#sale


                1. inkvizitor68sl
                  26.02.2016 17:38
                  +1

                  Там старьё всякое совсем уж на распродаже, больше 12G RAM железа нет.

                  У селектел failover как раз и стоит 6к, а нормальная железка стартует от 7500 (а по-хорошему — 9500). 20-25 тысяч против 7 тысяч? Нет, спасибо.


                  1. fortyseven
                    01.03.2016 12:20

                    Бывают конфиги и по 64ГБ памяти и 2х Xeon E5, но быстро раскупаются. В ближайшее время сделаем почтовую подписку на новые лоты (пока можете подписаться на наш твиттер).

                    VRRP — это не failover IP, а резервирование между ДЦ в разных городах.
                    Если вам достаточно резервирования на уровне сервера, то вы можете перебрасывать IP между серверами в одной локации без заказа дополнительных услуг.


                    1. inkvizitor68sl
                      01.03.2016 14:18

                      перебрасывать IP между серверами в одной локации

                      Я говорю про перебрасывание IP между серверами в разных локациях, всё же (городах, не странах, ок). У вас это реализовано в виде VRRP за цену двух серверов в Европе.

                      У OVH это бесплатно, у hetzner — 5 EUR в месяц, в online.net — $2. Да, не автоматом, но даунтаймы балансера пережить позволяет.

                      Так-то у вас всё хорошо, по уровню вы не уступаете европейским лоукостерам (а они в хвост и гриву дерут остальных наших хостеров по качеству услуг и аптайму. Да и по качеству железа догоняют уже.), но цены у вас лютые всё же, даже с новым курсом, даже с учетом того, что вы их почти не корректировали по курсу.
                      Более того, у вас цены высокие даже в сравнении с fasthosts, а эти из разряда "дорого, долго, ох*нно", "6 лет без разрывов".


        1. redmanmale
          25.02.2016 16:47
          +1

          Не про HH, а про SaaS-сервис icims.com, который используют сотни компаний (в т.ч. RedHat, Amazon и т.д.). Подробности: https://geektimes.ru/post/271574/


    1. Valery35
      25.02.2016 10:43
      +2

      За счет снижения эффективности и увеличения количества проверяющих.
      Для бизнеса это чистые издержки.


      1. juryev
        25.02.2016 10:48
        -5

        насчёт снижения эффективности — это смотря как считать. Увеличение количества проверяющих это тоже слишком общо, какие тут "проверяющие" добавляются?
        Относительно эффективности она скорее растёт по ряду причин: 1) русскоязычное сопровождение на месте, а не украинцы в онлайне; 2) ДЦ меньше загружены, поэтому при сравнимых характеристиках доступность получается выше. 3) стоимость услуг — ниже с учётом курса.
        Ну и вот КРОК уже заработал, почему нет, я лично вижу в этом плюс, рад за ребят.


    1. Razaz
      25.02.2016 10:46

      Кто мешает воткнуть сервак с юзерами на колокейшен и админить это из-за границы? Все проблемы упираются в адекватный identity management. Выпилили всех россиян в отдельный security realm и федерируют аутентификацию.


      1. juryev
        25.02.2016 10:52
        -2

        я об этом и пишу, если объём доходов невелик, можно колокейшн выделить и всё. Но в целом — это вполне неплохая протекционистская мера, перетаскивающая оказание услуг в Россию.


        1. Razaz
          25.02.2016 10:55
          +5

          Она вообще ничего не перетаскивает кроме базы/LDAP директории при нормально спроектированной инфраструктуре. Ее в любой момент можно грохнуть и закрыть лавочку. Рабочих мест это не создает, разве что малюсенькая капелька денег за колокейшен.


          1. Viacheslav01
            25.02.2016 14:14
            +1

            Не согласен, любой даже маленький проданный кусок товара или услуг, создает рабочие места, да пусть мизерное количество но создает, это только про прямые рабочие места, а если брать в расчет косвенные?
            В любом случае отношение 0 рабочих мест и 1 рабочего места, как и 0 денег и малюсенькая капелька денег — бесконечность.


            1. Razaz
              25.02.2016 14:36
              -1

              Может кто подскажет сколько стоит виртуалка с развернутым OpenLDAP… а там уже будет видно сколько бизнес ланчей для админа это окупает :) Это не дает ничего, ктроме раздражения групных игроков и отсутствия мелких. Привет конкуренция.


    1. Zardos
      25.02.2016 10:59
      +17

      А потом можно пригнать кучу бульдозеров и снести эти новые дата-центры, а на их месте затем построить новые. Куча работы будет для кучи людей. Вон какая польза для экономики. Можно пойти толпой и разгромить магазин или продуктовый рынок — будет куча халявной еды, можно будет сразу накормить кучу людей. Та же логика.


      1. juryev
        25.02.2016 11:03
        -15

        по поводу кучи бульдозеров — это Вы излагаете идеи Кейнса, благодаря которым США вышли из Великой депрессии, но это уж слишком, да и об этом речи не идёт. Стоимость самого ДЦ, конечно, высока, но суть бизнеса его владельца — в оказании услуг, а не в строительстве, поэтому основной денежный поток идёт как раз за услуги. Так что перенос их в РФ — безусловно выгодная протекционистская мера.


    1. VenomBlood
      26.02.2016 02:58
      +2

      Изоляция никогда не бывает в плюс, вы видите только верхушку айсберга, на которой, внезапно, оказалась маленькая печенька. На деле негативных факторов в средне- и долгосрочной перспективе гораздо больше. Практически любая попытка нечестно отнять у кого-то деньги путем издания подобных искуственных законов вместо того чтобы развивать конкурентную среду приводит в долгосрочной перспективе только к еще большим проблемам.


      1. juryev
        26.02.2016 08:18
        -1

        пока она привела к активному строительству ДЦ. И какие Вы предлагаете другие «способы развития конкурентной среды»?


  1. msfs11
    25.02.2016 18:24
    +1

    > Они привыкли работать размеренно, медленно и кайфно, но на пять с плюсом.
    Я работаю и с чехами и с немцами, у всех косяки бывают.

    И еще про провоз серверов через таможню: сервера содержат процессоры, которые имеют модули шифрования, соответственно на модель должна быть получена нотификация ФСБ. Она получается 1 раз производителем на конкретную модель, или может быть получения юридическим лицом по доверенности от производителя, которая мелкому-среднему бизнесу не дается.
    То есть, если сервера закупаются за границей, то нужно сначала убедиться, что нотификация есть в реестре.


  1. estum
    28.02.2016 08:55
    +1

    Нахер соблюдать мудацкий закон, исполнение которого все равно никто не будет контролировать?


    1. msfs11
      02.03.2016 11:44

      Могу только из своего опыта сказать, что ЦБ при проверке страховых компаний просит справку о местонахождении сервера, которая должна быть чем-то подкреплена, например договором с ДЦ.