Некоторое время назад в Москве прошла конференция Failover, посвящённая такой важной проблематике, как обеспечение отказоустойчивости онлайн-сервисов. За день перед слушателями выступили 19 докладчиков, рассказав немало интересных вещей для разработчиков, тестировщиков и эксплуатантов. Мы решили, что такие полезные материалы не должны «пылиться» в архиве и должны стать достоянием ещё более широкой общественности. И начнём мы с выступления Сергея Рыжикова, озаглавленного «Нужно ли переезжать на хостинг в Россию, или Отказоустойчивость по 242-ФЗ».

Тема звучит довольно странно. Давайте порассуждаем, о чём идет речь. Я заметил, что когда заходит разговор о переносе хостинга в Россию, многие начинают рассуждать эмоционально. Словно врач, который лечит своего ребёнка и не может принимать рациональных решений. Поэтому в первую очередь призываю не поддаваться эмоциям и как можно отстранённее посмотреть на происходящее. Во всём мире сегодня сложилась тенденция, когда все государства начинают регулировать интернет в самых разных его проявлениях. Зачем это делается и есть ли в этом что-нибудь необычное? Когда вообще возникает потребность регулировать что-нибудь?

Когда какое-то явление становится важным для людей и государства, возникает и потребность в регулировании. Это делается для того, чтобы избежать негативных последствий, которые могут оказать серьёзное влияние на экономику, общество, жизнь людей. И важность того же интернета сегодня трудно переоценить. Давайте предположим, что каким-то образом перестал функционировать TCP/IP. Ваша компания сможет продолжать свою деятельность? Вы сможете что-нибудь сделать без электронного письма? Вряд ли.

Деятельность госструктур и бизнеса зависит от функционирования интернета, который постепенно стал совершенно незаменимой составной частью. И есть люди, подчеркну, не только в нашей стране, которые отвечают за регулирование этого важнейшего канала коммуникаций.

Приведу в пример такую тему, как связанные с интернетом преступления. За последние 10 лет я неоднократно общался с самими разными государственными структурами, охраняющими правопорядок. Я наблюдал их эволюцию, от полной неспособности что-то сделать, даже когда им предоставляют все данные вплоть до IP-адресов, до серьёзной адекватной реакции, способности принять решение и найти злоумышленников.

Мы все — и компании, и частные лица — рассчитываем на защиту государства, и оно должно быть способно это сделать в самых разных сферах, в том числе в вебе. Но регулировать интернет довольно проблематично, и государство постоянно пытается придумать, как это сделать. Удивительно, в обычных условиях граждане плохо реагируют на регулирование в интернете, но при этом легко соглашаются на это после терактов или больших скандалов с потерей персональной информации. Ведь такие вещи наглядно показывают людям масштаб того, что может с ними произойти.

Как с этим обстоит в мире?

Я приведу несколько примеров. Ещё раз подчеркну, давайте обсуждать эту тему спокойно и рационально, не рассматривая себя как жителей той или иной страны.

Великий Китайский Фаервол. Возник в 2003 году, были заблокированы Twitter, Facebook, Instagram, Google+, YouTube и т.д. На сайте www.ted.com есть прекрасная лекция — «Позади Великого Китайского Фаервола». Из неё можно узнать, как китайцы живут в этих условиях, о национальных аналогах всех социальных сервисов, как регулируется и работает эта внутренняя экосистема. Но такая ситуация, как в Китае, возможна при существовании различия в идеологиях.

Германия. Очень консервативное общество. С одной стороны, всё легко, никто ничего не запрещает, но закон обязывает размещать сервера в странах, которые соответствуют европейскому стандарту хранения персональных данных. А к ним относятся Канада, Швейцария, Аргентина, Гернси и остров Мэн (кто из вас знает про Гернси без помощи Гугла?).

В США основная масса ограничений была введена после 11 сентября. Президент имеет практически неограниченные полномочия, с 2002 года спецслужбы получили доступ к телефонным переговорам, электронной переписке и многому другому. В законе очень расплывчатые формулировки: «Если есть основания полагать, что может быть угрозой государственной безопасности». Зачастую это можно интерпретировать так, что не нужен никакой ордер для затребования хранящихся на серверах данных. Это настолько масштабное явление, что большие компании просто делают для спецслужб доступ к IMAP.

Закон 242-ФЗ

А как обстоят дела в России? Давайте вспомним, как появлялся первый закон, расширяющий полномочия Роскомнадзора. Все опасались, что с его введением будет закрыто множество сайтов, но этого не произошло. Зачем тогда принимали закон? Чиновники из Роскомнадзора подчёркивали, что закон нацелен на построение отношений с рядом компаний, чтобы была некая законодательная база, обеспечивающая легитимность определённых требований. И этот подход используется во всём мире. То есть закон — это всегда переговорная позиция государства в диалоге с бизнесом.

Итак, с 1 сентября 2015 г. мы должны будем хранить персональные данные на территории России. В законе прописаны ограничения и исключения, которые регулируют порядок действий с различными форматами данных. И, конечно, здесь много неясных формулировок. Не очень понятно, что такое «персональные данные». Кто-то скажет, что это информация, позволяющая вас однозначно идентифицировать. Но в современном мире для идентификации людей могут использоваться самые разные вещи.

Например, в немецком законе есть очень интересный пункт о том, что данные, предназначенные для разных задач, должны обрабатываться раздельно. Это означает, что нельзя использовать информацию, собранную с помощью одного сервиса, для каких-то задач в рамках иного сервиса. Скажем, нельзя использовать отправленное вами SMS для определения вашего местоположения. И подобные вещи необходимо формулировать как можно точнее и однозначнее, чтобы их нельзя было обойти или интерпретировать в угоду какой-то стороне.

Последствия двусмысленности и недосказанности законов

Нужно понимать, что ни один серьёзный участник рынка не согласится работать по хакнутым схемам. Основное правило всех западных компаний: «Мы будем соблюдать законодательство страны, чтобы не рисковать бизнесом». Но для IT-специалистов свойственно рассуждать в ключе «Мы всех перехитрим». Например, возьмём российский IP, сделаем тоннель и никакие данные переносить не будем. Как вы догадаетесь, что они, на самом деле, находятся не в России? Но госструктуры нехватку собственной компетенции восполняют за счёт привлечения специалистов со стороны. Например заключают контракты с компаниями, которые делают анализ, расшифровку или какие-то другие вещи.

Второй способ обхода закона — «Разместим часть данных в России, а потом перенесём в “западное” облако». Эта схема пока не получила распространения, да и крупные компании предпочитают не рисковать. В любом случае, на мой взгляд это временное решение.

Также хочу коснуться ещё одного аспекта, который вообще выходит за рамки законодательства, это вопрос честности с клиентами. Мы, как IT-специалисты, традиционно доверяем западным IT-компаниям. Клиенты же начали теперь задавать вопросы о том, где мы храним персональные данные, где расположены наши сервера. Каждый решает сам — соврать или нет. Но клиенты не будут мириться, если вы не выполняете закон. Нужно также помнить о том, что степень соблюдения вами этого закона может отразиться в потерях персональных данных. Если они будут украдены с вашего заграничного сервера и опубликованы, то вы попадёте под раздачу за нарушение законодательства.

Переезд «Битрикс24»

Каждый раз, когда об этом заходит речь, нам задают один вопрос: «Что вы будете делать? Вы сидите в Amazon, куда вы пойдёте?» С системой «Битрикс24» каждый день активно работают больше 70 тыс. компаний. У нас два дата-центра в США, в Amazon, они обслуживают Северную и Южную Америку и обеспечивают отказоустойчивость. Также у нас два сервера в Ирландии, они обслуживают Европу, Украину, Россию, Казахстан и Белоруссию.

У нас применена упрощённая архитектура, мы активно используем амазоновский балансировщик. В случае отказа одного дата-центра мы переключаемся на второй. Дата-центры работают в режиме master-master, они взаимозаменяемы. Облачные файлы расположены в нескольких дата-центрах, базы — в двух, вебы масштабируются.

Например, по США, в зависимости от нагрузки, кластер может содержать по 25-40 машин, в Европе — до 75, не считая вспомогательную группу. Это немного, учитывая то, что наши клиенты — компании. И вести агрессивную ценовую политику нам позволяет именно грамотное масштабирование. Мы платим ровно за то количество ресурсов, которое необходимо для работы наших клиентов в данный момент. Поэтому мы не можем переехать на физическое оборудование и платить фиксированную сумму, это разрушит нашу финансовую модель. Нам придётся либо поднять цены, либо что-то переделать. Поэтому мы приняли решение использовать два дата-центра в России. Наша позиция — мы не нарушаем закон и не обманываем наших клиентов.

Как мы выбирали провайдера

Нам нужны были провайдеры, имеющие как минимум два дата-центра, чтобы мы могли повторить используемую сегодня схему. Причём мы сделали свой балансировщик ещё до начала поисков дата-центров.

Нужно было решить, на чём мы будем размещаться — на физическом оборудовании или на виртуальной системе? Последний вариант нам ближе, поскольку именно его мы сейчас и используем, в этом случае управляемость гораздо выше. Даже если мы перейдём на железо, то всё равно сверху развернём свою виртуальную инфраструктуру. Исходя из этого было принято решение искать провайдера, способного обеспечить виртуальный layer, понятный и надёжный. Также нам нужны были и облачные файловые хранилища, но с ними в России не очень хорошо.

Что ещё было критически важно?

• Виртуальные машины с произвольными конфигурациями дисков. Это необходимо для нашей БД, которую мы шардим, очень хорошо уплотняем.
• Динамическая тарификация, потому что без этого мы не сможем обеспечивать текущий уровень цен.
• API для включения, отключения, создания и в нужных нам дата-центрах т.д.

Мы один из самых крупных клиентов Amazon в России. К сожалению, нам приходится мигрировать, поскольку Amazon пока не принял решение о развёртывании российской версии сервиса. Это их позиция: «Мы не будем нарушать закон ни одной страны. Если законодательство меняется, мы либо соответствуем ему, либо уходим». Но нужно отдать им должное, они всячески помогают нам мигрировать.

Итак, Amazon отпал, как и все существующие на рынке серьёзные игроки, за исключением не представленных в России. Пришлось неоднократно корректировать список требований. Например, мы изначально поставили условие, что виртуализатор должен быть некоммерческим, однако почти все используют VMware, изредка встречается Xen. Было и ещё одно требование, которое звучало так: «Компания должна быть не инвестиционной». Почему? Потому что если закончатся инвестиции, то и бизнес закончится. Таких примеров было предостаточно.

Следующий критерий: компания должна быть среднего размера, что позволяет сохранять необходимую степень гибкости в принятии решений. И это должно быть её основным направлением бизнеса. Нам встречались замечательные провайдеры, которые, как потом выяснялось, зарабатывают деньги совсем на другом. Нам это было важно понять, потому что переезд дело беспокойное, дорогое и хочется делать это как можно реже. Мы требовательные, капризные заказчики, но всё же нашлись те, кто удовлетворил всем нашим запросам. Сформировался short list, из которого и был, в результате, выбран партнёр, которого мы пока не будем называть.

• Cloud4Y
• DataLine
• IT-Grad
• Oncloud
• Облакотека

Как мы переезжаем

• Первый этап. Мы переносим балансировщик, решаем техническую задачу по увеличению скорости доступа для клиентов. Это уже сделано. Балансировщик не только балансирует, но и полностью кэширует графику, статику, делает терминацию SSL, держит speedy и многое другое. Благодаря этому мы практически полностью закрыли вопрос относительно скорости работы сервиса.
• Второй этап. Мы сейчас этим занимаемся. В двух дата-центрах поднимаем БД, делаем скилинговую инфраструктуру. И так как балансировщик уже наш собственный, то мы будем переводить от него часть трафика на опытные сервера. И первыми начнут эксплуатировать российскую инфраструктуру те клиенты, которые бесплатно пользуются «Битрикс24». Кстати, наша требовательность к качеству транспортной системы уже помогла выявить несколько проблем у операторов вышестоящих аплинков, их уже устранили.
• Третий этап. Начнётся регистрация уже в новой инфраструктуре. Цель — к вступлению в силу закона обеспечить работу шести дата-центров, два из которых будут находиться в России.

Я ещё раз подчеркну, что у нас внутри проекта будет осуществляться разделение по регионам: в американских дата-центрах будут размещаться домен.сom, Бразилия, Испания (потому что она больше ориентирована на Южную Америку), в Ирландии — Германия и Украина, а в Россию переедут российские партнёры.

Спасибо за внимание! Если у вас есть вопросы, добро пожаловать в комментарии.