Облаков в Таиланде довольно много, и это не фигуральное выражение — здесь действительно часто идут дожди, особенно в сезон муссонов. Наиболее активно природа проявила себя в 2011 году, когда в Таиланде случилось масштабное наводнение, вызванное непрекращающимися в течение долгого времени ливнями. На Таиланде, как известно, много фабрик по производству жестких дисков и накопителей иных типов — и как раз эти фабрики, в большинстве, и были затоплены в 2011 году. Тогда цены на жесткие диски повысились, цепи поставок винчестеров тем, кто в них нуждается, были нарушены.

Облачное подразделе компании Amazon прочувствовало на себе влияние стихии больше, чем многие другие компании. Так, дата-центры Amazon Web Services на некоторое время остались без необходимого оборудования, что привело к некоторыми проблемам в работе AWS. Обо всем этом на недавнем мероприятии «re:Invent» рассказал вице-президент AWS по инфраструктуре Джерри Хантер.



Также он добавил, что наводнение в Таиланде стало звонком к пробуждению. Он и некоторые другие высокопоставленные менеджеры компании прибыли в 2011 году в Таиланд, чтобы решить проблемы с поставками. Но они поняли, что здесь ничего не поделаешь, после того, как увидели проблемные фабрики — пример можно посмотреть на анонсной фотографии. Компании пришлось заново переосмыслить всю сеть поставок оборудования для своих дата-центров. Облачное хранилище Amazon S3 — один из наиболее крупных потребителей сетевого оборудования.

Во время кризиса 2011 года S3 хранил около 750 миллиардов объектов (сейчас это количество значительно превышает триллион). Другие провайдеры облачных услуг также столкнулись с аналогичными проблемами. Сильное влияние на провайдеров облачных услуг оказал и рост цен на жесткие диски, поскольку понадобилось целых два года, чтобы цены снизились до докризисного уровня.

Сейчас, по словам Хантера, Amazon контролирует практически всю цепь поставок сетевого оборудования.

Snowball: Big Data в чемоданчике

На том же мероприятии Amazon Web Services представило интересное решение для скоростной передачи данных, которое может рассматриваться, в том числе, и как инструмент, решающий проблему связи клиента с AWS в том случае, если канал связи по какой-либо причине нормально не функционирует. Snowball — портативное хранилище данных с доступным объемом от 50 до 100 ТБ. Это решение может пригодиться клиенту AWS и в том случае, если канал связи работает нормально, но медленно. По подсчетам специалистов AWS, если клиенту с каналом связи в 100 Мбит/сек понадобится передать в ДЦ AWS 100 ТБ данных, то передача будет идти 100 дней. А «облачный чемоданчик» позволяет передать все эти данные гораздо быстрее — понадобится столько времени, за сколько автомобиль или самолет преодолеет расстояние от клиента до дата-центра AWS.

Здесь можно вспомнить поговорку вроде «Никогда не недооценивайте пропускную способность грузовика, заполненного кассетами с архивными данными, едущего по шоссе».



AWS доставляет Snowball прямо к клиенту, который подключает устройство к локальной сети, используя программные инструменты для шифрования данных, сохраняемых на портативное хранилище. Затем Snowball отправляется в AWS и загружается на сервера клиента.

Одним из первых клиентов такого типа сервиса стал ресурс BuzzFeed, поставляющий новости и видео более, чем 200 миллионам уникальным посетителям в месяц. Сейчас у компании около 250 ТБ архивных данных, чего слишком много для хранения на обычных дисках, при этом передача такого объема данных даже по скоростному каналу займет слишком много времени. А так перенос архивных данных BuzzFeed в дата-центр AWS занял меньше недели.