Примечание переводчика: В нашем блоге мы неоднократно затрагивали вопросы дата-центров и инфраструктуры различных облачных сервисов (в частности, рассказывали о развитии собственного облачного проекта 1cloud). Сегодня мы представляем вашему вниманию перевод материала команды фотохостинга imgix о его новом дата-центре.



По словам членов команды imgix, целью проекта является увеличение ценности каждого изображения в Интернете. Это достигается за счет быстрой доставки контента, гистограммной обработки изображений, регулирования цвета, более эффективного процесса сжатия, совместимости с определенными устройствами и браузерами и многого другого. В связи с расширением возможностей интернета – начиная с рабочего стола персонального компьютера и заканчивая планшетами, мобильными телефонами, «умными» часами и многими другими электронными приспособлениями, которые только можно себе представить – заранее предугадать, как должно быть представлено изображение, сейчас практически невозможно. Изображениям приходится меняться в зависимости от текущей ситуации, чтобы выполнять свои функции во все более разнородной среде современной сети интернет.

Компания imgix была создана специально для того, чтобы решить эту задачу. Сервис позволяет динамически обрабатывать любые изображения в Интернете и адаптировать их к текущим условиям в режиме реального времени. Учитывая наличие в Сети триллионов изображений, и все более быстрый рост их числа, для достижения своих целей нам потребуется огромный запас мощности и ресурсов. Ниже представлены фотографии проекта imgix по реализации этой задачи.

Структура


Новый дата-центр является первой попыткой внедрить принципы быстрого развертывания на стадии проектирования. Под быстрым развертыванием следует понимать внедрение базовой инфраструктуры до ее фактического применения, с обеспечением достаточной гибкости при осуществлении изменений в будущем. Проектирование с учетом быстрого развертывания является неотъемлемой частью управления масштабируемым сервисом в традиционных дата-центрах.

У такого подхода к проектированию дата-центра имеются свои сложности: первоначальные расходы могут оказаться слишком высокими, небольшая ошибка может повлечь за собой негативные последствия. Однако этот метод идеально подходит для imgix, так как он предоставляет полную свободу действий для наиболее эффективного решения проблем клиентов.



Кабельная система


Инженеры imgix рекомендуют продумывать свою инфраструктуру заранее, потому что [в «боевых» условиях] на адаптацию к изменениям трафика постоянно не хватает времени. Кабельная инфраструктура фотохостинга построена на этом принципе. Каждый кабель был проложен заранее, а объемы «темного» оптоволокна превышают текущие потребности в три раза. Кабельные каналы были проложены таким образом, чтобы предотвратить отключение питания в случае повреждения одного из кабелей.

imgix использует систему из медных кабелей для поддержания работы сети управления и формат последовательного соединения сетевых устройств – это запасной вариант на случай непредвиденных ситуаций, которые могут помешать использованию привычных каналов управления. Непосредственно на самом объекте всегда найдется человек, который решит возникающие проблемы, но возможность разобраться со всем удаленно значительно увеличивает быстродействие системы.









Электрооборудование и вспомогательные конструкции


Установка шинопровода дает больше возможностей при развертывании оборудования, но оказывается гораздо более затратной. Хоть гибкость и важна в такой ситуации, инженеры imgix решили, что возможно упростить свою задачу и резко сократить расходы на строительство. Вместо шинопровода они обеспечили возможность использования одного и того же варианта подключения цепи питания для каждого серверного шкафа, что позволило устанавливать любой шкаф в любое место и в любое время (лишь с незначительными ограничениями). Заранее создав инфраструктуру электропитания, команда проекта снизила риски при работе с включенным оборудованием и свела обеспечение питания новых шкафов к работе автоматического выключателя.

Кроме этого, важную роль в быстром и мобильном размещении серверных шкафов играет система опорных конструкций. Инженеры установили специально изготовленные муфты для крепления болтов в напольной плитке, которые позволяют надежно прикрепить шкаф к полу. Шкаф крепится четырьмя болтами к этим муфтам – это процесс, занимающий считанные минуты.







Серверы


Все решения по быстрому развертыванию позволяют imgix при необходимости установить дополнительные серверы, как только нам это потребуется, и разобраться со всем, что интересует клиентов сервиса. Помимо прочего, у компании есть возможность развернуть определенный тип сервера для конкретной цели, так как некоторые задачи лучше выполнять на специальных платформах.





OS X


Операционная система Apple предлагает множество преимуществ над другими платформами, если говорить об обработке изображений, и по тем же причинам ее предпочитают многие дизайнеры. В распоряжении imgix имеется особый инструментарий, позволяющий использовать эти преимущества при оказании услуг и выполнении операций с изображениями, обеспечивая высочайшее качество и производительность.

Развертывание оборудования данного типа в условиях дата-центра – задача довольно сложная, и в ходе проекта инженеры imgix рассматривали ее со всех сторон при участии привлеченного системного интегратора компании. Дизайн серверных шкафов imgix позволяет сотрудникам работать с этими серверами так же, как и с любыми другими в производственной среде, и обеспечивает надежность этих компонентов инфраструктуры imgix.





Linux


Некоторые задачи лучше решаются с помощью систем Linux, работающих на традиционном серверном оборудовании. Инженеры определили несколько типов серверов, выполняющих роль базовых элементов в инфраструктуре фотохостинга, и по возможности стараются использовать одинаковые элементы по несколько раз. Это обеспечивает гибкость при применении того или иного типа сервера в определенных целях, а также при сокращении операционных издержек.



Сеть


Сетевая инфраструктура дата-центра является логически и физически разнородной и имеет высокую степень надежности. Как и в случае с серверным оборудованием, была выбрана технику, готовая к повторному использованию, для того чтобы минимизировать операционные расходы, которые несет небольшая по численности команда проекта во время эксплуатации оборудования.

У дата-центра есть возможность обмена трафиком с другими сетями, что играет немаловажную роль в работе сети imgix еще на этапе планирования.







Дополнительные материалы


Важность дополнительных материалов зачастую недооценивают, а решить проблему без подходящих для этого средств очень тяжело. Команда imgix старается выявлять наиболее частые и острые проблемы и соответствующим образом хранить все инструменты и вспомогательные элементы.

Способ хранения дополнительных материалов важен так же, как и сам объект хранения: если вы не можете найти что-то сразу, то можно считать, что у вас этого и нет. Все вспомогательные материалы размечены, и каждая вещь знает свое место.







На сегодня все! Спасибо за внимание, не забывайе подписываться на наш блог.

Комментарии (13)


  1. gorodianskyi
    24.06.2015 21:15

    Сколько железка :) Неверно это мой рай!


    1. JDima
      24.06.2015 21:41
      +2

      Пара работ с вечера до утра машинном зале, и это навеки превратится из рая в ад :) Шумно, сухо, где-то жарко, где-то холодно, где-то сдувает, вон в том ряду мобильник никогда не видит сеть…

      ASR9010 с парой RSP440-SE… Что же этот красавец такой пустой стоит? Прямо жалко.


  1. Beautiful-Skyline
    24.06.2015 22:04
    +1

    Поражена масштабами и качеством подхода!


  1. Ayahuaska
    24.06.2015 22:23

    >Инфраструктура: Что стоит за картинками в интернете
    Больше вкусных картинок!


  1. Ayahuaska
    24.06.2015 22:30

    >imgix использует систему из медных кабелей для поддержания работы сети управления и формат последовательного соединения сетевых устройств – это запасной вариант на случай непредвиденных ситуаций, которые могут помешать использованию привычных каналов управления.

    «формат последовательного соединения сетевых устройств» — имеется в виду «последовательный порт» aka COM-порт? =\


    1. Dima_Sharihin
      10.07.2015 17:37

      А я подумал, что это шинная топология дублирующей сети


  1. KorP
    24.06.2015 22:38

    А я бы почитал поподробнее про использование OS X. Неужели действительно Mac mini стоят? Но там же никакой отказоустойчивости вообще…


  1. ZOXEXIVO
    24.06.2015 22:52
    +3

    Что такого в OS X, что она лучше обрабатывает изображения?


    1. milast
      25.06.2015 04:15

      Может то, что её больше любят дизайнеры?


    1. lexfrei
      25.06.2015 14:11

      Могу предположить, что оптимизация ПО для конкретного железа?
      Не уверен, но мне так рассказывали.


  1. vanyas
    25.06.2015 03:22
    +1

    Про OS X улыбнуло, как она интересно «лучше» обрабатывает изображения?


  1. Elektronik
    25.06.2015 05:42
    +5

    Да, фоточки очень красивые. А от статьи осталось ощущение маркетингового bullshit-а: никаких технических деталей, «у нас всё надёжно», «у нас всё продумано», «у нас всё гибко» и т.д.

    Как и в случае с серверным оборудованием, была выбрана технику, готовая к повторному использованию
    — в противовес одноразовым коммутаторам и маршрутизаторам?
    У дата-центра есть возможность обмена трафиком с другими сетями
    — просто пушка. Написали бы ещё, что дата-центр работает от электричества.


    1. askbow
      25.06.2015 09:52

      У дата-центра есть возможность обмена трафиком с другими сетями
      — просто пушка. Написали бы ещё, что дата-центр работает от электричества.
      Да, забавно вышло =). В оригинале всё чуть менее размыто — показанный на картинках ЦОД подключен к крупному обменнику Интернет-трафика (IX) и является важным звеном в перспективной (планируемой) сети этого сервиса.