16.01.2018 08:09
FeeAR 15 5500 Источник
По мере развития облачных технологий растет потребность в эффективном управлении данными и серверами. Важным условием становится упрощение обслуживания инфраструктуры с помощью переноса генерируемых бизнесом данных в облачные среды. Выполнение новых технических требований влечет за собой многократный рост объемов данных, передаваемых между облачными средами по каналам WAN. Первостепенное значение приобретает создание и внедрение новых технологий ускорения передачи данных в WAN-сетях. Об одной из таких технологий, разработанной компанией Fujitsu, мы расскажем в этой статье.


Использование технологии ускорения сетей WAN в облачной среде

Сегодня чаще всего данные в сетях WAN передаются между облачными средами со скоростями от 1 до 10 Гбит/с. Однако для правильного функционирования современных ИТ-решений, включая Интернет вещей и искусственный интеллект, требуется еще более высокая скорость передачи данных. Существующие технологии ускорения WAN-сетей повышают эффективную скорость передачи за счет уменьшения передаваемого объема данных путем компрессии или дедупликации.

Однако в 10-гигабитных сетях WAN общий объем информации уже сейчас достигает максимальных значений. Существующие технологии ускорения в облачных серверах не могут серьезно повысить скорость передачи данных, что становится «узким местом» всей облачной инфраструктуры. Для того чтобы вывести скорость работы облачных сервисов на качественно новый уровень, необходимо либо использовать процессоры с более высокой тактовой частотой, либо применять технологии ускорения WAN, работающие по иным алгоритмам.

Как работает новая технология?


Fujitsu разработала технологию ускорения WAN-сетей, которая обеспечит передачу данных в облачных средах (в режиме реального времени) со скоростью до 40 Гбит/с. Такая скорость достигается при условии одновременного использования нескольких 10-гигабитных каналов. При этом в качестве ускорителей выступают установленные на сервере матрицы Field-Programmable Gate Array (FPGA). Технология призвана помочь в переносе больших объемов данных между облачными средами. Реализация новой разработки стала возможной благодаря выделению специального вычислительного узла, предназначенного для обработки операций сжатия. Он обеспечивает высокопараллельную работу основных вычислительных узлов, передавая данные в точно заданное время, на основании спрогнозированного завершения каждого этапа вычислений.

Ниже представлены особенности технологии.

1. Технология параллелизации матриц FPGA использует выделенные вычислительные узлы

Fujitsu разработала технологию параллелизации матриц FPGA, позволяющую значительно сократить время обработки данных, необходимое для их компрессии и дедупликации. Результат достигается за счет развертывания выделенных вычислительных узлов и обеспечения высокой степени параллелизации вычислений.


Реализация ускорения работы сетей WAN с помощью серверов, оснащенных матрицами FPGA

2. Оптимизация распределения потоков обработки данных между центральным процессором и матрицами FPGA

Ранее для сжатия данных без потерь с помощью дупликации их нужно было прочитать два раза – до и после определения дупликации данных. В итоге потребление ресурсов увеличивалось, а скорость работы систем снижалась. Новая технология оптимизирует использование вычислительных ресурсов за счет передачи вычислительной нагрузки на матрицы FPGA.


Метод сокращения объема потребления ресурсов между ЦП и матрицами FPGA

Результаты



Специалисты компании Fujitsu оценили скорость передачи больших объемов генерируемых бизнесом данных. В тестовой среде серверы с матрицами FPGA были подключены между собой с помощью 10-гигабитных каналов. В тесте, моделирующем резервное копирование данных, зафиксирована скорость передачи 40 Гбит/с. Это новый отраслевой рекорд. В итоге, скорость работы системы увеличилась примерно в 30 раз по сравнению с системой, оснащенной только процессором. Новая технология даст возможность создать новое поколение облачных сервисов, которые совместно используют большие объемы данных нескольких компаний из нескольких географически разнесенных ЦОД.

Fujitsu планирует реализовать данную технологию в виде приложения, загруженного на серверы с матрицами FPGA. В первую очередь его можно будет использовать в облачных средах. Лаборатория компании продолжит тестирование новой разработки. Начало коммерческого применения технологии запланировано на середину 2018 года.

Комментарии (15)


  1. larrabee
    16.01.2018 19:22
    #10619556

    [irony]

    со скоростью до 40 Гбит/с. Такая скорость достигается при условии одновременного использования нескольких 10-гигабитных каналов.

    — Скольких каналов?
    — Четырех.


  1. sysprg
    16.01.2018 22:59
    #10619948

    Не понял в чем прикол? Эксперименты с такими скоростями делались еще в 2001 году, а коммерчески доступный InfiniBand со скоростью передачи 40 Gbit/s по 4 линиям доступен примерно с 2011 года. В 2001 уже велись эксперименты по передаче на скорости 1 Tbit/s с использованием спектрального уплотнения (WDM) по оптике. Может быть здесь инновация в коммерческой доступности 40 Gbit/s в потребительском секторе по приемлемым ценам, а не на оборудовании за $1MB? :)


    1. FeeAR Автор
      17.01.2018 09:09
      #10620288

      Все верно, смысл именно в этом. Инновация в доступности ускорения WAN до 40 Gbit/s с помощью новой технологии, использующей установленные на сервере матрицы FPGA как ускорители.


  1. dmitry_ch
    16.01.2018 23:07
    #10619958

    В тестовой среде серверы с матрицами FPGA были подключены между собой с помощью 10-гигабитных каналов. В тесте, моделирующем резервное копирование данных, зафиксирована скорость передачи 40 Гбит/с. Это новый отраслевой рекорд


    Дарю идею: соединяем сервера 100 Мб каналом, гоним специально подобранные данные, которые, после компрессии/декомпрессии по обоим концам линии, оказываются переданными со скоростью 100 Гб/сек, и — бьем отраслевой рекорд! Причем, как и авторы поста, не испытывая никаких мучений из-за подтасовки и явной «натяжки» в данных.

    А, если серьезно, подано так, что верить компании совсем не хочется. Задачу блог выполнил, но только ровно обратную той, ради которой блог на Хабре обычно оплачивается. Вы точно из Fujitsu, авторы (смайлик)?


    1. FeeAR Автор
      17.01.2018 09:16
      #10620296

      Хотя среда была тестовой, тестирование проводилось на реальных данных, а не на специально подобранных. Ускорение сети WAN было достигнуто с помощью применения технологии параллелизации матриц FPGA и передачи на них вычислительной нагрузки от CPU.


      1. dmitry_ch
        17.01.2018 09:22
        #10620306

        Те фича в том, что вы 40 разбили на "несколько" (видимо, три или четыре: было бы их две, указали бы, а больше четырех вроде странно) "десяток", при этом сжав и разбив более менее поровну, а не по парам source ip/dest ip? Это не невидаль, но как продукт — неплохое предложение. Цены только нет, а от такого бренда опенсорсных цен ждать не стоит.
        И, да, с ценой за решение ещё нужно обязательно купить пакет поддержки на ответы суппорта "мы здесь для вас, пришлите логи!"?


        1. FeeAR Автор
          17.01.2018 09:37
          #10620322

          Начало коммерческого применения технологии запланировано на середину 2018 года.
          — поэтому цены пока и нет.


          1. dmitry_ch
            17.01.2018 09:39
            #10620326

            Да, понимаю. Не опасаетесь конкуренции уже со стороны открытых стандартов — ведь допилят, и никакие fpga не спасут через недолгое время?


            1. Fujitsu_Admin
              17.01.2018 09:44
              #10620332

              Пока сложно сказать, слишком много вариантов. А разработка еще тестируется.


      1. bormental
        18.01.2018 03:12
        #10622138

        Реальных это каких?


        параллелизации матриц FPGA, позволяющую значительно сократить время обработки данных, необходимое для их компрессии и дедупликации.

        Хотелось бы посмотреть как будут, например, реальные фильмы передаваться, на которых компрессия без потерь — пустая трата времени.


  1. rt3879439
    17.01.2018 09:04
    #10620278

    Зачем это, когда есть MPTCP и он вероятно станет стандартом?


    1. FeeAR Автор
      17.01.2018 09:35
      #10620320

      Компания Fujitsu ведет разработку множества технологий. Возможно, в будущем технология ускорения WAN-сети, разработанная Fujitsu, окажется востребованной в некоторых задачах.


  1. Tufed
    17.01.2018 10:26
    #10620374

    Тогда по факту это старая добрая агрегация каналов, только с обработкой на FPGA. Я так понимаю что Fujitsu просто сделала свою реализацию стандарта IEEE 802.3ad?


    1. FeeAR Автор
      17.01.2018 11:13
      #10620460

      Можно сказать что это агрегирование каналов. Но это нестандартизированная технология.


  1. bormental
    18.01.2018 02:59
    #10622134

    В тесте, моделирующем резервное копирование данных, зафиксирована скорость передачи 40 Гбит/с. Это новый отраслевой рекорд.

    И в чём новизна? Какой-то рекорд не сильно впечатляющий. Например вот тут (2016 г.) всё на реально и относительно давно доступном железе скорости в разы выше:



    Вообще при передаче данных бОльшим ограничителем не сети выступают, а, скорее, носители данных.