Привет, Хабр!

Меня зовут Алмаз Мазитов, я бизнес-лидер по NGFW в Innostage, хочу поделиться с вами результатами любопытного тестирования.

В мае 2023 года наши партнёры из Positive Technologies объявили о скором выпуске PT NGFW и показали достаточно высокие цифры производительности. Российский рынок, который испытывает явный дефицит высокоскоростных межсетевых экранов нового поколения, воспринял анонс с большим энтузиазмом и сейчас ждет выхода коммерческой версии PT NGFW. Но команда Innostage предпочитает не верить на слово, а проверять все в собственной лаборатории, поэтому мы протестировали раннюю версию PT NGFW и делимся с вами отчетом этих испытаний.

Технические характеристики компонентов стенда

В качестве сервера PT NGFW мы использовали демонстрационный образец со следующими характеристиками:

  • Два CPU Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz

  • 256 GB RAM

  • 4 сетевых порта 10G

  • 2 сетевых порта 1G

Для тестов использовались:

Сервер системы управления PT NGFW

 

Виртуальная машина под управлением гипервизора VMware ESXi, 7.0.3, 20328353

 

8 vCPU, 64GB RAM, 130 Gb Store.

Операционная система: Debian 11.4

Сервер генератор трафика (Tgen)

 

Сервер Dell PowerEdge R840,

4 x 24 Cores, Intel Xeon Gold 6252 2.1Ghz, 2TB RAM, 250GB store

Порты:

·        4 x 10Gbe (SFP+) (на базе Intel)

·        1 x 1Gbe (Rj45)

Операционная система: Debian 11.4

Рабочее место администратора (Wstation)

2 core Intel Xeon Gold 5218R 2.1Ghz, 2GB RAM

Операционная система: Windows Server 2022 Standard

Тестовая рабочая станция (Ustation1)

Intel Core i7-9700 3.0Ghz, 16GB RAM, 1TB, store

Операционная система: Windows 10 Pro

Тестовая рабочая станция (Ustation2)

Intel Core i5-8400 2.8Ghz, 16GB RAM, 1TB, store

Операционная система: Windows 10 Pro

Хост жертва (Victim)

4vCPU, 4GB RAM, 30GB store

Операционная система: Debian 11.7

Хост атакующий (Attacker)

4vCPU, 4GB RAM, 30GB store

Операционная система: Debian 11.7

Коммутатор (QTECH)

Qtech QSW-6300-32F

Firmware: 12.5(4)B0101, Release 09152511

Коммутатор (Extreme)

Extreme Networks 3626GTS

Firmware: 6.1.0.0

Software: 6.4.2.007

Корпоративный межсетевой экран (Corporate NGFW)

CheckPoint

Схемы стенда

Для функционально-нагрузочных испытаний организовали такую схему стенда:

Для проведения нагрузочных испытаний:

И для проведения функциональных испытаний:

Результаты испытаний

Для начала перечень функциональных и нагрузочных тестов, которые проходил PT NGW в ходе испытаний.

Нагрузочные проверки:

  • Пропускная способность в режиме МСЭ: L7 фильтрация (с распознаванием приложений)- от 30 Гбит/сек.

Профиль трафика:

  • Пропускная способность в режиме IPS: не менее 10 Гбит/сек.

  • Одновременных сессий: не менее 10 000 000.

  • Поддержка расширенного диапазона VLAN ID: не менее 4096.

  • Максимальное количество активных VLAN: не менее 4096.

Функциональные проверки:

  • Web-интерфейс для управления оборудованием.

  • Настраиваемая функция журналирования отдельных строк списков доступа.

  • Система управления настройками устройств, политиками безопасности централизована (фильтрация, IPS).

  • Создание, распределение и хранение политик безопасности с использованием иерархической модели.

  • Поддержка управления системой с помощью API.

  • Не менее 4-х контекстных режимов работы межсетевого экрана.

  • Детектирование и запрет приложений.

  • Функция фильтрации трафика с контролем состояния соединения.

  • Функция фильтрации трафика по IP-адресам источника и получателя.

  • Функция фильтрации трафика по протоколу (инкапсулируемого в IP) и по портам.

  • Функция создания групп объектов для упрощения списков доступа.

  • Функция корректировки конфигурации системы в режиме реального времени без остановки обработки.

  • Анализ трафика, передаваемого по протоколу IPv4.

  • Поддержка инспекции HTTPs, расшифровки TLS, подмены сертификатов.

  • Обнаружение вторжений в трафике по сигнатурам.

Протестированные режимы работы:

  • Открытый стандарт, который описывает процедуру тегирования трафика для передачи информации о принадлежности к VLAN. Так как 802.1Q не изменяет заголовки кадра (фрейма), то сетевые устройства, которые не поддерживают этот стандарт, могут передавать трафик без учёта его принадлежности к VLAN. 802.1Q помещает внутрь фрейма тег, который передает информацию о принадлежности трафика к VLAN.

  • Поддержка статической маршрутизации.

  • Пропускная способность в режиме МСЭ не ниже 30 Гбит/c при использовании 85 000 правил.

  • Пропускная способность IPS не ниже 10 Гбит/c при использовании 85 000 правил.

  • Количество правил не влияет на пропускную способность межсетевого экрана.

Дополнительные проверки:

  • При создании объекта можно привязать порт к протоколу на уровне приложений.

Пример: при открытии доступа по 80 порту TCP и с привязкой его на уровне приложения http, должен проходить только http-трафик, если по данному порту пытаются сформировать запрос, который не является http-трафиком, то запрос должен быть заблокирован (inspection protocol on firewall).

  • Исключения в IPS. Можно убрать набор сигнатур для определенного взаимодействия с указанием источника и назначения.

Для ранней версии перечень поддерживаемых функций уже значительный. Кроме этого, вендор обещает выпустить две следующие версии в 2024 году: в мае и в ноябре. Например, в мае 2024 появится:

  • Создание собственных сигнатур IPS, создание профилей IPS и расширения доступных настроек системы предотвращения вторжений.

  • Поддержка GeoIP (эту функцию очень ждем, уже приготовили каверзные проверки).

  • URL-фильтрация.

  • Поддержка отказоустойчивого кластера.

  • Поддержка NAT.

Также в мае 2024 года ребята из Positive Technologies обещают представить собственные аппаратные платформы для межсетевого экрана российского производства. Innostage обязательно проведет их повторное тестирование.

Результаты нагрузочного тестирования МСЭ PT NGFW

А теперь самое интересное. Насколько правдивыми оказались цифры пропускной способности, которые вендор активно публикует в своих материалах. Делимся результатами нагрузочных тестов в таблице ниже.

Функционал

Параметр

85 000 в каждом из 4 контекстов правил МЭ (простые правила, состоящие из 1 источника и назначения (адрес с префиксом /32) и одного сервиса, нет трафика по всем 85к правилам, есть трафик по последнему разрешающему правилу), Gbps

85 000 в каждом из 4 контекстов правил МЭ  (правила средней сложности, состоящие из 5 источников и 5 назначений (подсети с префиксом /32), группы сервисов (5 сервисов по одному порту/протоколу в каждом), есть трафик по последнему разрешающему правилу), Gbps

Комментарий

FW+APP CONTROL

Throughput на трафике Emix, Гбит/с

Rx 36 / Tx 35.8 / CPU 16.5%

Rx 36.1 / Tx 35.9 / CPU 15.6%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Throughput на профиле трафика Emix, Гбит/с

Rx 29.5 / Tx 29.3 / CPU 86%

Rx 29.5 / Tx 29.3 / CPU 85%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Throughput на трафике UDP с размером пакетов 64 байт, Гбит/с

Rx 8.47 / Tx 8.47 / CPU 8.6%

Rx 8.71 / Tx 8.71 / CPU 9.4%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Throughput на трафике UDP с размером пакетов 64 байт, Гбит/с

Rx 8.45 / Tx 8.45 / CPU 12.4%

Rx 8.64 / Tx 8.64 / CPU 12.3%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Throughput на трафике UDP с размером пакетов 512 байт, Гбит/с

 

 

Rx 37.5 / Tx 37.5 / CPU 5%

Rx 37.4 / Tx 37.4 / CPU 4.6%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Throughput на трафике UDP с размером пакетов 512 байт, Гбит/с

Rx 37.4 / Tx 37.4 / CPU 11.8%

Rx 37.4 / Tx 37.4 / CPU 12.6%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Throughput на трафике UDP с размером пакетов 1500 байт, Гбит/с

Rx 40 / Tx 40 / CPU 1.2%

Rx 39.8 / Tx 39.8 / CPU 1.2%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Throughput на трафике UDP с размером пакетов 1500 байт, Гбит/с

Rx 39.9 / Tx 39.9 / CPU 5.1%

Rx 40 / Tx 40 / CPU 5.2%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Максимальное количество сессий для протокола TCP

Rx 7.49 / Tx 7.79 / CC 12.6M / CPU 11.3%

Rx 7.52 / Tx 7.82 / 12.6M CC / CPU 10,4%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Максимальное количество сессий для протокола TCP

Rx 7.51 / Tx 7.81 / CC 12.6M / CPU44.6%

Rx 7.49 / Tx 7.79 / CC 12.6M / CPU45%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Максимальное количество новых сессий в секунду CPS

Rx 11 / Tx 11.4 / CPS 711k / CPU 21%

Rx 11.1 / Tx 11.5 / CPS 711k / CPU 20.2%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Максимальное количество новых сессий в секунду CPS

 

CPS 712 K / Rx 11.5Gb / Tx 11.1 / CPU 70,8%

CPS 711 K / Rx 11 / Tx 11.4 / CPU 69.3%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Throughput для трафика HTTP на размере ответа 64КБ, Гбит/с

Rx 39.4 / Tx 38.5 / CPU 6.4%

Rx 39.4 / Tx 38.5 / CPU 5.6%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Throughput для трафика HTTP на размере ответа 64КБ, Гбит/с

Rx 29.2 / Tx 28.6 / CPU 14.3%

Rx 27.2 / Tx 26.6 / CPU 14%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL

Throughput для трафика HTTP на размере ответа 256КБ, Гбит/с

Rx 37.8 / Tx 37.8 / CPU 6.4%

Rx 36 / Tx 36 / CPU 5.4%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Throughput для трафика HTTP на размере ответа 256КБ, Гбит/с

Rx 32.1 / Tx 31.9 / CPU 19%

Rx 29.5 / Tx 29.3 / CPU 20%

Application Control (L7) был включен во время тестирования

FW+APP CONTROL+IPS

Скорость установки HTTP соединений в секунду

Rx 11.5 / Tx 11.1 / CPU 70.8%

Rx 11 / Tx 11.4 / CPU 69.3%

Application Control (L7) был включен во время тестирования

Выводы

В целом наша техническая команда осталась довольна результатами испытаний.

Плюсы:

  • иерархическая модель управления политиками безопасности. Такой подход должен быть особенно удобен для наших клиентов с разветвленной структурой подразделения. Можно создавать группы и подгруппы устройств, в которых происходит наследование правил;

  • гибкость настройки самих правил и результатов их работы (можно не только дропнуть пакеты, но и, например, закрыть сессию);

  • наличие виртуальных контекстов, по которым в российских решениях мы откровенно скучали. Можно разделить одну коробку на 100-150 логических и строить сложные логические топологии.

  • скорость применения политик практически не зависит от нагрузки на межсетевой экран. Мы грузили 85 000 правил фильтрации под нагрузкой 30 Гбит/с и все правила были применены меньше, чем за две минуты;

  • открытый API. Как вы понимаете, грузить 85 000 правил без него нам было бы особенно грустно;

  • действительно шустрый IPS (тут вендор нас не обманул). Сравнили производительность с включенным и выключенным IPS и получили не больше 10% разницы (для большинства отечественных решений наши тесты показывали разницу в разы больше);

  • поддержка большого количества правил и слабое влияние количества правил на производительность.

Минусы:

  • отсутствие NAT и динамической маршрутизации в современном межсетевом экране (Positive Technologies обещает добавить в ближайшей версии, а мы обязательно проследим за обновлениями);

  • недостаток документации по продукту. Мы, конечно, понимаем, что получили решение еще до официального релиза, но хотелось бы иметь хоть какую-то инструкцию по настройке. Справедливости ради Positive Technologies готов был консультировать нас по каждому вопросу.

Комментарии (21)


  1. Elon_space
    24.04.2024 07:23
    +1

    Из таблицы не понял, по каким пунктам расхождения в заявленной и реальной пропускной способности. И есть ли вообще?


    1. bdoxhobehue Автор
      24.04.2024 07:23

      Это две таблицы с разными условиями тестирования.


      1. Elon_space
        24.04.2024 07:23

        Я про вторую таблицу с процентовкой по простым и правилам средней сложности. Тут факт результат в рамках заявленного вендором или где-то ниже/ не дотягивает?


        1. bdoxhobehue Автор
          24.04.2024 07:23

          Результаты, ниже заявленного, там по нагрузке CPU можно судить, так как наш стенд не может дать больше и это не релизная версия, железо тоже будет другим. С GEN5 процами. В планах тесты c IXIA.


  1. BI_Brainiam
    24.04.2024 07:23
    +1

    Тесты тестами… Но ведь как, например, со статистикой бывает: вроде и наглядно, вроде и достоверно, но есть нюансы, причем порой критичные… Вот вы по итогу рекомендуете МЭшку или продукт еще сырец?


    1. bdoxhobehue Автор
      24.04.2024 07:23

      Продукта еще нет:) он появиться после ПХД, это пред релиз тесты. Могу сказать что по производительности хорошие данные, есть крутые фишки как например VC, но естественно необходимо проверить надежность и остальной функционал. Так что ждем июня.


  1. Ava256
    24.04.2024 07:23
    +1

    Не понял что тут тестировалось.
    Пропускная способность FW по разрешающему правилу? Влияние на пропускную способность включенных AppControl и ips с неизвестным набором правил? И это стоило того?


    1. bdoxhobehue Автор
      24.04.2024 07:23
      +1

      Да, по последнему разрешающему правилу, то есть он прошел все 85 к правил. APP control нельзя выключить, IPS были включены все сигнатуры, их порядка 10К. Да тесты максимально синтетические, но сейчас у вас появилось понимание о том что PT позиционирует себя в high end сегменте.


  1. leitosama
    24.04.2024 07:23
    +1

    А что за движок внутри IPS и откуда появились 85к правил? На 2023 год у FortiGate'а было ~10-16k правил (source).


    1. bdoxhobehue Автор
      24.04.2024 07:23

      По утверждению ПТ, движок IPS собственная разработка. 85К правил на генерированы с помощью API. Если хотите пруфы могу скриншот найти.


      1. leitosama
        24.04.2024 07:23

        Конечно, я думаю не только мне интересно)


  1. Borg_IT
    24.04.2024 07:23
    +1

    Чтобы статья претендовала на серьёзное исследование (в духе старого хабра) ей не хватает важного атрибута - методики тестирования. Например, как можно говорить о результатах производительности IPS без описания конкретной методики, в которой указываются, что за правила IPS были включены, в каком месте сессии IPS искала сигнатуры, применялся ли поиск сигнатур в сжатых HTTP(s), осуществлялось ли расшифрование TLS-сессий и т.д.

    Без этой информации - это просто маркетинговая статья с показателями из даташитов производителя.


    1. bdoxhobehue Автор
      24.04.2024 07:23
      +1

      В этой статье основной акцент был сделан на производительность, естественно все что вы написали необходимо и это будет в цикле следующих статей. Сейчас мы ожидаем релиза и после этого будем разбираться с ней и в хвост и в гриву.


  1. Borg_IT
    24.04.2024 07:23

    PT в своих выступлениях рассказывал, что использует pooling CPU. Как удалось получить конкретные цифры по утилизации CPU?


    1. bdoxhobehue Автор
      24.04.2024 07:23

      Для изолированных ядер используется подход на основе семплинга. Аналогичные реализации можно найти в других продуктах, использующих DPDK, например в Trex.


      1. Borg_IT
        24.04.2024 07:23

        Имелось ввиду режим, при котором утилизация CPU выводится в 100% для обеспечения наибольшей производительности


  1. onetosx
    24.04.2024 07:23

    Ставить на периметр устройство, которое не имеет на борту NAT.

    А декрипта как работает?


    1. bdoxhobehue Автор
      24.04.2024 07:23

      NAT будет продемонстрирован на ПХД. Декрипта как и всех MITM.


      1. onetosx
        24.04.2024 07:23

        Производительность ее какая?


        1. bdoxhobehue Автор
          24.04.2024 07:23
          +1

          На TREX не померишь, ждем офф выхода и далее собираем новую лабу с IXIA


          1. onetosx
            24.04.2024 07:23

            А у нас Иксию не продают же в РФ. Насколько мне известно, она имеется в каком-то доступе только в одной компании, имеющей в названии сходство с парнокопытным животным.