Информационная безопасность отделилась от телекоммуникаций в самостоятельную отрасль со своей спецификой и своим оборудованием. Но есть малоизвестный класс устройств, стоящий на стыке телекома и инфобеза – брокеры сетевых пакетов (Network Packet Broker), они же балансировщики нагрузки, специализированные/мониторинговые коммутаторы, агрегаторы трафика, Security Delivery Platform, Network Visibility и так далее. И нам, как российскому разработчику и изготовителю таких устройств, очень хочется рассказать о них подробнее.
Брокеры сетевых пакетов – специализированные устройства, которые нашли наибольшее применение в системах информационной безопасности. Как таковой класс устройств относительно новый и малочислен в общепринятой сетевой инфраструктуре по сравнению с коммутаторами, маршрутизаторами и т.д. Пионером в разработке данного типа устройств была американская компания Gigamon. В настоящее время игроков на этом рынке стало значительно больше (в том числе подобные решения есть у известного производителя тестовых комплексов — компании IXIA), но о существовании таких устройств по-прежнему знает только узкий круг профессионалов. Как было отмечено выше, даже с терминологией нет однозначной определенности: названия варьируются от «системы обеспечения прозрачности сети» до простого «балансеры».
Разрабатывая брокеры сетевых пакетов, мы столкнулись с тем, что, помимо анализа направлений развития функционала и испытаний в лабораториях/тест-зонах, необходимо параллельно объяснять потенциальным потребителям о существовании такого класса оборудования, поскольку не все знают о нем.
Еще 15-20 лет назад трафика в сети было мало, и это были преимущественно маловажные данные. Но закон Нильсена практически повторяет закон Мура: скорость интернет-соединения увеличивается ежегодно на 50 %. Объем трафика также неуклонно растет (на графике представлен прогноз 2017 года от компании Cisco, источник Cisco Visual Networking Index: Forecast and Trends, 2017–2022):
Вместе со скоростью возрастает важность циркулирующей информации (это и коммерческая тайна, и пресловутые персональные данные) и в целом работоспособность инфраструктуры.
Соответственно, появилась и отрасль информационной безопасности. Промышленность откликнулась на это появлением целого спектра устройств глубокого анализа трафика (DPI): от систем предотвращения DDOS-атак до систем управления событиями информационной безопасности, включая IDS, IPS, DLP, NBA, SIEM, Antimailware и так далее. Обычно каждое из этих средств – это программное обеспечение, устанавливаемое на серверную платформу. Причём каждая программа (средство анализа) устанавливается на свою серверную платформу: производители ПО разные, да и вычислительных ресурсов для анализа на L7 требуется много.
При построении системы информационной безопасности требуется решить ряд основных задач:
И следующие сопутствующие задачи:
Как всем известно, спрос рождает предложение, в ответ на эти потребности и начали развиваться брокеры сетевых пакетов.
Брокеры сетевых пакетов работают на уровне пакетов, и в этом они похожи на обычные коммутаторы. Главное отличие от коммутаторов заключается в том, что правила распределения и агрегации трафика в брокерах сетевых пакетов полностью определяются настройками. В брокерах сетевых пакетов нет стандартов построения таблиц пересылки (MAC-таблиц) и протоколов обмена с другими коммутаторами (типа STP), а поэтому диапазон возможных настроек и понимаемых полей в них гораздо шире. Брокер может равномерно распределить трафик из одного или нескольких входных портов на заданный диапазон выходных портов с функцией равномерной нагрузки по выходу. Можно задать правила на копирование, фильтрацию, классификацию, дедупликацию и модификацию трафика. Данные правила можно применять к разным группам входных портов брокера сетевых пакетов, а также применять последовательно друг за другом в самом устройстве. Важным достоинством пакетного брокера является возможность обработки трафика на полной скорости потока и сохранение целостности сессий (в случае балансировки трафика на несколько однотипных систем DPI).
Сохранение целостности сессий заключается в передаче всех пакетов сессии транспортного уровня (TCP/UDP/SCTP) в один порт. Это важно, так как системы DPI (обычно это программное обеспечение, запущенное на сервере, подключенном к выходному порту пакетного брокера) анализируют содержимое трафика на уровне приложений, и все пакеты, отправляемые/принимаемые одним приложением, должны поступать на один и тот же экземпляр анализатора. Если пакеты одной сессии теряются или распределяются между различными устройствами DPI, то каждое отдельное устройство DPI окажется в ситуации, аналогичной чтению не цельного текста, а отдельных слов из него. И, скорее всего, текст не поймет.
Таким образом, будучи ориентированными на системы информационной безопасности, брокеры сетевых пакетов имеют функционал, помогающий подключить к высокоскоростным телекоммуникационным сетям программные комплексы DPI и снизить нагрузку на них: осуществляют предварительную фильтрацию, классификацию и подготовку трафика для упрощения последующей обработки.
Кроме того, поскольку брокеры сетевых пакетов выдают широкий перечень статистики и часто оказываются подключены к различным точкам сети, то и при диагностике проблем работоспособности самой сетевой инфраструктуры они также находят свое место.
Название «специализированные/мониторинговые коммутаторы» возникло от базового назначения: собрать трафик с инфраструктуры (обычно при помощи пассивных оптических ответвителей TAP и/или SPAN-портов) и распределить между средствами анализа. Между разнотипными системами трафик зеркалируется (дублируется), между однотипными – балансируется. В базовые же функции обычно входят фильтрация по полям до L4 (MAC, IP, TCP/UDP-порт и т.д.) и агрегация нескольких слабонагруженных каналов в один (например, для обработки на одной системе DPI).
Этот функционал обеспечивает решение базовой задачи — подключение систем DPI к сетевой инфраструктуре. Брокеры различных производителей, ограничивающиеся базовым функционалом, обеспечивают обработку до 32 интерфейсов 100G на 1U (больше интерфейсов физически не помещается на переднюю панель 1U). Однако они не позволяют снизить нагрузку на средства анализа, а для сложной инфраструктуры не могут обеспечить даже требования к базовой функции: сессия, распределенная по нескольким туннелям (или снабженная MPLS-метками) может разбалансироваться на разные экземпляры анализатора и в целом выпасть из анализа.
Помимо добавления интерфейсов 40/100G и, как следствие, повышения производительности, брокеры сетевых пакетов активно развиваются в части предоставления принципиально новых возможностей: от балансировки по вложенным заголовкам туннелей до дешифрации трафика. К сожалению, такие модели не могут похвастаться производительностью в терабиты, зато позволяют построить на самом деле качественную и технически «красивую» систему информационной безопасности, в которой каждое средство анализа гарантированно получает только необходимую ему информацию в наиболее подходящем для анализа виде.
1. Упомянутая выше балансировка по вложенным заголовкам в туннелированном трафике.
Почему это важно? Рассмотрим 3 аспекта, которые могут быть критичны вместе или по отдельности:
Брокер сетевых пакетов разбирает внешние заголовки и последовательно проходит по указателям до самого вложенного IP-заголовка и балансирует уже по нему. Как результат – потоков становится существенно больше (соответственно можно разбалансировать равномернее и на большее число платформ), и система DPI получает все пакеты сессии и все связанные сессии мультисессионных протоколов.
2. Модификация трафика.
Одна из самых широких по своим возможностям функций, количество подфункций и вариантов их применения множество:
3. Дедупликация – очистка от повторяющихся пакетов трафика, передаваемого на средства анализа. Повторяющиеся пакеты чаще всего возникают из-за особенностей подключения к инфраструктуре – трафик может проходить через несколько точек анализа и зеркалироваться с каждой из них. Также встречается повторная отправка недошедших TCP-пакетов, но если их много, то это скорее вопросы к мониторингу качества сети, а не к информационной безопасности в ней.
4. Расширенные функции фильтрации – от поиска конкретных значений по заданному смещению до сигнатурного анализа по всему пакету.
5. Генерация NetFlow/IPFIX – сбор широкого перечня статистики по проходящему трафику и его передача на средства анализа.
6. Дешифрация SSL-трафика, работает при условии предварительной загрузки сертификата и ключей в брокер сетевых пакетов. Тем не менее это позволяет существенно разгрузить средства анализа.
Есть еще множество функций, полезных и маркетинговых, но основные, пожалуй, перечислены.
Развитие систем обнаружения (вторжений, DDOS-атак) в системы их предотвращения, а также внедрение активных средств DPI потребовало изменение схемы включения с пассивной (через TAP или SPAN-порты) на активную («в разрыв»). Данное обстоятельство повысило требования к надежности (ибо выход из строя в таком случае приводит к нарушению работоспособности всей сети, а не только к потере контроля над информационной безопасностью) и привело к замене оптических ответвителей на оптические bypass (чтобы решить проблему зависимости работоспособности сети от работоспособности систем информационной безопасности), но основной функционал и требования к нему остались прежними.
Мы разработали Брокеры сетевых пакетов DS Integrity с интерфейсами 100G, 40G и 10G от конструкции и схемотехники до встроенного программного обеспечения. Причём в отличие от других пакетных брокеров функции модификации и балансировки по вложенным заголовкам туннелей у нас реализуются аппаратно, на полной скорости портов.
Область применения и решаемые задачи
Брокеры сетевых пакетов – специализированные устройства, которые нашли наибольшее применение в системах информационной безопасности. Как таковой класс устройств относительно новый и малочислен в общепринятой сетевой инфраструктуре по сравнению с коммутаторами, маршрутизаторами и т.д. Пионером в разработке данного типа устройств была американская компания Gigamon. В настоящее время игроков на этом рынке стало значительно больше (в том числе подобные решения есть у известного производителя тестовых комплексов — компании IXIA), но о существовании таких устройств по-прежнему знает только узкий круг профессионалов. Как было отмечено выше, даже с терминологией нет однозначной определенности: названия варьируются от «системы обеспечения прозрачности сети» до простого «балансеры».
Разрабатывая брокеры сетевых пакетов, мы столкнулись с тем, что, помимо анализа направлений развития функционала и испытаний в лабораториях/тест-зонах, необходимо параллельно объяснять потенциальным потребителям о существовании такого класса оборудования, поскольку не все знают о нем.
Еще 15-20 лет назад трафика в сети было мало, и это были преимущественно маловажные данные. Но закон Нильсена практически повторяет закон Мура: скорость интернет-соединения увеличивается ежегодно на 50 %. Объем трафика также неуклонно растет (на графике представлен прогноз 2017 года от компании Cisco, источник Cisco Visual Networking Index: Forecast and Trends, 2017–2022):
Вместе со скоростью возрастает важность циркулирующей информации (это и коммерческая тайна, и пресловутые персональные данные) и в целом работоспособность инфраструктуры.
Соответственно, появилась и отрасль информационной безопасности. Промышленность откликнулась на это появлением целого спектра устройств глубокого анализа трафика (DPI): от систем предотвращения DDOS-атак до систем управления событиями информационной безопасности, включая IDS, IPS, DLP, NBA, SIEM, Antimailware и так далее. Обычно каждое из этих средств – это программное обеспечение, устанавливаемое на серверную платформу. Причём каждая программа (средство анализа) устанавливается на свою серверную платформу: производители ПО разные, да и вычислительных ресурсов для анализа на L7 требуется много.
При построении системы информационной безопасности требуется решить ряд основных задач:
- каким образом передавать трафик из инфраструктуры на системы анализа? (изначально разработанных для этого SPAN-портов в современной инфраструктуре недостаточно ни по количеству, ни по производительности)
- каким образом распределять трафик между различными системами анализа?
- каким образом масштабировать системы при нехватке производительности одного экземпляра анализатора для обработки всего объёма трафика, поступающего в него?
- каким образом мониторить интерфейсы 40G/100G (а в недалёком будущем и 200G/400G), так как средства анализа в настоящее время поддерживают только интерфейсы 1G/10G/25G?
И следующие сопутствующие задачи:
- каким образом минимизировать нецелевой трафик, который не нуждается в обработке, но попадает на средства анализа и расходует их ресурсы?
- каким образом обрабатывать инкапсулированные пакеты и пакеты со служебными метками оборудования, подготовка которых для анализа оказывается либо ресурсоемкой, либо нереализуемой вовсе?
- каким образом исключить из анализа часть трафика, не попадающего под регулирование политикой безопасности (например, трафик руководителя).
Как всем известно, спрос рождает предложение, в ответ на эти потребности и начали развиваться брокеры сетевых пакетов.
Общее описание брокеров сетевых пакетов
Брокеры сетевых пакетов работают на уровне пакетов, и в этом они похожи на обычные коммутаторы. Главное отличие от коммутаторов заключается в том, что правила распределения и агрегации трафика в брокерах сетевых пакетов полностью определяются настройками. В брокерах сетевых пакетов нет стандартов построения таблиц пересылки (MAC-таблиц) и протоколов обмена с другими коммутаторами (типа STP), а поэтому диапазон возможных настроек и понимаемых полей в них гораздо шире. Брокер может равномерно распределить трафик из одного или нескольких входных портов на заданный диапазон выходных портов с функцией равномерной нагрузки по выходу. Можно задать правила на копирование, фильтрацию, классификацию, дедупликацию и модификацию трафика. Данные правила можно применять к разным группам входных портов брокера сетевых пакетов, а также применять последовательно друг за другом в самом устройстве. Важным достоинством пакетного брокера является возможность обработки трафика на полной скорости потока и сохранение целостности сессий (в случае балансировки трафика на несколько однотипных систем DPI).
Сохранение целостности сессий заключается в передаче всех пакетов сессии транспортного уровня (TCP/UDP/SCTP) в один порт. Это важно, так как системы DPI (обычно это программное обеспечение, запущенное на сервере, подключенном к выходному порту пакетного брокера) анализируют содержимое трафика на уровне приложений, и все пакеты, отправляемые/принимаемые одним приложением, должны поступать на один и тот же экземпляр анализатора. Если пакеты одной сессии теряются или распределяются между различными устройствами DPI, то каждое отдельное устройство DPI окажется в ситуации, аналогичной чтению не цельного текста, а отдельных слов из него. И, скорее всего, текст не поймет.
Таким образом, будучи ориентированными на системы информационной безопасности, брокеры сетевых пакетов имеют функционал, помогающий подключить к высокоскоростным телекоммуникационным сетям программные комплексы DPI и снизить нагрузку на них: осуществляют предварительную фильтрацию, классификацию и подготовку трафика для упрощения последующей обработки.
Кроме того, поскольку брокеры сетевых пакетов выдают широкий перечень статистики и часто оказываются подключены к различным точкам сети, то и при диагностике проблем работоспособности самой сетевой инфраструктуры они также находят свое место.
Базовые функции брокеров сетевых пакетов
Название «специализированные/мониторинговые коммутаторы» возникло от базового назначения: собрать трафик с инфраструктуры (обычно при помощи пассивных оптических ответвителей TAP и/или SPAN-портов) и распределить между средствами анализа. Между разнотипными системами трафик зеркалируется (дублируется), между однотипными – балансируется. В базовые же функции обычно входят фильтрация по полям до L4 (MAC, IP, TCP/UDP-порт и т.д.) и агрегация нескольких слабонагруженных каналов в один (например, для обработки на одной системе DPI).
Этот функционал обеспечивает решение базовой задачи — подключение систем DPI к сетевой инфраструктуре. Брокеры различных производителей, ограничивающиеся базовым функционалом, обеспечивают обработку до 32 интерфейсов 100G на 1U (больше интерфейсов физически не помещается на переднюю панель 1U). Однако они не позволяют снизить нагрузку на средства анализа, а для сложной инфраструктуры не могут обеспечить даже требования к базовой функции: сессия, распределенная по нескольким туннелям (или снабженная MPLS-метками) может разбалансироваться на разные экземпляры анализатора и в целом выпасть из анализа.
Помимо добавления интерфейсов 40/100G и, как следствие, повышения производительности, брокеры сетевых пакетов активно развиваются в части предоставления принципиально новых возможностей: от балансировки по вложенным заголовкам туннелей до дешифрации трафика. К сожалению, такие модели не могут похвастаться производительностью в терабиты, зато позволяют построить на самом деле качественную и технически «красивую» систему информационной безопасности, в которой каждое средство анализа гарантированно получает только необходимую ему информацию в наиболее подходящем для анализа виде.
Расширенные функции брокеров сетевых пакетов
1. Упомянутая выше балансировка по вложенным заголовкам в туннелированном трафике.
Почему это важно? Рассмотрим 3 аспекта, которые могут быть критичны вместе или по отдельности:
- обеспечение равномерности балансировки при наличии небольшого числа туннелей. В том случае, если в точке подключения систем информационной безопасности всего 2 туннеля, то разбалансировать их по внешним заголовкам на 3 серверные платформы с сохранением сессии не получится. При этом трафик в сети передается неравномерно, а направление каждого туннеля в отдельное средство обработки потребует избыточной производительности последнего;
- обеспечение целостности сессий и потоков мультисессионных протоколов (например, FTP и VoIP), пакеты которых оказались в разных туннелях. Сложность сетевой инфраструктуры постоянно возрастает: резервирование, виртуализация, упрощение администрирования и так далее. С одной стороны, это повышает надежность с точки зрения передачи данных, с другой, затрудняет работу систем информационной безопасности. Даже при достаточной производительности анализаторов для обработки выделенного канала с туннелями, проблема оказывается нерешаемой, так как часть пакетов пользовательской сессии передается по другому каналу. Причем если о целостности сессий в некоторых инфраструктурах еще стараются заботиться, то мультисессионные протоколы могут идти совершенно разными путями;
- балансировка при наличии MPLS, VLAN, индивидуальных меток оборудования и т.д. Не совсем туннели, но тем не менее оборудование с базовым функционалом может понимать данный трафик не как IP и балансировать по MAC-адресам, в очередной раз нарушая равномерность балансировки или целостность сессий.
Брокер сетевых пакетов разбирает внешние заголовки и последовательно проходит по указателям до самого вложенного IP-заголовка и балансирует уже по нему. Как результат – потоков становится существенно больше (соответственно можно разбалансировать равномернее и на большее число платформ), и система DPI получает все пакеты сессии и все связанные сессии мультисессионных протоколов.
2. Модификация трафика.
Одна из самых широких по своим возможностям функций, количество подфункций и вариантов их применения множество:
- удаление payload, в таком случае на средство анализа передаются только заголовки пакетов. Это актуально для средств анализа или для типов трафика, в которых содержимое пакетов или не играет роли, или не поддается анализу. Например, для шифрованного трафика могут быть интересны параметрические данные обмена (кто, с кем, когда и сколько), а payload фактически является мусором, занимающим канал и вычислительные ресурсы анализатора. Возможны вариации, когда payload обрезается, начиная с заданного смещения – это предоставляет дополнительный простор средствам анализа;
- детуннелирование, а именно удаление заголовков, обозначающих и идентифицирующих туннели. Цель – снижение нагрузки на средства анализа и повышение их эффективности. Детуннелирование может осуществляться исходя из фиксированного смещения или с динамическим анализом заголовков и определением смещения для каждого пакета;
- удаление части заголовков пакетов: MPLS-меток, VLAN, специфических полей стороннего оборудования;
- маскирование части заголовков, например, маскирование IP-адресов для обеспечения анонимизации трафика;
- добавление в пакет служебной информации: метки времени, входного порта, метки класса трафика и т.д.
3. Дедупликация – очистка от повторяющихся пакетов трафика, передаваемого на средства анализа. Повторяющиеся пакеты чаще всего возникают из-за особенностей подключения к инфраструктуре – трафик может проходить через несколько точек анализа и зеркалироваться с каждой из них. Также встречается повторная отправка недошедших TCP-пакетов, но если их много, то это скорее вопросы к мониторингу качества сети, а не к информационной безопасности в ней.
4. Расширенные функции фильтрации – от поиска конкретных значений по заданному смещению до сигнатурного анализа по всему пакету.
5. Генерация NetFlow/IPFIX – сбор широкого перечня статистики по проходящему трафику и его передача на средства анализа.
6. Дешифрация SSL-трафика, работает при условии предварительной загрузки сертификата и ключей в брокер сетевых пакетов. Тем не менее это позволяет существенно разгрузить средства анализа.
Есть еще множество функций, полезных и маркетинговых, но основные, пожалуй, перечислены.
Развитие систем обнаружения (вторжений, DDOS-атак) в системы их предотвращения, а также внедрение активных средств DPI потребовало изменение схемы включения с пассивной (через TAP или SPAN-порты) на активную («в разрыв»). Данное обстоятельство повысило требования к надежности (ибо выход из строя в таком случае приводит к нарушению работоспособности всей сети, а не только к потере контроля над информационной безопасностью) и привело к замене оптических ответвителей на оптические bypass (чтобы решить проблему зависимости работоспособности сети от работоспособности систем информационной безопасности), но основной функционал и требования к нему остались прежними.
Мы разработали Брокеры сетевых пакетов DS Integrity с интерфейсами 100G, 40G и 10G от конструкции и схемотехники до встроенного программного обеспечения. Причём в отличие от других пакетных брокеров функции модификации и балансировки по вложенным заголовкам туннелей у нас реализуются аппаратно, на полной скорости портов.
iddqda
забавно, что по аналогии с гигамоном выбрали яркий цвет устройств.
хотя мне, с одной стороны erspan хватает, а с другой… мне кажется ИБ где то свернула не туда.
посмотрите на вашу картинку внимательно.
представьте что из интернета вниз к хостам прошел единственный пакет.
и в каждой точке Т пакет будет дублироваться и отправляться к вам на устройство. на одну полезную работу по доставке пакета было затрачено X наноджоулей энергии и 10X бесполезной. И что толку от всего этого мусора если кроме заголовков ничего из пакета достать не получится. Потому что TLS. А заголовки и из нетфлоу и прочих ipfix прекрасно передаются. И планету при этом нагревают в разы меньше.
А вообще мое ИМХО ИБ надо гнать поганой метлой изнутри сетей как можно дальше наружу в сторону ендпойнтов. Жаль только не всегда получается.
p.s. и поправьте картинки. название «пограничные» маршрутизаторы, как бы намекает где они должны быть расположены.
Val666
Товарищи пишут что у них есть дедупликация, отфильтруют они эти клоны пакета и ничего сверх на его обработку затрачено не будет. плюс какая инфраструктура будет собирать трафик "условно" со всех промежуточных точек), а tls можно и терминировать. Эти все брокеры конечно не панацея, но весьма удобно на первый взгляд, если выдерживают заявленые мощности, объемы и безперебойность. Безусловно без них можно и обойтись
DSol Автор
Картинка условная всё-таки: куда в принципе можно подключить. Конечно же к такому количеству точек обычно не подключают. С другой стороны, как раз есть функция дедупликации — в штатном режиме можно использовать её. А при необходимости вместо дедупликации включить тэгирование с TimeStamp на входе брокера и смотреть, как и с какими задержками ходят пакеты. По NetFlow/IPFix выдают уже аккумулированную статистику. А если нужны именно заголовки, то обрезать payload для TLS-пакетов, опять же, можно брокером (как и сформировать NetFlow/IPFix, если статистики достаточно). Причём для нешифрованных протоколов пакеты будут выдаваться целиком. Ну и с пакетными брокерами есть возможность оперативно переключаться между режимами NetFlow/«заголовки».
По цвету — хочется, чтобы наши устройства радовали пользователей в том числе своим видом. И спасибо за замечание по картинке.