/ Flickr / Yuri Samoilov / CC
1. Анализ и классификация трафика
Задача системы DPI – классифицировать и создавать в реальном времени отчеты о потреблении трафика приложением, используя наборы сигнатур и поведенческие методы. Получение такой информации по классам трафика каждого абонента позволяет тарифицировать его по отдельности, например, для Skype, Viber и др. Также системы DPI позволяют следить за состоянием сети на уровнях 2–7 модели OSI и защищать её от перегрузки.
2. Приоритизация трафика
Самым популярным примером необходимости распределения приоритетов трафика является p2p-протокол. Когда пользователь скачивает файлы по этому протоколу, понижается качество работы всех остальных – VOIP, HTTP и др. – это приводит к медленному открыванию страниц, плохому качеству голоса при звонках, подтормаживанию видео. DPI-системы позволяют решить эту проблему простым снижением приоритета p2p-трафика.
На графике видно, как с уменьшением неконтролируемого трафика torrent, увеличилась скорость работы HTTP
Еще одним простым примером необходимости приоритизации являются набирающие популярность онлайн-кинотеатры. При увеличении качества видео (720p, 1080p, 4K) растет нагрузка на канал оператора.
Например, в марте 2015 в Австралии трафик сервиса Netflix составил 25% от общего трафика провайдера iiNet через 4 недели после запуска. В этом ключе активное управление трафиком и гибкая настройка приоритетов позволяют обеспечить достойную работу других чувствительных сервисов, слегка снижая качество видео в критические моменты.
3. Оптимизация аплинков
Оператор способен обеспечить высокое качество двумя путями: увеличив ширину канала или оптимизировав трафик. Всплески роста трафика предсказуемы, происходят в определенные дни недели и обычно длятся не больше нескольких часов.
В связи с этим увеличивать ширину канала может быть невыгодно – слишком маленькое «окно» активности. Однако если оставить все как есть, то в часы повышенной загруженности абоненты будут сталкиваться с медленной загрузкой страниц и мириться с плохой голосовой связью.
Порядка 50% вечернего трафика составляет torrent, 20% – видео, 30% – все остальное. Если выделить первый тип трафика и понизить его приоритет, то другие протоколы будут работать так же, как и в любое другое время. Необходимость в увеличении пропускной способности канала отпадет сама собой.
4. Кэширование
В интернете есть информация, которую находят интересной и скачивают сразу множество пользователей. Кэш-сервер позволяет распространять её напрямую между пользователями. Это экономит интернет-трафик и увеличивает скорость доступа к информации, так как скорость доступа к кэшу равна скорости локальной сети, а не скорости доступа к интернету.
Например, кэш-сервер для нашего решения СКАТ DPI позволяет кэшировать видеоконтент популярных сервисов, таких как YouTube, RuTube и vk.com, обновления Windows, браузеров, антивирусов и другого ПО, а также часто повторяющие файлы (например библиотеки jquery, картинки и т. п).
5. Поведенческая оценка абонентов
Каждый пользователь выходит в интернет на определенное время, пользуется одним из браузеров, сидит в социальных сетях, смотрит комедии или ужасы. Система DPI способна собрать всю эту информацию (не нарушая личных прав абонента) и показать ее в наглядном виде оператору. Зная предпочитаемый пользователем контент, оператор получает возможность настроить ему приоритет по трафику. Более того, самые посещаемые ресурсы можно также кешировать.
6. Уведомление абонентов
Эта функция позволяет оператору передавать абоненту сообщения во время работы последнего в интернете. Когда пользователь вводит адрес сайта, он сперва видит в браузере сообщение от оператора, которое сменяется запрашиваемой страницей через несколько секунд.
Это сообщение может содержать самую разную информацию: об изменении тарифа, о времени технических работ, о специальных предложениях. Такой способ оповещения охватывает очень широкую аудиторию – в России 73% граждан в возрасте от 18 лет и старше пользуются интернетом, из них 47% опрошенных делают это ежедневно. В Европе эта цифра составляет 60%.
7. Защита, перехват трафика
DPI пропускает через себя и фильтрует весь трафик, потому имеет возможность защищать абонентов от спам-ботов (выявляются на основе анализа SMTP трафика), DoS- и DDoS-атак (выявляются по аномалиям трафика), заражения червями (выявляется по сигнатурам) и спама (по чрезмерно большому число SMTP-соединений).
При защите от DDoS-атак часто применяются различные поведенческие стратегии, выявляющие отклонения в поведении пользователей сети. DPI-системы упрощают эту задачу с помощью эффективного подхода – теста Тьюринга (странички с CAPTCHA), который позволяет определить, человек или компьютер осуществляет запрос к ресурсу.
Также система DPI защищает от атак TCP SYN Flood и Fragmented UDP Flood. Атака SYN Flood вызывает повышенный расход ресурсов атакуемой системы. На каждый входящий SYN-пакет система резервирует определенные ресурсы в памяти. Если «бомбить» её большим количеством пакетов в секунду, не отправляя пакет ACK, она становится недоступной. DPI обнаруживает превышение порога SYN-пакет и начинает отвечать на них самостоятельно, не «беспокоя» сайт.
Что касается атаки Fragmented UDP Flood, то она осуществляется фрагментированными UDP-пакетами, на сборку и анализ которых атакуемая платформа вынуждена тратить много ресурсов. DPI отбрасывает неактуальные для защищаемого сайта протоколы или ограничивает их по полосе пропускания (для веб-сайта остаются только протоколы HTTP и HTTPS).
Стоит отметить, что DPI умеет работать в связке с различными ДВО, такими как антиспам, антивирус, видеооптимизаторы и т. д. Суть решения заключается в отводе части трафика, подпадающего под заданные администратором критерии, на сторонние устройства, для осуществления более глубокого анализа и обработки.
Таким образом, комплексы глубокого анализа трафика позволяют решить сразу несколько важных задач: от оптимизации пропускной способности аплинков и приоритизации трафика до поведенческой оценки абонентов и защиты сетей и сайтов от разного рода атак.
В следующих материалах мы планируем рассмотреть, на каком оборудовании можно реализовать все эти функции, и проведем сравнение решений производителей систем DPI.
P.S. Мы в VAS Experts специализируемся на создании и внедрении сервисов в области контроля и анализа интернет трафика. В нашем блоге мы будем делиться собственным опытом работы и рассказывать о том, как устроены те или иные технологии, имеющие отношение к нашей сфере деятельности.
Комментарии (6)
shifttstas
27.10.2016 18:01Вы забыли о еще 1 пункте
8. Бессмысленность
Использование DPI сейчас практически бессмысленно тк большая часть трафика идет зашифрованной и что там внутри HTTPS вы не узнаете, а с развитием WebTorrent торрент трафик пойдет через WebRTC что объединит его с веб трафиком и DPI не сможет его различать.
Hesed
27.10.2016 20:04Ни в коей мере не рекламирую (велосипед вообще не мой), но DPI редко используют, чтобы залезать внутрь пакетов и смотреть, кто какую картинку смотрит на пикабу в данный момент. Доля торрент трафика стремительно падает, уступая место стриминговым сервисам. Растёт популярность SmartTV, да и народу просто лень качать — смотрят прямо на всяких seasonvar
без смс и регистрации.
Специально проверил — WebRTC на данный момент одним решением разбирается и отделяется от категории Web Browsing. Я оперирую категориями, а не названиями протоколов, потому что под Web Browsing объединены подкатегории CDN, HTTP, Broken HTTP, HTTP download, HTTPS, SPDY, WAP, WebSockets и прочее-прочее-прочее. Для шейпинга и приоритезации вполне достаточно, чтобы железка определяла тип трафика и source/destination.shifttstas
27.10.2016 23:36А по вашему webrtc это не браузинг? Например RDP-KVM у популярного хостинга работает на этой технологии и много чего ещё, т.е вы их тоже порежете.
Hesed
28.10.2016 08:41В моей сети пока WebRTC даже близко не приближается к последней странице топа по объёму трафика. Все RDP/KVM вынесены в отдельную подкатегорию Remote Access, а сигнатуры — это не просто протокол/port/destination, так что может и сможет дифференцировать. Доступного WebRTC KVM у меня нет и провести эксперимент, как будет определяться трафик этих типов я пока не могу.
Из проблем со стороны DPI, с которыми сталкивался лично, это ошибки при обновлении сигнатур (в комменте выше я описал про коллизию с AVG) и аппаратные отказы. Возможно, потому что не приходится резать или иным образом негативно влиять на трафик по типам, чем зачастую страдают некоторые multiservice провайдеры в той же Великобритании. Я за сетевой нейтралитет в полном понимании этого термина. Благо пока до нас не добралась мода повально блокировать неугодные государству странички. Разделение по приоритетам, статистика, прогнозирование, тарификация, ну и защита от атак — для этих задач это вполне удобный инструмент.
К VASExperts: было бы интересно почитать подробное сравнение решений. Цены, условия поддержки, частота обновлений, размер базы сигнатур, стек технологий.
Hesed
6. Уведомление абонентов
Реализуется, как HTTP Inject, внедряя в пакет, например, должнику следующее:
HTTP/1.1 307 Temporary Redirect
При этом, на redir.domain.tld скрипт подхватывает данные, переданные ему от DPI и потом может отправить клиента на ту страницу, куда он шёл изначально. Что получается на практике: «У меня было стопятьсот вкладок, а я открыл браузер и они все заменились на вашу дурацкую страничку, пожалуйста, убейтесь».Location: http://redir.domain.tld/?code={^StatusCode}&url={^URL}&ref={^Referer}
Connection: close
7. Защита
Использование DPI подразумевает регулярно обновление сигнатур. С одним из последних апдейтов прилетела сигнатура, которая маркировала всё AVG, как Malware, что выводило трафик в цепочку блокировки вредоносной ереси. Пользователи лишись апдейтов для антивируса и даже, что любопытно, не могли зайти на сайт avg. Но это единичный забавный инцидент с отдельно взятым вендором DPI решений.
Это из личного опыта использования DPI. Также DPI решение можно использовать для тарификации подписчиков и выполнения сценариев при превышении пороговых значений. Так, например, настроен триггер, который при превышении NTP трафиком по одному IP порогового значения запускает скрипт, который отсылает «куда следует» команду засунуть несчастного в blackhole community. Резкий, но эффективный способ противодействия NTP Amplification атаке, которая влёгкую может забить аплинк.
Мощность отдельных решений такова, что при большой базе сигнатур, можно запретить логиниться в World of Warcraft эльфам-друидам 70 уровня в рабочие дни после 8 часов вечера (хоть так на БГ без школьников поиграю), так что don't be evil и соблюдайте сетевой нейтралитет.