Аналитики считают, что к 2018 году рынок DPI достигнет планки в 3,81 млрд долларов. При этом стоит учитывать, что в 2013 году он оценивался всего в 742 млн долларов. Не в последнюю очередь такой рост обусловлен тем, что DPI-решения позволяют провайдерам получить определенную экономическую выгоду. О том, какие функции глубокого анализа трафика экономят средства, и пойдет речь в нашем сегодняшнем материале.
/ Flickr / Norlando Pobre / CCПриоритизация трафика
Когда пользователь скачивает файлы по одному протоколу, скорость передачи данных по другим (VOIP, HTTP и др.) значительно падает. Страницы сайтов открываются медленнее, долго проводится буферизация видео — при увеличении качества загружаемых роликов, нагрузка на канал оператора растет. Для примера можно отметить, что в марте 2015 года видеотрафик сервиса Netflix через сети австралийского провайдера iiNet составил 25% от общего объема. Активное управление трафиком решает проблему загруженности сети путем снижения приоритета наиболее «прожорливых» протоколов.
Ограничение траффика BitTorrent в час наибольшей нагрузки на уровне канала, что выливается в экономию 20% полосы (Источник: SlideShare)
«Чтобы не достигнуть «потолка», оператор зачастую вынужден переплачивать за лишнюю полосу, дабы совладать с пиками нагрузки, — рассказывает Молдаванов Дмитрий, технический директор VAS Experts. — Приоритизация трафика позволяет в такие моменты подрезать низкоприоритетный трафик, и освободить полосу для трафика с более высоким приоритетом. Отмечу, что пользователи в этот момент не заметят никакой разницы».
Таким образом, системы глубокого анализа трафика позволяют снизить затраты на полосу для оператора, при этом сохраняя качество предоставляемых услуг для клиентов на прежнем уровне.
Кэширование
Кэш-сервер позволяет передавать интересную людям информацию напрямую. Например, он может кэшировать контент с видосервисов (это YouTube, RuTube и др.), а также обновления для программного обеспечения, включая обновления для операционных систем. Это увеличивает скорость доступа к данным.
«Таким образом, повышается качество предоставляемой услуги (QoS) — видеоконтент отдается быстро без лагов даже в HD-качестве», — поясняет Дмитрий. — Это стимулирует переход клиентов на более маржинальные тарифные планы, средняя выручка (ARPU) с которых значительно выше».
Категории применения DPI по данным Heavy Reading
И это очень важный момент — компания Heavy Reading провела опрос среди телеком-компаний, чтобы выявить основные области применение DPI. И самым популярным направлением стало именно качество обслуживания.
Подключение КЭШ-сервера (Источник: SlideShare)
Также стоит отметить, что кэш-серверы позволяют экономить полосу — в часы пиковых нагрузок отдача популярных видео может осуществляться из кэша.
Аналитика и защита от DDoS
Одной из задач систем DPI является оценка потребления трафика. Эта информация по каждому абоненту дает возможность формирования индивидуального тарифа в зависимости от типа трафика, потребляемого в большем объеме (например для Skype и Viber по VoIP). Информация о содержимом потоков данных и их направлениях позволяет принимать взвешенные решения о пиринге, оценивать необходимость кэширования.
Более того, аналитические средства дают возможность осуществлять защиту трафика — организовывать защиту абонентов от спама, распределённых атак типа «отказ в обслуживании» (DDoS) и вредоносного программного обеспечения.
?
Защита от атак типа SYN Flood (Источник: SlideShare)
Что касается защиты от DDoS, то она часто реализуется с применением различных поведенческих стратегий для выявления аномального поведения «пользователей» в сети. DPI упрощает задачу с помощью теста Тьюринга, или CAPTCHA. Также системы глубокого анализа трафика защищают от атак типа TCP SYN Flood и Fragmented UDP Flood, вызывающих чрезмерный расход ресурсов системы (вплоть до отказа).
Решение технических задач
Фильтрация URL по реестрам РКН и Минюста — еще один из вариантов применимости DPI с целью экономии средств. В этом случае оператор избавляется от необходимости нанимать человека для самостоятельного разбора всех списков, публикуемых этими организациями. Другое применение — абонентский полисинг: полоса нарезается для абонентов в соответствии с их тарифными планами — скорость можно изменять хоть каждую секунду, что добавляет гибкости и позволяет адаптироваться к текущим условиям.
«У нас есть клиент на 20 тыс. абонентов, который хотел купить плату Cisco за несколько миллионов, однако решил воспользоваться ресурсами DPI и сэкономил на этом средства», — говорит Дмитрий. С другими примерами и расчетом общей выгоды ROI, которую можно получить с DPI, вы найдете в этом видео с конференции операторов связи КРОС-2014.
Оповещение абонентов
Cистемы глубокого анализа трафика позволяют провайдеру передавать абоненту сообщения во время работы в интернете. Обычно такие оповещения применяются для того, чтобы уведомить клиента о состоянии его счета. Однако еще эту функцию можно использовать для распространения информации о проведении технических работ, изменениях в стоимости тарифов и даже специальных предложениях.
Новостное сообщение для клиента о возможности подключения нового канала (Источник: SlideShare)
Когда пользователь открывает браузер и вводит адрес сайта, он сперва попадает на страничку с сообщением от оператора, которое сменяется запрашиваемой страницей через несколько секунд. Такой подход позволяет охватить широкую аудиторию — как минимум 73% совершеннолетних граждан России пользуются интернетом (примерно половина из них делает это каждый день).
Немного расчетов
Напоследок хотелось бы отметить, что при выборе системы глубокого анализа трафика большую роль играют затраты на интеграцию. Многие провайдеры считают это решающим фактором для подключения устройства DPI (о схемах подключения устройства глубокого анализа трафика к оборудованию оператора читайте в одном из наших предыдущих материалов). Вот небольшой пример расчета ROI.
Предположим, что абоненты провайдера потребляют 20 Гбит в месяц. Стоимость 1 Гбита равняется 3 тысячи долларов, а стоимость системы DPI — 75 тысяч. Тогда при эффективности уменьшения аплинка на 35% система глубокого анализа трафика даст 7 Гбит/с экономии полосы пропускания. Если перевести это в денежные единицы, то получаем 21 тысячу долларов ежемесячно. При таком раскладе DPI-решение окупится чуть менее, чем за 4 месяца.
Если при этом учесть, что за дополнительные функции (защиту от вредоносного ПО, блокировку запрещенных сайтов и др.) не придется доплачивать, то внедрение DPI окупится еще быстрее. Опять же отметим, что качество предоставляемых услуг клиентам при этом не снизится.
P.S. Наш DPI-дайджест: Анализ трафика, блокировки, платформы и производители систем DPI.
Комментарии (19)
TerraV
18.01.2017 11:16+3Если бы Почта России могла читать письма, она тоже могла бы нехило сэкономить. «Это письмо про котиков, его выкидываем. Ну или если повезет доставим в следующем году.» DPI доиграется, трафик будет шифрованным и потери будут куда более серьезные.
andrewzhuk
18.01.2017 11:27+1Зачем им читать письма? Вообще знакомы с сетевыми стандартами?
Кстати, вы уверены, что любая почта или курьерская служба НЕ сотрирует посылки по типам?
equand
18.01.2017 13:30Немного не верно сравнение. Приоритизация почты достигается финансовыми методами (покупка приоритета), однако правила сетевого нейтралитета не позволяют делать этого в интернете.
TerraV
18.01.2017 14:03+1Приоритезация сетевого трафика делается QoS'ом и без DPI.
Разверну ответ. Deep Packet Inspection позволяет анализировать и классифицировать проходящий контент. При этом идет сквозное чтение всего трафика. По этой причине оборудование стоит приличных денег (посмотрите на полосу пропускания и с какой скоростью должен проходить анализ). Для шейпинга это из пушки по воробьям.
arteast
18.01.2017 12:24+4"Приоритизация трафика позволяет в такие моменты подрезать низкоприоритетный трафик, и освободить полосу для трафика с более высоким приоритетом. Отмечу, что пользователи в этот момент не заметят никакой разницы" — маркетинговый булшит. Очевидно, что те, чей трафик тормозится, эту разницу заметят. Другое дело, что провал могут списать на тормоза со стороны других пиров.
"Когда пользователь открывает браузер и вводит адрес сайта, он сперва попадает на страничку с сообщением от оператора, которое сменяется запрашиваемой страницей через несколько секунд" — тех, кто своими ручонками лезет в трафик абонента, надо высылать за 101 км и не допускать до IT-технологий сложнее калькулятора.AlexBin
18.01.2017 13:08+3Очевидно, что те, чей трафик тормозится, эту разницу заметят.
Написали, что трафик приоритезируется по типу, а не по абонентам. Поэтому никто разницу не заметит. Разницу заметят торренты, когда файл будет скачиваться не 15 минут, а 17. При этом веб у всех будет работать лучше.
antivoland
18.01.2017 14:04+1Если провайдер будет оплачивать просмотр этой рекламы + добавить возможность опции включения-выключения показа — я согласен и потерпеть пару секунд при переходе на страничку.
Зато ж какое поле деятельности для кликеров — я первый установлю selenium и натравлю чтоб он ночью лазил по списку сайтов )
xcore78
18.01.2017 13:02При таком раскладе DPI-решение окупится чуть менее, чем за 4 месяца
А при стоимости гигабита в 3 раза меньше ваш DPI окупится за год. И если бы можно было так сэкономить, смысла в рекламе не было бы: системы стояли бы у всех. Откуда вы взяли 35%?
Можно сделать еще шаг по предложенной вами дорожке: давайте резать у клиента тот траффик, который хочется, пока процент жалоб/расторжения договоров будет держаться на комфортном уровне — так можно не 35%, а все 75% сэкономить, и купить еще что-нибудь ненужное.
Кстати, расскажите, пожалуйста, про связь DPI и кэширования. А так как это технический сайт, не побрезгуйте деталями, как устроен кэш, о котором идет речь. Он, как следует из статьи, является частью решения за 75 тыс.долл., верно?equand
18.01.2017 13:33Так и поступают в США. режут траффик к чертям собачим и ограничивают безлимитные тарифы.
Я так полагаю тот самый DPI ничто иное как line rate бздя или что-то подобное с нетфлоу/сфлоу и парочкой подобных приблуд. Так как большая часть опенсорс, то порядка 55 тысяч дохода с системы тоже не плохо.
xcore78
18.01.2017 13:51-2При чем тут США?
Предоставим автору возможность рассказать про потроха своей системы. Если знает, конечно: величина восторга от «открытий» из статьи обратно пропорциональна знаниям о стоящей за решением «магии».
KorDen32
18.01.2017 15:06+1Кэш-сервер
Для ютуба есть GGC, просто так его не накешируешь, как и половину других сервисов, т.к. HTTPS
Новостное сообщение для клиента о возможности подключения нового канала
Вот за такое хочется взять и у… йти к другому провайдеру. Ладно на бесплатных/полубесплатных линках реклама при авторизации. Но такие попапы и редиректы на обычном оплачиваемом канале выбешивают — привет Билайн.
Ivan_83
18.01.2017 15:22Ловкое жонглирование словами (НЛП) и куча лапши уже в мозгах читателя.
1. Приоритезация нужна когда провайдер продал полосы больше чем его коэфициент мультиплексирования относительно аплинков.
И востребовано это только когда каналы дорогие и аплинк не даёт бёрст.
2. Кешировать DPI ничего уже не могут.
Вернее так: ютуп и прочие онлайн видео не могут, ибо там https. Для ютупа гугель рассылает провайдерам свои кешировалки бесплатно. Так же делают многие крупные игроки рынка онлайнвидео.
Есть отдельные кеши для торрентов, но профит от них нынче мизерный, ибо 100500 разных раздач одного и тоже, да и абоненты сильно разные.
3. Аналитику можно делать и по нетфлоу и по логам серверов — зависит от того кто ты и где.
Защиту от атак — так они сильно разные бывают, далеко не все по зубам дпи, а от некоторых дпи и сам прилечь может.
4. Чёрные списки РКН — то на чём взлетели некоторые наши дпи, это скорее административная задача. Собственно и скат появился только как решение для блокировок, народ начали набирать примерно за год до вступления закона. ДПИ он стал уже потом, потому что функционал всё равно уже кой какой для этого был.
Нарезка полосы абонентам — дело шейпера а не дпи. На крайняк рейтлимитера.
5. Оповещение абонентов можно делать и без этой хрени и вмешательства в трафик.
В современных ОС есть штуки для работы с хоспотами.
А подставлять абоненту свою хрень вместо странички и свою рекламу вместо чужой это тянет на вмешательство в трафик и разборки с РКН по жалобам.
На наге это обсуждалось как раз недавно.
2 equand
США не лучший пример: у них там пара монопилистов типа нашего РТ, которые не сильно поворотливые и не сильно добрые, поэтому страдают всякой хернёй. За что иногда получают люлей от местного регулятора.
2 xcore78
Не автору а компании.
Желающие давно знают что это линух + DPDK + свой софт.
2 TerraV
ДПИ не весь трафик разбирают, в этом смысла нет.
Там разные уровни. Для почти всех TCP протоколов после установления соединения достаточно разобрать один-несколько первых пакетов чтобы узнать всё что нужно, дальше TCP сессия помечается как обработанная и дальше пакеты из неё не инспектируются.
Нагрузки там не прямо чтобы зашкаливающие, 10г на писюке отработать можно, если не сильно много сигнатур/фильтров.
Так то натят по 100+Гб на писюках х86, а нат он тоже немного по пакетам лазает, не так сильно, но всё же.
shifttstas
18.01.2017 20:40Статью можно сократить до:
Оператор, вот
Лёгкий способ потерять всех своих клиентов и заставить себя ненавидеть!
vikarti
19.01.2017 10:04>Когда пользователь открывает браузер и вводит адрес сайта, он сперва попадает на страничку с сообщением от оператора, которое сменяется запрашиваемой страницей через несколько секунд. Такой подход позволяет охватить широкую аудиторию — как минимум 73% совершеннолетних граждан России пользуются интернетом (примерно половина из них делает это каждый день).
только вот на практике выходит не так
Перезапускаю компьютер. Идет старт браузера с кучей открытых вкладок. Вместо части открытых страниц — страница оператора. Вместо другой части — сообщение про ошибку HTTPS без возможности нажать 'дальше' (потому что HSTS). Кнопка назад разумеется не работает.
Там где редирект таки сработал — сбивается текущая позиция в страниц (chrome ее обычно сохраняет).
>Обычно такие оповещения применяются для того, чтобы уведомить клиента о состоянии его счета.
смотрим тут же на хабре статьи как это делает билайн, ломая чужие сайты
pav5000
19.01.2017 18:48А если пользователь при этом пытается зайти в ютуб с мобильного приложения, например или пытается войти в онлайн-игру, то скорее всего у него вообще ошибка выкинется. Потом будет гадать, почему Интернет исчез.
vikarti
27.01.2017 06:57причем ошибки будут… интересные
у меня был опыт похожий.
для тестов дома была поставлена Astaro (сейчас это Sophos UTM вроде) с включенным режимом перехвата HTTPS и на все компьютеры внесены во все разумные места сертификаты локального CA.
все клиенты SecondLife успешно логинились только вот при попытке реально зайти в симулятор — сообщения о некорректно настроенных часах. В итоге выяснилось что часть трафика идет таки по https и список CA упрятан внутри клиента, выяснилось далеко не сразу, это при том что клиент — опенсорсный.
Настроить Astaro на исключения просто не удалось (потому что полного диапазона IP просто не известно).
А теперь думаем что будет отвечать техподдержка провайдера на такие вот вопросы? Ну кроме «идите нафиг у нас все работает/проблема не у нас совсем».
опять же — что будет с теми мобильными приложениями что certificate pinning для защиты in-app'ов используют?
это при том что я вполне не против разумной работы провайдерской DPI. например для того чтобы у меня торрент-клиент не укладывал в то время как он запущен все остальное (да — мне не хочется сейчас сложные игры с приоритетами на роутере)
andrewzhuk
Как-то и не думал про столь существенный объем рынка у подобных решений. Хотя так или иначе оптимизация в любой сфере — дело прибыльное