Публичные точки обмена трафиком (IXP) десятилетиями оставались важной частью интернет-инфраструктуры, благодаря которой интернет работает быстрее и стабильнее. Но уже не первый раз крупные игроки призывают отказаться от публичного пиринга. Такие решения мотивируют желанием улучшить качество связи для клиентов, но критики считают, что главную роль здесь играет финансовый интерес. Мы решили обсудить, действительно ли точки обмена трафиком постепенно теряют значение и какие риски может повлечь такая трансформация.
Такие разные точки обмена трафиком
Точки обмена интернет-трафиком (IXP) — это инфраструктура, состоящая из одного или нескольких сетевых коммутаторов, размещенных в дата-центрах. К ним подключаются автономные системы — интернет-провайдеры, CDN-операторы и контент-компании — чтобы напрямую обмениваться трафиком. Такой способ взаимодействия называется публичным пирингом. В отличие от частного пиринга он не требует отдельного физического соединения между двумя сетями: участники подключаются к общей инфраструктуре IXP и обмениваются данными через нее.
Прежде всего IXP повышают автономность локальных систем связи и их устойчивость при авариях на внешних каналах. Они также экономят деньги операторов: местный трафик больше не нужно перегонять через платный транзит — порой за рубеж и обратно. Например, в прошлом году один региональный интернет-провайдер в Германии подключился к точке обмена трафиком DE-CIX. Уже через 90 дней две трети его трафика шли через публичный пиринг, а расходы на передачу трафика снизились на 44%.
Число действующих точек обмена, к которым подключены три или более участников, возрастает ежемесячно и уже перевалило за тысячу. Если говорить про российский рынок, то у нас действуют 33 точки обмена трафиком. Крупнейшей в стране считается MSK-IX, которая объединяет более 800 участников — и через нее проходит порядка 9,4 Тбит/с трафика.
Одна из наиболее крупных площадок данного типа в Европе находится во Франкфурте, и управляет ей вышеупомянутый оператор DE-CIX. Летом этого года во время матча Аргентина — Египет на чемпионате мира по футболу суммарный трафик на всех площадках оператора достиг 29,5 Тбит/с — это максимум за всю историю компании. Большая его часть пришлась как раз на DE-CIX Frankfurt: 19,6 Тбит/с, абсолютный рекорд для этой IXP.
Однако крупнейшая точка обмена трафиком в мире располагается в бразильском городе Сан-Паулу: к IX.br São Paulo напрямую подключено более 2500 сетей. Свой рекорд она тоже установила во время чемпионата мира: 25 июня, когда прошло сразу шесть матчей, включая Эквадор — Германия, Нидерланды — Тунис и Япония — Швеция, трафик достиг 35,9 Тбит/с, что почти вдвое больше, чем у DE-CIX Frankfurt. При этом суммарная емкость подключенных портов в IX.br São Paulo составляет около 180 Тбит/с, что делает её крупнейшей в мире не только по числу участников, но и по развернутой пиринговой емкости.
С публичным пирингом не все гладко
Несмотря на важную роль точек обмена трафиком в глобальной сетевой инфраструктуре, к ним редко относятся как к объектам критической инфраструктуры. Флавио Лучани, технический директор Namex — оператора римской точки обмена трафиком, отмечает: «Лишь в очень немногих странах IXP включены в перечни критической инфраструктуры, тогда как основное внимание уделяется физическим кабельным системам, центрам обработки данных и DNS-инфраструктуре». По мнению специалиста, из-за этого национальные регуляторы нередко упускают точки обмена трафиком из виду при разработке стратегий кибербезопасности. Однако есть и другие нюансы, которые мешают отслеживать работу IXP.
Рост нагрузки. Гиперскейлеры, облачные провайдеры и стриминговые платформы наращивают присутствие на публичных IXP и увеличивают емкость размещаемых на них портов. В этом году член административного комитета организации PeeringDB, которая курирует общедоступную базу информацией об автономных системах, дата-центрах и интернет-провайдерах, опубликовал исследование по теме. В нем он подсчитал суммарную емкость портов на IXP по всему миру у десяти крупных сетей, которыми управляют облачные провайдеры, контент-сервисы и один магистральный оператор. Лидером оказалась американская компания Akamai с 79 Тбит/с, но в топе также можно было найти Cloudflare — 47,2 Тбит/с и ByteDance — 23,3 Тбит/с. Для сравнения: в январе 2018 года у Akamai эта цифра составляла 7,9 Тбит/с, а у Cloudflare — 3,3 Тбит/с.
Получается, что за восемь с лишним лет емкость их портов на IXP увеличилась более чем в 10 раз, а значит, выросла и верхняя граница реально передаваемого трафика. Очевидно, чем больше трафика проходит через крупную площадку, тем больше сетей одновременно может пострадать при сбое. В ноябре 2023 года амстердамская AMS-IX пережила аварию: оборудование одного из клиентов начало рассылать служебные пакеты LACP через не предназначенный для этих целей порт. В результате у других участников начали обрываться BGP-сессии, а трафик через площадку сократился до 2,1 Тбит/с.
Непрозрачность для внешних систем мониторинга. Чтобы оценивать устойчивость сети и выявлять потенциальные уязвимости, исследователям необходимо понимать, как устроены связи и маршрутизация между сетями. Но публичные системы мониторинга не позволяют увидеть все соединения внутри IXP. Долгое время специалисты пытались использовать специальные метки BGP communities — атрибуты, которые операторы могут добавлять к анонсам маршрутов — однако со временем такой подход перестал быть надежным, потому что сети использовали эти метки непоследовательно.
Сегодня развиваются новые подходы, которые должны решить проблему непрозрачности подключений, но многие из них существуют лишь на уровне концепций и тоже не идеальны. Например, в этом году аспирантка из Университета Сорбонны вместе с коллегами обучила классификатор определять, как две сети обмениваются маршрутами (общий route-сервер или прямое соединение), ориентируясь на количество точек наблюдения в интернете, которые видят один и тот же маршрут. Точность определения, по данным исследователей, достигала 90%. Однако модель обучали на данных всего нескольких точек обмена, поэтому неясно, будет ли она так же хорошо работать в разных странах (и по прошествии нескольких лет). При этом она лишь точнее анализирует то, что видят публичные системы мониторинга, которым сами сети добровольно передают информацию о своих маршрутах. Если две сети договорились о маршрутах и никому об этом не сообщили, алгоритм такое соединение тоже не увидит.
Можно ли отказаться от публичных IXP
Публичный пиринг на нейтральных точках обмена трафиком работает по модели settlement-free: каждый оператор платит только за свой порт на IXP, а сам обмен трафиком бесплатен вне зависимости от объемов. Благодаря этому небольшой провайдер или контент-сервис мог подключиться к условной DE-CIX и напрямую обмениваться данными с крупным оператором, присутствующем на этой площадке.
Но крупных игроков такая модель может не устраивать, поскольку им приходится поддерживать тысячи соединений с другими сетями на десятках площадок и бесплатно принимать трафик, идущий к их абонентам. Так, отдельные интернет-провайдеры ищут альтернативные подходы (и способы извлечь дополнительную выгоду из своего доминирующего положения): отказываются от работы с публичными точками обмена трафиком и передают управление подключениями к своим сетям сторонней компании по модели NaaS («сеть как услуга»).
Самым заметным примером стал кейс Vodafone Germany. В ноябре прошлого года оператор объявил, что выйдет из публичного пиринга на всех точках обмена трафиком в Германии, включая DE-CIX Frankfurt, и передаст межсетевое взаимодействие берлинской NaaS-компании Inter.link. Теперь сети, которые хотят обмениваться трафиком с Vodafone напрямую, вынуждены платить комиссию в зависимости от объёма передаваемых данных. Цены при этом устанавливает сама Vodafone, а Inter.link лишь собирает плату от ее имени.
Схожую логику — переложить организацию пиринга на специализированного посредника — еще в 2024 году предложила Google, запустив программу верифицированных пиринг-провайдеров (VPP). Интернет-провайдеры, которые прошли проверку компании и имеют резервированные подключения к ее сети, могут продавать корпоративным клиентам доступ к сети Google в составе своих услуг и устанавливать тарифы.
Подобные решения встречают сопротивление со стороны профильных экспертов. В Internet Society, например, считают, что переход к избирательному частному пирингу через привилегированных партнеров — как в случае с Vodafone и Inter.link — ставит под угрозу надежность интернета. Такие практики лишь способствуют укреплению монополий, поскольку операторы поменьше вынуждены платить за доступ к их сетям. На этом фоне технический директор DE-CIX Томас Кинг отметил, что крупные игроки используют доминирующее положение, чтобы монетизировать не только доступ в интернет, но и само межсетевое взаимодействие.
При этом Vodafone подчёркивает, что дело не в деньгах, и решение отказаться от публичного пиринга в первую очередь продиктовано заботой о клиентах: возможностью сократить издержки, сделать сеть устойчивее и добиться более высоких показателей QoS. Однако еще в 2015 году исследователи показали, что отказ от публичных IXP с целью повышения качества обслуживания вряд ли оправдан. Тогда специалист в области компьютерных наук и автоматизации из Третьего университета Рима вместе с коллегами провел два эксперимента с использованием крупнейших итальянских точек обмена трафиком: миланской MIX и римской NaMeX.
В первом эксперименте исследователи сравнили задержки на маршрутах, проходивших через эти IXP, и на тех, где пиринг не использовался. Для проверки выбрали две группы ресурсов: 100 самых популярных итальянских сайтов и 50 критически важных сервисов, включая онлайн-банки, государственные платформы, медицинские порталы. Среди зондов RIPE Atlas, маршруты которых проходили через IXP, примерно 70% показывали среднюю задержку не более 30 мс. Среди зондов, не использовавших эти точки обмена, аналогичный показатель был только у 20%.
Во втором эксперименте участвовали три итальянских интернет-провайдера среднего звена. Исследователи поочередно меняли условия распространения BGP-маршрутов: в одном случае сети анонсировались только транзитным операторам, в другом — только участникам IXP. Затем специалисты сравнили задержку, джиттер, количество промежуточных узлов и потери пакетов. Подключение через IXP показало результаты не хуже, а по большинству показателей — лучше, чем подключение через транзитных операторов. По итогам исследования авторы пришли к выводу, что объяснять отказ от пиринга на публичных IXP стремлением повысить производительность сети как минимум спорно.
Знакомая картина
На сегодняшний день кейс Vodafone остается одним из исключений; крупнейшие облачные компании и контент-провайдеры продолжают использовать публичные точки обмена трафиком (даже развивая параллельно собственную магистральную инфраструктуру). Более того, регулярно появляются новые IXP — например, в 2024 году в Дрездене запустили DD-IX. Сама инициатива была подана местным сообществом, участники которого хотели обеспечить у себя стабильное и быстрое соединение. Сейчас общая емкость DD-IX превышает 200 Гбит/с.
Примечательно, что разговоры о закате публичного пиринга возникают далеко не впервые. Почти 17 лет назад, в декабре 2009 года, участники профессиональной рассылки NANOG отмечали, что заявок на присоединение к пиринговым сетям становится все меньше, а бизнес активно переходит на проприетарную инфраструктуру. Однако спустя годы интерес к публичному пирингу никуда не делся. Если в 2009-м на подключение к британской точке обмена трафиком LINX поступало около 50 заявок в год (примерно по одной в неделю), то в 2024 этот показатель вырос до 93.
Скорее речь идет о перестройке модели межсетевого взаимодействия. Именно так происходящее описывают Флавио Лучани и Джон Саутер, бывший генеральный директор LINX. Они отмечают, что роль точек обмена трафиком меняется. В странах с развитой сетевой инфраструктурой они становятся не только площадками для пиринга, но и инструментом локализации трафика и обеспечения цифрового суверенитета — в Латинской Америке, например, новые IXP помогают развивать собственную инфраструктуру и снижать зависимость от зарубежных сетевых узлов.
О чем еще мы пишем на Хабре и в корпоративном блоге VAS Experts:
CUPS для PCEF/PGW: зачем разделять Control Plane и User Plane в мобильном ядре. Разберем, как масштабировать сетевую инфраструктуру, разделив управление абонентскими сессиями и обработку пользовательского трафика. В качестве основы рассмотрим архитектуру CUPS: как проходит тарификация, как выполняется трансляция адресов NAT.
Как мы развернули собственный стенд мобильного оператора для тестирования ядра сети. В предыдущем материале мы рассказали об архитектуре CUPS. Теперь рассмотрим, как эта технология работает на практике, на примере собственного лабораторного стенда мобильной сети. Покажем, как с его помощью мы тестируем тарификацию, моделируем роуминг и отрабатываем переключение между LTE и Wi-Fi без потери соединения.
Как оператору масштабироваться без перестройки сети. Разбираем, как постепенно наращивать производительность системы обработки трафика — от одного сервера до кластерной конфигурации с расчетной пропускной способностью до 9,6 Тбит/с. Отдельно рассматриваем механизмы отказоустойчивости: bypass-коммутаторы, контроль доступности узлов и резервирование вычислительных ресурсов по схеме N+X.
Как несколько килобайт могут замедлить весь интернет. Достаточно мощные квантовые компьютеры в будущем смогут поставить под угрозу современные криптографические алгоритмы, включая RSA и ECDSA. Для защиты от этой угрозы уже стандартизированы постквантовые цифровые подписи, но внедрить их в существующую инфраструктуру не так просто. Разбираемся, почему переход на квантово-устойчивую криптографию может замедлить работу веба.