Когда у вас есть подключение с кем-либо где видно MAC адреса, это позволяет, с высокой долей достоверности, узнать производителя оборудования используемого вашим партнёром. А когда это общая коммутационная среда, как на точках обмена трафика, то производителя можно узнать у всех участников разделяющих с вами это подключение, и такой анализ уже был на Habr. Но даже если не быть подключенным к IX, то всё равно информацию о MAC адресах, хотя далеко и не всех участников, можно получить используя looking-glass. Этим мы и займёмся для нескольких крупнейших точек обмена трафиком, а поможет нам в этом Алиса.

By John Tenniel - Through the Looking-Glass, Public Domain, commons.wikimedia.org
By John Tenniel - Through the Looking-Glass, Public Domain, commons.wikimedia.org

Looking-glass отличное диагностическое средство и точки обмена трафиком стараются его поддерживать за что им всем большая благодарность. Конечно, MAC адреса в looking-glass не видно ни коим образом, может быть только если использовать какие-то грязные трюки, в надежде, что админы это пропустили. Но у нас есть IPv6 и link-local адреса формата модифицированного EUI-64, которые уже могут быть заметны без дополнительных усилий. Технически, попадание link-local адресов в анонсы описывается RFC2545 и они обязательно должны быть вместе с глобальными адресами или не быть вообще. Конечно, конкретная реализация LG или демона BGP может влиять на то в каком виде отображаются эти адреса и отображаются ли они, при условии что вообще попали в анонс, но на looking-glass точек обмена трафиком их можно заметить при просмотре полученных префиксов с конкретного соседа. Наверное, на LG провайдеров то же, но там сложнее искать в силу отсутствия средств вывода полной таблицы маршрутизации и разнесения сервиса LG и устройств выполняющих непосредственное обслуживание BGP соседств.

Остался вопрос, как собрать эти данные с LG? В этом нам поможет тот факт, что многие крупнейшие IX (первые 4 из списка самых крупных по версии Wikipedia) используют Alice-LG к которому можно обращаться по API. Необходимый и достаточный минимум по использованию публикует DE-CIX, включая точки входа API запросов. Для нас будут интересны следующие:

  1. /api/v1/routeservers - получение списка серверов маршрутизации, из которых отфильтруем те что обслуживают IPv6 соседства, как правило по имени в названии

  2. /api/v1/routeservers/:RS_id/neighbors - получения списка соседств для каждого из серверов, выбираем только те, которые анонсируют активные маршруты

  3. /api/v1/routeservers/:RS_id/neighbors/:NEIGHBOR_id/routes/received - получаем маршруты для каждого из списка соседств, в которых можем увидеть next-hop link-local IPv6

Все результаты возвращаются в JSON.

Выберем следующие точки (по размеру и наличию Alice-LG): IX.BR, DE-CIX, AMS-IX, LINX, DATA-IX, NETNOD - с которых получим 8941 уникальных next-hop адресов, больше всех 5113 на Бразильском IX, следом DE-CIX и LINX. Далеко не для всех из них есть в паре link-local адрес, это уменьшает нашу выборку больше чем на треть до 5084 адресов и теперь на первом месте DE-CIX, потом IX.BR и LINX. Наивно было бы ожидать, что все адреса сформированы как EUI адреса, безопасность должна быть безопасной, поэтому у нас остаётся 3050 адреса. После чего ещё 121 адрес не определился за каким либо производителем, потому что был сформирован из частного MAC адреса, больше всего таких адресов на LINX - 97 и совсем нет на DATA-IX и AMS-IX. Итого 2929 адресов по которым можно предположить производителя из списка IEEE.

Название IX

Всего IPv6 next-hop

Всего link-local

Всего значимых OUI

IX.BR

5113

1813

792

DE-CIX

2182

1868

1204

LINX

817

728

591

NETNOD

415

327

174

DATA-IX

330

275

116

AMS-IX

84

73

52

Всего:

8941

5084

2929

Сразу стоит пояснить что небольшое количество next-hop на AMS-IX связано с использованием коллекторов маршрутов, которые скрыли всё, собственно, в Амстердаме, а на LG остались видимые напрямую серверы только с небольшим количеством соседей. Видно заметную разницу в Бразилии, на крупнейшем IX в мире, где link-local адреса, в принципе, не сильно присутствуют, да и значимых адресов, особенно если смотреть в процентном отношении, сильно меньше. Можно предположить, что это связано с отличающимся от европейских точек способом подключения, или оборудованием и ПО с другим подходом к организации взаимодействия по BGP и назначением адресов на интерфейсы. Посмотрим дальше, будет ли эту разницу заметно, когда мы посчитаем производителей сетевых устройств на каждом из IX.

Всего получилось 54 разных производителей клиентского оборудования если суммировать все выбранные нами IX, десять наиболее встречаемых: Cisco Systems Inc., Juniper Networks, Routerboard.com, Intel Corporate, Dell Inc., Extreme Networks Headquarters, VMware Inc., Arista Networks, Hewlett Packard, Brocade Communications Systems LLC и

все вместе:

1143 Cisco Systems, Inc
672 Juniper Networks
352 Routerboard.com
156 Intel Corporate
98 Dell Inc.
88 Extreme Networks Headquarters
68 VMware, Inc.
64 Arista Networks
50 Hewlett Packard
38 Brocade Communications Systems LLC
29 Super Micro Computer, Inc.
25 Mellanox Technologies, Inc.
20 Edgecore Networks Corporation
16 Ubiquiti Inc
14 HUAWEI TECHNOLOGIES CO.,LTD
11 Broadcom
8 Fortinet, Inc.
7 FS COM INC
6 Shenzhen Lianrui Electronics Co.,Ltd
6 Chelsio Communications
5 zte corporation
5 LANNER ELECTRONICS, INC.
4 ServerU Inc
4 Shenzhen jiahua zhongli technology co.LTD
3 Nutanix
2 Xteam
2 Xensource, Inc.
2 TRENDnet, Inc.
2 QLogic Corporation
2 Encore Networks, Inc.
2 Broadcom Limited
2 Advantech Technology (CHINA) Co., Ltd.
2 Massar Networks
1 Wistron Infocomm (Zhongshan) Corporation
1 TP-LINK TECHNOLOGIES CO.,LTD.
1 StarTech.com
1 Shenzhen Zeroone Technology CO.,LTD
1 Raspberry Pi Foundation
1 Qumranet Inc.
1 PC Engines GmbH
1 Palo Alto Networks
1 New H3C Technologies Co., Ltd
1 Net 000200 Sys Co., Ltd.
1 MIX s.r.l.
1 Microsoft Corporation
1 ISCO International
1 INVENTEC CORPORATION
1 Edgecore Americas Networking Corporation
1 DriveCam Inc
1 ASRock Incorporation
1 AAEON Technology Inc.
1 Blacknight Internet Solutions Limited
1 sdt.net AG
1 Rayhaan Networks

Cisco с большим опережением, Juniper и MikroTik (Routerboard) в тройке, Intel - наверное, программные решения, VMware - точно программные решения, и остальные имена, как минимум, в первой двадцатке все знакомые. Ещё раз обращу внимание, что это всего лишь 1/3 от всех присутствующих подключений по IPv6, и IPv6 в свою очередь сильно меньше чем IPv4 на IX, поэтому это не общая картина, а только часть её, того оборудования которое вставляет link-local в формате EUI в BGP анонсы. То есть, наиболее популярное решение может быть совершенно иным, по причине, что оно просто не попало в нашу выборку. Из интересного, что ещё не попало, потому что выборка была нацелена на клиентов IX, а не на сам IX - у Бразильской точки обмена трафиком и NIC есть собственный OUI 5CE0F6 - "NIC.br- Nucleo de Informacao e Coordenacao do Ponto BR" его видно в next-hop технических маршрутов на стыковочные адреса пиринговой сети RS.

Осталось посмотреть как меняется картина в выборке для каждого из IX - 5 самых часто встречающихся:

Название

1

2

3

4

5

IX.BR

Routerboard.com (311)

Cisco Systems Inc (240)

Intel Corporate (71)

Dell Inc (65)

Arista Networks (12)

DE-CIX

Cisco Systems Inc (530)

Juniper Networks (347)

Extreme Networks Headquarters (49)

VMware Inc (44)

Arista Networks (33)

LINX

Juniper Networks (268)

Cisco Systems Inc (208)

Intel Corporate (27)

Routerboard.com (16)

Extreme Networks Headquarters (14)

NETNOD

Cisco Systems Inc (81)

Intel Corporate (23)

Hewlett Packard (15)

Juniper Networks (14)

VMware Inc (13)

DATA-IX

Cisco Systems Inc (69)

Juniper Networks (24)

Extreme Networks Headquarters (4)

Mellanox Technologies Inc (4)

Hewlett Packard (3)

AMS-IX

Juniper Networks (19)

Cisco Systems Inc (15)

Arista Networks (4)

Extreme Networks Headquarters (3)

VMware Inc (2)

Получился, конечно, не Gartner MQ, но погадать можно, помня про ограничения выбранного метода. Бразилия - отличается, в дополнении к тому что мы видели в общих цифрах тут ещё и первое место MikroTik заметно выбивается среди всех остальных, да и Juniper исчез вообще, его нет во всей выборке, а не только среди первой пятёрки, у остальных он на первых и вторых местах. Можно предположить отличия в финансовых возможностях клиентов в Бразилии и в Европе, или специфичное присутствие вендоров в конкретной месте. Однако, Cisco используют все. Ещё я думал увидеть Huawei, но его тоже нет в первых рядах, да и вообще его очень мало, может быть это как раз то, что мы не видим из-за отсутствия link-local в анонсах и использования случайных адресов. Для каждой из точек есть два или один преобладающих вендора оборудования, все остальные сильно отстают - я бы сказал что это мода, может быть ещё доступность - ни одного неизвестного имени.

Мы живём в мире где открытость и наблюдаемость признаны небезопасными, looking-glass, да и в принципе телеком открыт очень сильно, потому что по природе своей является глобальным, что вынуждает очень и очень многих людей взаимодействовать друг с другом, а без публичных стандартов и инструментов было бы очень сложно договориться всем со всеми. Поэтому немного неожиданно видеть в публичном пространстве IPv6 link-local адреса, да ещё и с правильными EUI-64, но таким создавался IPv6, очень давно, и ещё в те времена когда все друг другу доверяли. В любом случае это не обязательное правило, а одна из возможных опций, на которую можно влиять самостоятельно разными способами, не идя путём запретов и всё же оставаясь открытым, настолько, насколько это сейчас возможно.

Комментарии (2)


  1. CCNPengineer
    21.12.2023 11:41

    если внутри Vmware запустить Cisco CSR то какой будет мак адрес? Cisco или Vmware?


    1. Loiqig Автор
      21.12.2023 11:41

      VMware