Корпоративный конфликт возник 10.06.2019 из-за возрастания стоимости доставки SMS пользователям сети Вымпелком со стороны Mail.RU Group. В качестве ответных мер Mail.RU Group перестал «обслуживать» прямые российские IP-каналы в сторону сети Вымпелком.
Ниже краткий анализ ситуации с позиции сетевого инженера.
Update: 14.06.2019 18:45 — акцент на российских маршрутах в сеть Вымпелком, скорректированы выводы, добавлено пояснение Сергея Кубасова (CIO Вконтакте).
Update: 14.06.2019 19:48 — добавлено описание способа ограничения распространения маршрутов по «короткому» российскому пути через Ростелеком, МТС, РЕТН.НЕТ..
Update: 15.06.2019 09:39 — Mail.ru заблокировал свой Looking Glass.
Update: 18.06.2019 10:10 — Депиринг закончен. Вымпелком и Mail.RU Group подняли прямые BGP-сессии.
Вводные:
Вымпелком имеет автономную систему AS3216, все остальные (8402 — домашний интернет, 16345 — мобильный интернет) располагаются за 3216.
Mail.RU Group — автономные системы AS47541, AS47542 и AS47764. Основным генератором контента является 47542, т.н. CDN VKONTAKTE (фильмы, музыка). Все автономные системы независимы друг от друга (с позиции внешней автономной системы).
Сначала посмотрим на ситуацию со стороны сети Вымпелком. Для этого нам поможет Looking Glass Вымпелком.
Смотрим первую автономную систему — AS47541.
2914 47541
79.104.32.251 (metric 10500) (79.104.32.251)
Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
Received Path ID 0, Local Path ID 1, version 2865394342
Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078AS-PATH содержит две автономные системы — 2914 (NTT) и 47541 (VKONTAKTE-SPB-AS).
Метрика localpref установлена 87, что согласно описанию в RIPE DB для объекта AS3216 соответствует международному пирингу.
…Эту же информацию подтверждают и комьюнити 3216:3000 и 3216:3103 (источник — RIPE DB для AS3216):
remarks: International peer's routes get local preference in the
remarks: range of 81-89.
...
…То есть, маршрут до ВКонтакта Вымпелком видит через европейский стык.
remarks: 3216:3000 Receieved from an international uplink or peer, specifically:
…
remarks: 3216:3103 AMS-IX
...
Посмотрим другую автономку ВКонтакте — 47542 (VKONTAKTE-MSK-CDN-AS).
2914 47541
79.104.32.251 (metric 10500) (79.104.32.251)
Origin IGP, metric 30, localpref 87, valid, internal, best, group-best, import-candidate, import suspect
Received Path ID 0, Local Path ID 1, version 2865394338
Community: 2914:410 2914:1214 2914:2213 2914:3200 3216:3000 3216:3103 47541:1 47541:40000 47541:50078А как обстоят дела с самим Mail.ru? Посмотрим на AS47764 (mailru-as).
3356 47764
194.67.0.215 (metric 10501) (194.67.0.215)
Origin IGP, metric 0, localpref 77, valid, internal, best, group-best, import-candidate
Received Path ID 0, Local Path ID 1, version 2867605667
Community: 3216:3000 3216:3007 3356:2 3356:22 3356:100 3356:123 3356:519 3356:2094 47764:1 47764:40000 47764:50077 Вымпелком видит Mail.ru через as3356 (аплинк Level3, Tier1 оператор). Эта информация подтверждается и localpref 77:
…и комьюнити (3216:3000 и 3216:3007):
remarks: Uplink's routes get local preference in the range of 71-79.
remarks: Last Update: February 2012...
…
remarks: 3216:3000 Receieved from an international uplink or peer, specifically:
…
remarks: 3216:3007 Level 3 Communications
...
Из полученной информации видно, что трафик с сети Вымпелком на ВКонтакте и МэйлРу распространяется через европейские стыки согласно маршрутам, полученным по протоколу BGP. Альтернативных маршрутов через внутрироссийские стыки в Looking Glass нет. Мер по искусственному перенаправлению трафика через заведомо худшие маршруты не обнаружено.
А как видит Mail.ru Group сети Вымпелкома?
Воспользуемся Looking Glass от Мэйлов. Update: по состоянию на утро 15.06.2019 Looking Glass не работает, при запросах выдается 500-ая ошибка:
С маршрутизаторов из AS47764 (mailru-as):
Path #6: Received by speaker 0
Advertised to peers (in unique update groups):
188.93.60.188
1299 1299 1273 3216 3216
217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253)
Origin IGP, metric 500, localpref 200, valid, internal, best, group-best
Received Path ID 0, Local Path ID 0, version 1172721494
Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077AS-PATH содержит AS1299 (Telia, Tier1 оператор, аплинк Mail.RU) и as1273 (Vodafon, Tier1 оператор, аплинк Вымпелком).
LocalPreference 200 — стандарт для внешних стыков Mail.ru (https://net.mail.ru/bgp.html), а MED 500 соответствует всему, что получено не с прямого стыка, не с IX-ов, не с пирингов.
Но почему же нет местных маршрутов через российских операторов связи???
Есть они, но приоритет у них «нестандарный»!
Вот маршрут через Ростелеком (as12389):
Path #1: Received by speaker 0
Not advertised to any peer
12389 3216
46.61.178.149 from 46.61.178.149 (213.59.207.79)
Origin IGP, metric 500, localpref 199, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077
Origin-AS validity: not-foundВот через Мегафон (as31133):
Path #2: Received by speaker 0
Not advertised to any peer
31133 3216
78.25.77.41 from 78.25.77.41 (10.222.253.97)
Origin IGP, metric 500, localpref 199, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077
Origin-AS validity: not-foundВот через РЕТН.НЕТ:
Path #3: Received by speaker 0
Not advertised to any peer
9002 9002 3216
87.245.253.24 from 87.245.253.24 (87.245.225.1)
Origin IGP, metric 500, localpref 199, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077
Origin-AS validity: not-foundИ даже через МТС!
Path #5: Received by speaker 0
Not advertised to any peer
8359 3216
212.188.61.105 from 212.188.61.105 (195.34.52.77)
Origin IGP, metric 500, localpref 199, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077
Origin-AS validity: not-foundМетрика localpref на эти российские маршруты занижена, то есть маршруты ухудшены по сравнению с зарубежными!
Кроме того, со стороны Mail.Ru Group стоят запреты распространения своих префиксов в Вымпелком через российских операторов!
РЕТН.НЕТ (http://lg.retn.net/):
На анонсах из Mail.RU Group стоит комьюнити 3216:65535.
94.100.176.0/20 (1 entry, 1 announced)
*BGP Preference: 170/-201
…
…
AS path: 47764 I
AS path: Recorded
Communities: 3216:65535 9002:64667 9002:65530
…
Маршруты, помеченные таким комьюнити Вымпелком не принимает на свою сеть. Выдержка из RIPE DB по AS3216:
…
remarks: Internal comminuties are assigned only internally.
remarks: They are in range 3216:0000-3216:4999 and 3216:6000-3216:65535
remarks: and are always deleted from incoming updates at the border
remarks: routers.
...
В сторону Ростелекома (http://lg.ip.rt.ru) Mail.RU Group отдает аналогичные маршруты с комьюнити 12389:8350.
Type: BGP unicast univ
BGP.origin: IGP
BGP.as_path: 47764
BGP.next_hop: 213.59.207.78
BGP.med: 0
BGP.local_pref: 850
BGP.community: (12389,1) (12389,1100) (12389,1105) (12389,1277) (12389,8350) (12389,8380) (47764,1) (47764,40000) (47764,50077)
BGP.originator_id: 213.59.207.78
BGP.cluster_list: 95.167.88.79 95.167.88.49 95.167.88.17
Согласно записям в RIPE DB для объекта as12389 это комьюнити означает «не анонсировать в сеть as3216»:
…
remarks: | 12389:835y When advertising to GoldenTelecom (AS3216) |
…
remarks: | ...y=0 — do not advertise |
...
Аналогично в сторону МТС (http://lg.mtu.ru):
Paths: (2 available, best #1, table default)
Multipath: eBGP
Advertised to update-groups:
6
47764, (received & used)
195.34.52.77 (metric 16) from 195.34.52.181 (195.34.52.181)
Origin IGP, metric 0, localpref 140, valid, internal, best
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster list: 83.59.83.59
47764, (received & used)
195.34.52.77 (metric 16) from 195.34.52.182 (195.34.52.182)
Origin IGP, metric 0, localpref 140, valid, internal
Community: 8359:2120 8359:2150 8359:5500 8359:55277
Originator: 195.34.52.77, Cluster list: 83.59.2.77
Комьюнити 8359:2120 означает:
…
remarks: 8359:212x when announcing to Sovam (Beeline)
…
remarks: x=0 — do not announce
...
Посмотреть на анонсы Mail.RU Group в сторону Мегафона посмотреть нельзя — у последнего нет Looking Glass.
Посмотрим AS47541 (VKONTAKTE-SPB-AS).
Router: a9922-e-5
Command: show ip bgp 81.211.56.202
Last switch-over Thu Apr 5 04:25:09 2018: 1 year, 10 weeks, 6 hours, 9 minutes ago
Fri Jun 14 10:34:20.791 MSK
BGP routing table entry for 81.211.0.0/17
Versions:
Process bRIB/RIB SendTblVer
Speaker 913059757 913059757
Last Modified: May 21 05:20:38.536 for 1y03w
Paths: (6 available, best #4)
Advertised to update-groups (with more than one peer):
0.2
Advertised to peers (in unique update groups):
188.93.60.188
Path #1: Received by speaker 0
Not advertised to any peer
1299 1273 3216 3216
87.240.191.235 (metric 31) from 87.240.191.235 (87.240.191.235)
Origin IGP, metric 5000, localpref 150, valid, internal
Received Path ID 0, Local Path ID 0, version 0
Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
Path #2: Received by speaker 0
Not advertised to any peer
1299 1273 3216 3216
87.240.191.248 (metric 31) from 87.240.191.248 (87.240.191.248)
Origin IGP, metric 5000, localpref 150, valid, internal
Received Path ID 0, Local Path ID 0, version 0
Community: 1273:12752 1299:431 1299:4000 1299:20000 1299:20002 1299:20200 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41111 47541:50078
Path #3: Received by speaker 0
Not advertised to any peer
174 6762 3216 3216
87.240.191.249 (metric 31) from 87.240.191.249 (87.240.191.249)
Origin IGP, metric 5000, localpref 150, valid, internal
Received Path ID 0, Local Path ID 0, version 0
Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
Path #4: Received by speaker 0
Advertised to update-groups (with more than one peer):
0.2
Advertised to peers (in unique update groups):
188.93.60.188
174 6762 3216 3216
149.6.169.113 from 149.6.169.113 (38.28.1.236)
Origin IGP, metric 5000, localpref 150, valid, external, best, group-best
Received Path ID 0, Local Path ID 0, version 913059757
Community: 174:21100 174:22005 47541:701 47541:41100 47541:41108 47541:50078
Origin-AS validity: not-found
Path #5: Received by speaker 0
Not advertised to any peer
1273 1273 3216 3216
195.89.114.197 from 195.89.114.197 (195.2.1.107)
Origin IGP, metric 5005, localpref 150, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 1273:12752 3216:2001 3216:2999 3216:4100 47541:701 47541:41100 47541:41110 47541:50078
Origin-AS validity: not-found
Path #6: Received by speaker 0
Not advertised to any peer
3356 3356 3216 3216 3216
213.242.69.69 from 213.242.69.69 (4.69.177.130)
Origin IGP, metric 5000, localpref 150, valid, external
Received Path ID 0, Local Path ID 0, version 0
Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 47541:701 47541:41100 47541:41107 47541:50078
Origin-AS validity: not-foundAS-PATH указывает на AS174 — Cogent (аплинк Mail.RU, Tier1), затем AS6762 — Telecom Italia (аплинк Вымпелком). Local Preference везде 150, но так на все внешние стыки, вне зависимости от писанных политик.
Посмотрим AS47542 (VKONTAKTE-MSK-CDN-AS).
Router: mx960-m9-0
Command: op lg-sh-bgp prefix 81.211.56.202
0.0.0.0/0 LP:151 MED: NH:87.240.191.222 AS path: 47541 I
Communities:
Accepted Best
0.0.0.0/0 LP:151 MED: NH:95.142.204.251 AS path: 47541 I
Communities:
Accepted
Inactive-reason: Interior > Exterior > Exterior via InteriorИ со второго маршрутизатора:
Router: mx960-m9-1
Command: op lg-sh-bgp prefix 81.211.56.202
0.0.0.0/0 LP:151 MED: NH:87.240.191.224 AS path: 47541 I
Communities:
Accepted Best
0.0.0.0/0 LP:151 MED: NH:95.142.204.250 AS path: 47541 I
Communities:
Accepted
Inactive-reason: Interior > Exterior > Exterior via InteriorТолько маршруты по умолчанию (0.0.0.0/0). Эту ситуацию пояснил сотрудник Mail.RU Group greediness, за что ему спасибо. Если кратко: московский сегмент сети ВКонтакте являются кеширующим (а не генерирующим), задача которого — оптимизация скорости загрузки популярного востребованного контента. Забота о пользователях, да.
Если маршрута на какую-то сеть нет, значит эта сеть не обслуживается кеширующими серверами. Значит оптимизация скорости загрузки не работает, а пользователи страдают. Но тут нужно акцентировать — пользователи не только свои, но и Вымпелкома.
Выводы:
- Со стороны Вымпелком трафик в сторону Mail.RU Group распределяется естественным образом. Искусственных перенаправлений через манипуляции Local Preference не обнаружены
- Со стороны Mail.RU Group наблюдаются манипуляции с префиксами Вымпелком. На существующие маршруты в сторону сети Вымпелком через российских операторов приоритеты занижены по сравнению с маршрутами через зарубежных Tier1 операторов.
- На передаваемые российским операторам (МТС, Ростелеком, РЕТН.НЕТ) маршруты со стороны Mail.RU Group добавлены управляющие BGP комьюнити для ограничения их распространения в сторону Вымпелком
Почему же Mail.RU Group ставит маршруты через Европу более приоритетными? Почему Mail.RU Group запрещает короткую внутрироссийскую связность с Вымпелкомом?
Им так дешевле? Гонять трафик через зарубежные каналы и платить тирванам валютой?
Или есть желание загнать трафик подальше, чтобы забирать его было не так удобно, а?
Это сетевому инженеру неизвестно…
Результаты депиринга:
17.06.2019 BGP-сессии между Вымпелкомом и Mail.RU Group подняты:
AS47764 (Mail.RU):
AS47541 (Vk):
AS47542 (Vk CDN):
Кто стал инициатором поднятия сессий — неизвестно.
Комментарии (98)
mickvav
14.06.2019 12:20+2Кто там говорил что нам нет дела до сетевого нейтралитета? Добро пожаловать в дивный новый мир, товарищи!
Nick_Shl
15.06.2019 05:38+1Причем тут сетевой нейтралитет? Это обычная недобросовестная конкуренция. Тоже самое как если бы в Ашане людей с пакетами из Пятёрочки загоняли бы в отдельную медленно работающую кассу и советовали для скорейшего обслуживания сменить сеть магазинов где они затовариваются. Никакой разницы.
А "сетевой нейтралитет" это когда провайдер хочет сделать тариф 100 МБит youtube.com, 10 МБит все остальное, а ему говорят: "Фиг тебе! Сетевой нейтралитет!".
Carduelis
14.06.2019 12:45P.S. Наверное, это последнее, что я смогу написать здесь. Так что прощайте, Хабраюзеры!
Как-то я забеспокоился после такой фразы. У вас там часом нарколабораторию не нашли? не собираются?
snevsky
14.06.2019 13:27То есть mail.ru как бы мстит Билайну за повышение тарифа на смс-рассылки, но страдают конечные пользователи самого mail.ru!? Ну-ну, бизнес по понятиям.
Gansterito Автор
14.06.2019 13:39Репутационная пластичность у Мail.ru Group выше.
Если почта на mail.ru, куда ты уйдешь? А номер можно перенести по MNP.
Если бесплатно смотришь видео и музыку ВК, где еще найдешь такое? А домашний интернет можно взять у районного провайдера.
Если над тобой один хозяин (виргинский офшор), то у тебя карт-бланш. А акционеры с NASDAQ такого не терпят.
Aingis
14.06.2019 13:45Видео и музыка ВК уже давно не бесплатно. Хочешь больше 30 минут в день — оплачивай подписку.
achekalin
14.06.2019 14:52Что-то мне подсказывает, что пул бизнес-решений, что пилит и проталкивает на рынок Mail.ru, после этой выходки сильно упадет в глазах потенциальных бизнес-клиентов.
Вопрос простой: как покупать хостинг или держать почту домена на площадке, которая ресурс без банальной устойчивой связности с половиной страны может оставить? Такой имидж — прямо антидостижение: оказывается, мэйл может в угоду политике перейти некую грань, инаступить на горло собственной песнеухудшить сервис для клиентов, только чтобы кому-то стало хуже.
P.S. Как в той пословице, если к бочке меда добавить ложку дерьма, то получишь бочку дерьма, так, как кажется, и тут получилось: инженеры в Mail.ru хорошие, а вот принимающие решения головы…Nalivai
14.06.2019 18:06Мейл сейчас в уникальной ситуации, когда репутацию им подпортить не может уже ничего. После всего что оно делали, сделали и делают, все кто заботился о репутации не подходят к мейл.ру на пушечный выстрел, а то не заботился, тем пофигу в общем-то
kwardakov
18.06.2019 11:24Ну не скажите, батенька, на митапах у них и пицца вкусная и пиво есть, неплохое, и в офисе есть много интересных мест.
Ovsiannikov
14.06.2019 19:34Не упадёт
Не клиентов, а пользователей.
Связность не ухудшилась.
Вообще то что тут описано это банальная и типичная ситуация когда сети выясняют отношения. Просто вылезло на таком масштабе, что на хабре об этом написали… ну и что ?
vebeer
14.06.2019 14:58При этом завести новую почту — дело 5 минут, а сменить номер — это идти с паспортом, писать заявление, а там ещё какие-нибудь данные не освпадут с теми, что 10 лет назад были указаны в ЛК.
Музыки в ВК бесплатной уже вроде и нет, но можно купить такую же подписку на подписку на ту же я.музыку или apple music и т.д. А домашний интернет — это тоже идти, писать заявления, ждать монтажников и т.д. А если у тебя публичный IP от опреатора — то тут уже сложнее.
Ну а вопрос с акционерами, как мне кажется, уже немного из другой плоскости.
Но в любом случае, от того, что мэил.ру вмешивается в политики маршрутизации, чтобы задавить какого-то конкретного оператора(конкуретна мегафона, с которым у мэил.ру одни акционеры) — их пользователям лучше от этого точно не станет, не должна крупная технологическая компания вести себя как обиженный второклассник.
iddi
14.06.2019 17:27+1завести новую почту — это надо обновить ее на всех сайтах, где с ней регистрировался, сообщить всем корреспондентам об изменении.
идти с паспортом проще, к тому же некоторые операторы вам с курьером новую симку привезут и никуда идти не надоduronus
14.06.2019 17:40пффф, сделать пересылку, через 5 лет и сам забудешь что у тебя есть почта на mail.ru, я так в 2008 году сделал, все что нужно доходит и сейчас, но пароль от этой почты даже не знаю
iddi
14.06.2019 17:40так себе решение
duronus
14.06.2019 17:41почему, получать то будешь в любом случае всю корреспонденцию
kemko
14.06.2019 18:11Пересылка сломает проверку dkim и spf у пересланных писем на новом ящике.
Вместо пересылки настроить сборку через pop3. Минус такого варианта в том, что письма со старого ящика будут забираться с задержкой.
Вообще я для себя этот вопрос решил давно использованием почты на своём домене. Но и тут было интересно. Однажды мне предложили продать домен и пришлось переползать в другую зону.
duronus
14.06.2019 20:48нормальные серверы сохраняют dkim и dmarc нормально проходит проверку, так что никаких проблем с доставкой. А сборка это скорее кастыль
x67
15.06.2019 06:52А что по спаму? Не ощущаете проблем из за отсутствия каких нибудь фич, типа интеграции с гдрайвом?
9660
15.06.2019 09:01Ну как вариант, мэйлру решает что вам на ящик падает слишком много почты. и дает отправителям отлуп.
Или какие-то письма не нравятся мэйлру и оное забривает их в спам не пересылая.
Так что про «в любом случае» и «всю корреспонденцию» это весьма спорно.
Кстати оба примера испытал лично.duronus
15.06.2019 12:10+1пфф, 1 а что мешает настроить пересылку спама тоже? И если маил ру отбривает какое то письмо, вы в любом случае его не получите, ну максимум можно в поддержку написать, но по моему проще сменить сервер
9660
15.06.2019 12:28пфф, 1 а что мешает настроить пересылку спама тоже?
У вас есть ящик на мэйлру? Попробуйте такой квест. Я однажды смог, повторить нет.
по моему проще сменить сервер
О чем и речь. Но у этого есть свои сложности типазавести новую почту — это надо обновить ее на всех сайтах, где с ней регистрировался, сообщить всем корреспондентам об изменении.
duronus
15.06.2019 23:38Я таким макаром ушел сначала с mail.ru потом с яндекса, а сейчас у меня уже свой почтовик.
На mail.ru почта есть но с 2008 года на неё ничего не регистрирую потому там может разве что только совсем уж спам мыльный, даже заходить не собираюсь
wlr398
14.06.2019 19:37не должна крупная технологическая компания вести себя как обиженный второклассник.
Это вы не помните пиринговые войны
IgorGolov
15.06.2019 08:45Она вообще не должна иметь телеком операторов в совете директоров. Никак и никогда.
m-rv
14.06.2019 14:20Особую пикантность ситуации придает тот факт, что у Мэйл-ру в акционерах Мегафон…
inkvizitor68sl
14.06.2019 14:25Пиши, шуми, не думай! =)
У М.ру и билайна был прямой канал (в РФ все пирятся друг с другом. Пока что).
Этот канал выключили (почему — вопрос обсуждаемый, но технически ничего необычного, в рунете подобное каждый день случается).
Телия есть на М9.
Водафона, судя по всему, на М9 нет (или он не хочет пириться там с Телией, но я руками не нашел, с кем водафон пирится в Мск в принципе).
Трафик м.ру из Телии в Водафон пошел через черт-те куда (213.248.81.54, rtt из М9 60+).
Со стороны м.ру всё логично — отключили прямой стык, трафик ушел в оператора на девятке. А вот почему у билайна аплинк не приземляет трафик в РФ — большой такой вопрос (не хочу намекать на некоторые новые законы, но и без них это весьма такой спорненький момент). Впрочем, да — водафону пириться с телией в DE-IX явно дешевле, чем в М9 с его конскими ценами.
А вот почему трафик не ушел в РТК/ТТК — вопрос открытый.
imm
14.06.2019 14:54Остается надеяться, что это было пришествие экскаватора, или Тёти Маши со шваброй. Хотя я больше склоняюсь к варианту, что тут очередной виток жабо-гадюки.
inkvizitor68sl
14.06.2019 14:55Жабо-гадюка бесспорно отключила прямой стык. Но это нормально.
Почему трафик не остался внутри девятки — вот где мякотка =)dani
14.06.2019 16:06Отключать пиринг это ненормально в любой вселенной, а учитывая, что пиринг не на единственном бордере, который «сломался», так это просто называется гадство.
А трафик не остался на девятке или не внутри скорее всего потому, что AS билайна зарезали везде, кроме как на самом «длинном» аплинке
dani
14.06.2019 16:08И я, конечно, понимаю, что РТ, МТС, Мегафон и Эртелеком сидят и потирают влажные ручки, но будь у нас какая-никакая независимость операторов от кого-надо, за такие фортели мрг бы всем пустить по дальнему маршруту
Gansterito Автор
14.06.2019 16:17Со стороны м.ру всё логично — отключили прямой стык, трафик ушел в оператора на девятке.
Из вывода в статье следует, что Мэйл.Ру не просто отключил прямой стык и позволил трафику органично распределиться, а вручную увели этот трафик.
Протокол BGP нужен для динамического построения таблицы маршрутизации. Пропуск трафика должен происходить согласно оптимальным маршрутам. Мэйл.РУ для части своей сети перестали принимать маршруты на сети Вымпелком по BGP, чтобы эту оптимальность заведомо ухудшить.
Gansterito Автор
14.06.2019 18:08А вот почему трафик не ушел в РТК/ТТК — вопрос открытый.
Он мог уйти. Но, кто-то где-то «подкрутил».
Трафик мог уйти через Ростелеком:Path #1: Received by speaker 0 Not advertised to any peer 12389 3216 46.61.178.149 from 46.61.178.149 (213.59.207.79) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077 Origin-AS validity: not-found
Мог уйти и через Мегафон:Path #2: Received by speaker 0 Not advertised to any peer 31133 3216 78.25.77.41 from 78.25.77.41 (10.222.253.97) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 31133:300 31133:46170 47764:701 47764:41100 47764:41105 47764:50077 Origin-AS validity: not-found
Мог через РЕТН.НЕТ:Path #3: Received by speaker 0 Not advertised to any peer 9002 9002 3216 87.245.253.24 from 87.245.253.24 (87.245.225.1) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 9002:9002 9002:64667 47764:701 47764:41100 47764:41101 47764:50077 Origin-AS validity: not-found
И даже через МТС(!!!):Path #5: Received by speaker 0 Not advertised to any peer 8359 3216 212.188.61.105 from 212.188.61.105 (195.34.52.77) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 8359:200 8359:609 8359:5012 47764:701 47764:41100 47764:41103 47764:50077 Origin-AS validity: not-found
Но зачем же отправлять трафик внутри России, когда лучше же отправить через зарубежных Tier1 операторов!
Маршруты через них более приоритетные (см. localpref).
Level3:Path #4: Received by speaker 0 Not advertised to any peer 3356 3356 3356 3356 3216 3216 3216 212.73.248.5 from 212.73.248.5 (4.69.175.129) Origin IGP, metric 500, localpref 200, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 3356:2 3356:22 3356:100 3356:123 3356:503 3356:2067 3356:10037 47764:701 47764:41100 47764:41109 47764:50077 Origin-AS validity: not-found
Telia:Path #6: Received by speaker 0 Advertised to peers (in unique update groups): 188.93.60.188 1299 1299 1273 3216 3216 217.20.147.250 (metric 100) from 217.20.147.250 (217.20.147.253) Origin IGP, metric 500, localpref 200, valid, internal, best, group-best Received Path ID 0, Local Path ID 0, version 1172721494 Community: 1299:20000 47764:701 47764:41100 47764:41108 47764:50077
Получается, маршрут на Вымпелком через российских операторов хуже (localpref=199), а через далеких тирванов — лучше (localpref=200).
Но всегда ли такой расклад? Нет!
Маршрут на Ростелеком через Ростелеком имеет localpref 200:12389 44467 46.61.178.141 from 46.61.178.141 (213.59.207.79) Origin IGP, metric 200, localpref 200, valid, external, best, group-best Received Path ID 0, Local Path ID 0, version 600301055 Community: 47764:700 47764:43100 47764:43102 47764:50077 Origin-AS validity: not-found
А маршрут на Вымпелком через Вымпелком имеет заниженный localpref 199:12389 3216 46.61.178.149 from 46.61.178.149 (213.59.207.79) Origin IGP, metric 500, localpref 199, valid, external Received Path ID 0, Local Path ID 0, version 0 Community: 3216:2001 3216:2999 3216:4100 12389:5 12389:6 12389:1100 12389:1105 12389:1277 47764:701 47764:41100 47764:41104 47764:50077 Origin-AS validity: not-found
Так что МэйлРу мог замкнуть трафик внутри России, но не захотел этого делать. Забота о клиентах.
nevzorofff
14.06.2019 21:56+1Трафик не ушёл, потому что у маршрутов до билайна через них низкие приоритеты. В самой статье же написано.
inkvizitor68sl
14.06.2019 22:00+1Да, здесь — habr.com/ru/post/456078/?reply_to=20282928#comment_20282400 — уже подробно расписали
deseven
14.06.2019 16:07+5Ни в коем случае не оправдываю мейл.ру, но тут реально как жаба с гадюкой — стоимость передачи 1 байта падает с каждым годом, а у опсосов стоимость 1 смс для рассылок наоборот растет. У того же билайна она давно превысила 2 рубля, мы уже задумываемся о том, чтобы брать с клиентов деньги за нужные им рассылки. Вся эта хрень напоминает картриджи для струйных принтеров, такой же абсурд и деньги из воздуха.
RiseOfDeath
14.06.2019 16:46У того же билайна она давно превысила 2 рубля,
То-то я думаю, что мне зеленый банк так настойчиво предлагает PUSH-уведомления вместо СМС использовать (при этом не идет речи о том, чтобы мобильный банк стал при этом бесплатным)mk2
15.06.2019 11:45Это не только самый зелёный банк такое делает. У «модного технологичного» Тинькоффа Push-уведомления о покупках тоже платные.
shurshur
14.06.2019 17:56Комизм ситуации, что мейлру с своим заявлением про «в 6 раз» фактически признался, что у него были цены ниже рынка. Нисколько не спорю о том, что цены на A2P SMS в нашей стране безумны, но они безумны у всей «четвёрки», Билайн тут всего лишь часть общего тренда.
apro
15.06.2019 12:18Ага, особенно забавно в свете:
The key idea for SMS was to use this telephone-optimized system, and to transport messages on the signalling paths needed to control the telephone traffic during periods when no signalling traffic existed.
То есть раньше, а возможно и сейчас SMS передавались в служебных полях пакетов,
которыми и так нужно было обмениваться, то есть практически бесплатно для сотового оператора.shurshur
17.06.2019 12:40Бесплатно? Каждый крупный оператор прокачивает через себя миллиарды сообщений. Всё это нужно принять, передать, хранить в случае временной недоступности абонента… И всё это бесплатно?
Mox
14.06.2019 16:36Я думаю mail.ru могли как-то откровенно занизить бабло билайну, просто начав переводить юзеров на приложения типа Authentificator, делать подтверждения из установленного приложения и так далее.
Я думаю можно было бы значительно уменьшить выплачиваемое бабло за СМС.
donpadlo
14.06.2019 16:55Странная и не понятная политика опсосов. Регулярно повышают цены за СМС, прикрываясь «защитой от спама от рассылок» для абонентов. На деле все понимают, что просто хотят «еще денег». За последние пару лет цена СМС выросла в примерно в 3 раза, для тех кто их вынужден делать (Банки, ОФД, МЧС, сервисы авторизации и т.п). В итоге банки переводят массово уведомления в приложения. Остальные кому нужно, тоже подтягиваются. Опсосы единовременно «срубили бабла», а в перспективе потеряли рынок СМС практически до размеров «кому уж совсем никак по другому». А может я что то не знаю и «так и задумывалось»?
mk2
14.06.2019 21:28+1Как мне кажется, проблема опсосов в том, что рынок смс в перспективе они так и так теряют, как и рынок звонков.
Solann
16.06.2019 11:19По-моему, они этому только рады и считают бабло. Тарифов без абонентки сейчас днём с огнём не найдёшь, только вчера в Мегафоне слушал, как девочка пенсионерке впаривала тариф за 800р, мотивируя тем, что там бесплатное общение по ватсапу и прочим. 10 лет назад ей выдали бы какую-нибудь «Лесную сказку» и попросили бы 100-200р на счёт
Henry7
16.06.2019 13:19Тарифов без абонентки сейчас днём с огнём не найдёшь
Это следствие. Переход на систему подписок в первую очередь выгоден ОпСоСам и их финансистам.Solann
16.06.2019 14:58Честно говоря, не понял логики — 10 лет назад насколько я помню тарифы с подпиской были в большинстве, но никто не убирал из списка тарифы без неё.
shurshur
17.06.2019 12:46Логика простая — для оператора показатель прибыли это «доход в рублях с одного абонента». Абоненты, которые наговаривают всего на 100 рублей в месяц, с точки зрения прибыли неинтересны, гораздо интереснее убедить абонента платить ежемесячно хотя бы 200 рублей — даже если он столько в принципе не тратит.
greediness
14.06.2019 17:02+2Как работает CDN ВКонтакте:
1. Это маленькие изолированные узлы без собственных полноценных аплинков и полной таблицы маршрутизации. Москва, M9 — один из таких CDN.
2. Внешние каналы связи в узлах кеширования очень ограничены и используются исключительно для наполнения серверов свежими популярными мемасиками.
3. Маршрутная информация сетевого оборудования CDN используется в первую очередь для определения списка провайдеров и пользователей, которые конкретный узел кеширования будет обслуживать. Она вместе с остальными метриками экспортируется кодом сайта непосредственно с сетевого оборудования.
4. Эта информация используется сайтом в момент выдачи пользователю ссылки на музыку — определяется ближайший к провайдеру пользователя узел кеширования с запрашиваемым треком.
При отсутствии провайдера (например, Билайна) в узле кеширования пользователи попросту никогда не получат на него ссылку — и пойдут за данными в AS47541, в Санкт-Петербург, к основным хранилищам ВКонтакте.
«Подозрительный» маршрут по умолчанию используется как раз для наполнения московского кеша свежим контентом из дата-центров ВКонтакте, что, кстати, видно по AS-PATH этого маршрута.Gansterito Автор
14.06.2019 18:49Спасибо, скорректировал.
А за рубежом есть кеширующие сервера? Или все тянут контент из РФ?eurypterid
14.06.2019 19:19Конечно, есть точки присутствия и кеширующие ноды за пределами РФ.
Обычно и сами кеши тянут контент друг с друга, если связанность позволяет.
Henry7
14.06.2019 21:40С точки зрения пользователя, какая разница, каким путем к нему придет трафик? Подождет дополнительные 200 мс? Реакция человека зачастую больше.
izuware
14.06.2019 22:16где 200, там и 300 и тд… кривые рученьки и такие-же мыслишки то никто не отменял
Henry7
14.06.2019 23:50+1Хорошо, пусть будет 300. Стриминговое видео с задержкой в 0,3 секунды сильно испортит качество сервиса с точки зрения пользователя?
wlr398
15.06.2019 07:21+1Видео не знаю, но при уже при 100 мс становится довольно некомфортно даже сёрфить. Там же идут множественные запросы-ответы между браузером и веб серверами. Сайты откровенно подлагивают и вызывают раздражение.
Некомфортна становится работа по SSH, RDP из-за долгого отклика.
Попробуйте при 200-300 мс набирать и редактировать текст в консоли SSH.
Затем, геймеры будут очень, очень недовольны даже 100 мс.
А видео, скорее всего, при 300 будет при каждой буферизации показывать крутящийся спиннер.Henry7
15.06.2019 12:28Это уже понты.
Ещё поверю, что при 300 мс становятся некомфортными аудио и видео конференции. Кто пользовался спутниковыми телефонами, поймет о чем речь, но даже тогда за несколько минут мозг подстраивался.
С геймерами вопрос не так однозначен. Клиент-серверные платформы учитывают RTT при обработке запросов.
Но в итоге, это обсуждение не имеет смысла, т.к. связь через Европу увеличит RTT в среднем с 2 до 70 мс, а некоторые LTE каналы Билайна работают хуже.
slonopotamus
14.06.2019 22:33из-за возрастания стоимости доставки SMS пользователям сети Вымпелком со стороны Mail.RU Group
ЯННП. Кто и кому увеличил стоимость доставки SMS? У Вымпелком какие-то специальные цены на SMS если их отправляет именно Mail.Ru Group? Счеголи? А как Вымпелком определяет что ему SMS отправил Mail.Ru Group?
Henry7
15.06.2019 00:59Есть так называемая двухфакторная авторизация (2FA). Помимо логина/пароля добавляется одноразовый код по SMS. Это надежно, безопасно, современно, но дорого, если оператор связи не сделает оптовые скидки. Билайн, похоже, решил подзаработать и не стал давать скидки, в отличии от МТС, Мегафона и т.п. В ответку получил снижение трафика по пирингу и дополнительную нагрузку на аплинки.
Gansterito Автор
15.06.2019 12:00+1Видимо, Mail.RU Group имеет прямые стыки для отправки SMS на сети операторов. Зачем им пользоваться прослойкой в виде агрегаторов? Вот за доставку сообщений по этому стыки Вымпелком, наверное, и пересмотрел прайс…
rsashka
15.06.2019 10:42ФАС вмешается в конфликт между «Билайном» и Mail.ru Group
vc.ru/services/71628-fas-vmeshaetsya-v-konflikt-mezhdu-bilaynom-i-mail-ru-groupwlr398
15.06.2019 11:21Чтобы сократить издержки, компании пришлось приостановить обслуживание прямого канала связи с «Билайном», объяснили в холдинге.
Отличное объяснение. Пиринговый стык, как правило, почти ничего не стоит, в идеальном случае это просто оптический патчкорд между маршрутизаторами при условии нахождения обоих компаний на одной площадке, а такое бывает довольно часто.
А вот трафик идущий через европейских операторов, как раз будет стоить для мейл.ру дополнительных расходов.
Igorjan
Так мэйлру мужеложцы или нет?
Gansterito Автор
Зависит от намерений. Если хотели сохранить услугу для клиентов — то молодцы. Если хотели усугубить ситуацию и продавить Вымпелком, то не молодцы.
aPiks
У Мейл.ру один из владельцев — владелец МегаФона, а в совете директоров трое из девяти — представители МегаФона. Вариант с молодцами тут как бы даже не рассматривается, особенно когда речь о mail.ru идет.
IgorGolov
Ухудшение условий предоставления услуг для абонентов Вымпелком. Побочный эффект — сдали весь (или почти весь — нужно смотреть) трафик на зарубежные сервера.
Aingis
Судя по постоянным заявлениям «пользуйтесь другими операторами», именно в этом и заключается их намерение. Явно неконкурентные действия, которые не могут быть разумно объяснены другими причинами.
vtc
Ну так вроде бы причину прямо в заголовке обьяснили. Вымпел поднял цены на СМС для майл ру… Те их порадовали такой маршрутизацией… Обычные распри на уровне песочницы «ты у меня лопатку забрал — а я у тебя твою крепость потопчу»
Плохо одно — пользователи попали под раздачу…
Carduelis
Как-то меня собеседовали двое на позицию Front-end разработчика. Худшее интервью из пройденных.
Carduelis
Что ж, господа минусующие из mail.ru, давайте тогда буду более конкретным.
Это было 27.03.2018 в 19:00, когда где-то в середине моего ответа на один из вопросов, мне просто хотелось встать и уйти.
После собеседования было ощущение, что меня тестировали не на знания ЯП и умение решать задачи, а не стрессоустойчивость.
FDA847
А что за вопросы-то хоть были? Интересно ведь! Давайте подробности!
wrqqq
Ну-ка, о чем речь?
От себя добавлю — была/есть такая орга — мел, тоже было худшее собеседование.
Carduelis
Ну, раз интерес появился, расскажу. Бумаг я не подписывал никаких, так что можно поделиться.
Первое, что стоит отметить, собеседование я-таки прошел, впрочем, что было для меня удивлением.
Второе, что меня очень сильно расстроило и заставило себя чувствовать очень некомфортно, это реакция и поведение в ходе собеседования co стороны потенциальных коллег:
Один из них решил спросить меня о моих проектах, успехах, проблемах и способах их решений. Хороший вопрос, впрочем. Только вот никто из собеседуемых меня не слушал. То есть вообще. Сразу после вопроса все уткнулись в гаджеты. Один разработчик уткнулся в ноутбук менеджить таски, другой разработчик уткнулся в телефон (то ли мемы смотрел, то ли прокручивал список вопросов для меня, периодически гыгыкая), hr, кажется, тоже "смотрела" в ноутбук. Я пытался как-то делать паузы и расставлять акценты в рассказе (т.е. это была не монотонная бубнежка), но никто даже глазом на меня не посмотрел. В тот момент я был просто уверен, что это такой типа стресс-тест. Я подумал, что это так и не ушел. Хотя очень хотелось.
Затем стал этап технических вопросов. Один из программистов так был весел и рад своим вопросам и моим не всегда удачным ответам. Ему доставляли удовольствие мои порой некорректные ответы. Т.е. когда я отвечал правильно он будто бы разочаровывался, отвечая неправильно, он приободрялся. Был небольшой спор по поводу, а должен ли разработчик знать API наизусть, и я удивлен, что эта дискуссия получилась довольно адекватной, хотя неприятный осадок был: каждый мой ответ сопровожался его ехидной улыбкой и определенным тоном в голосе и даже подшучиваниями.
Собеседований я прошел достаточно, чтобы подобные вещи показались мне слишком неуместными.
wrqqq
И зачем только собеседования заставляют проводить неуверенных в себе людей?
Человека может разочаровывать правильный ответ, лишь в том случае, если он считает себя самым умным, а на деле же это фантазия в его голове. Кому захочется работать с коллегой, который обижается, когда получает доказательства, что не умнее, и не глупее остальных?
Carduelis
Именно такое впечатление у меня и сложилось. Еще отметил, что в момент дискуссии (обязан ли разработчик знать Browser API наизусть?), у них как будто бы была абсолютная истина, а я как Ламарк (который про свою теорию происхождения животных и всего остального) на экзамене по теории эволюции, несу чушь, а всем забавно от этого.
x67
Проф. деформация. Судят со своей колокольни, а сто стороны посмотреть уже не могут и не хотят, ведь все в коллективе уверены в истинности и согласны друг с другом, в итоге исчезают критики, даже если были и критический подход сам по себе. Это проблема
Jem-Kasha
Ну на Хабре-то уже всех несогласных выпилили по простому — простым минусованием. И кто? Да те самые, которые страдают от простой улыбки на собеседовании )) Видимо мстят за всё прошлое ))
И ведь просто же сделали — запрограммировали — ну идеально же? )) А в жизни у них так не выходит. )) Приходится страдать на собеседованиях, и о, ужас, от кого? От коллег же. Это ли не смешно? ))
x67
Как то категорично судите. Если исходить из парадигмы «Вся жизнь — игра», то для него это могла быть игра, где его цель — придумать такие вопросы, на которые собеседуемому будет тяжело найти ответ. Может даже менеджер так объяснил задачу. Может ему вообще до фени, что там по hr, а хотелось лишь вернуться кодить, а тут надо что-то делать, развлекаться… Просто соревнование. Вот только вы не знали, что он хотел посоревноваться) Не все же читают статьи на хабре о том как надо и как не надо проводить собеседования)
Nick_Shl
tvr
А сердечник трансформатора мы сделаем из дерева, так как один хрен меня никто не слушает.
botyaslonim
Примерно такой же опыт прохождения интервью в Mail. Задают вопросы, сами утыкаются в ноуты. Похоже, людей просто среди рабочего дня выдёргивают «поприсутствовать»
iHateCpp
А я недавеча проходил собеседование в поисковый движок мейлрушный. Лучшее собеседование из пройденных.
IgorGolov
Судя по тому, что трафик российских пользователей перенаправляется через зарубежные сети — скорее да чем нет.