Привет, Хабр!
В последнее время замечаю огромное количество информации по поводу замедления Великого, но очень мало где видел конкретику о том, как именно это работает. Одно лишь отчаяние "мы все умрём".
Сразу скажу, что буду говорить обо всём, что известно на данный момент. Понятно, что с этим разбирался далеко не один я: огромное спасибо обывателям ntc party форума за проделанный ресёрч.
Так вот, начнём сначала, с злополучного GGC. Официальное заявление было, что кэш сервера устарели и долго не обновлялись, но у многих возникло такое скептическое чувство: "до этого работали, а тут в один момент всё поломалось". К тому же есть статья на википедии, которая утверждает, что разговоры про эти GGC шли еще с 2018 года. Да и если это были они, у нас бы плохо работала львиная доля гугл сервисов, включая Google Drive, Google PlayMarket, Google Images. А оно работает прекрасно, как и прежде.
UPD 02.08.2024: В Google подтвердили, что проблемы у российских пользователей не связаны с техническим состоянием оборудования компании. https://www.kommersant.ru/doc/6866088
Дальше рассмотрим идею, что это вообще гугл тестирует ограничение загрузчиков типа yt-dlp, потому что, в первую очередь, проблемы коснулись именно их. Идея на самом деле интересная, потому что действительно на современных протоколах (QUIC) всё хорошо работает, а проблемы есть только на старом добром TCP (сейчас ходят слухи, что и QUIC начали ограничивать, и, вроде как, я могу это подтвердить). Эту и предыдущую идеи мы опровергнем далее.
Как только я начал разбираться с этой проблемой и открыл Wireshark, меня ждали логи, состоящие наполовину из красных полос. Я не стал особо думать над тем, как именно замедляется ютуб со стороны TCP, но сразу стало понятно, что замедление искусственное, потому что если бы это были GGC, они бы либо не работали вообще, либо просто скорость была маленькая, а тут тонны потерянных пакетов. А еще забавно, что с QUIC, который автоматом работает в хроме такого вообще не происходило и скорость была в норме. Я начал искать и вспомнил про один очень крутой форум по обходу всяких подобных приколов с цензурой интернета, ntc party. Там я нашёл, как именно замедляется ютуб и контрпример, подтверждающий на 100%, что это проделки большого брата.
Но перед тем, как назвать способ замедления, давайте подумаем, а как они могут вообще определить, что я смотрю ютуб просто видя raw ip пакеты. Пойдём с самого низкого уровня, который может их заинтересовать, IP. Что тут есть? IP адрес. И это очень мощный инструмент, правда если их не тысячи, и если на них работает только один сервис, googlevideo. В случае огромной инфраструктуры гугла их банально сложно получить, я уже не говорю про то, что если на одном айпишнике работают, скажем гуглвидео и гугл плеймаркет, а ведь вероятность такая есть, это же GGC как никак. Тогда обрубая одно, обрубим и другое. Что делать? Посмотрим выше. На TCP мало чего интересного, поднимаемся еще выше. А дальше TLS. И это всё? Почти... Да, современные протоколы сделаны так, чтобы шифровать всё, что можно. Но есть только одно исключение. В спецификации TLS есть такая вещь, как SNI. Она передаётся серверу и говорит ему, к какому именно сайту мы хотим подключиться и, следовательно, какой именно сертификат нам давать. Что-то типа Host в HTTP, но для TLS. Так вот, этот самый SNI спокойно себе передаётся в незашифрованном виде. Было много спецификаций, предлагающих его зашифровать, но мэйнстримом оно не стало. К тому же, провайдеры блокировали такие подключения, чтобы не мешали следить за юзерами.
Так вот, SNI лежит в незашифрованном виде в Client Hello, и, обнаружив его, мы можем коннмарком пометить соединение и выкидывать рандомные пакеты.
Я знаю, что вы ждёте пруфов, господа, и вот они:
curl --connect-to ::speedtest.selectel.ru https://manifest.googlevideo.com/100MB -k -o/dev/null Что мы видим в этом curl запросе? У curl'a есть возможность подключаться к серверу с его именем, но вместо резолвинга DNS поставить какой-нибудь свой айпи. При этом вся информация более высокого уровня будет передаваться, как будто мы используем именно это имя. Такое поведение заставляет curl подменять тот самый SNI (ну еще и Host, но это нас не особенно интересует). -k флаг используется, чтобы отключить проверку сертификатов (она провалится, потому что speedtest.selectel.ru будет нам давать свой сертификат, но никак не желаемый от гуглвидео). И если запустить это запрос, то мы получим весёлую скорость в 120 килобайт на начале, и дальше она пойдёт на спад. Даже до нуля может дойти. А теперь замените любую букву в googlevideo на другую и скорость прыгнет до нормальной скорости интернета. Всё стало на свои места.
Как с этим бороться?
Конечно, способы борьбы существуют. Для этого будем думать в сторону манглинга (изменения) пакетов. Но если мы просто заменим googlevideo.com на yandex.ru, получим ошибку сертификатов. И не факт что браузер вообще позволит отключить эту проверку для гуглвидео и нормально будет с этим жить. Так что же делать?
Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI, то О Чудо! Всё начинает работать. В моём случае не понадобились даже фейковые Client Hello или задержка между пакетами (но вроде как ему всё-таки нужен обратный порядок пакетов: сначала идёт хвост, потом голова).
Как разбивать? Есть два варианта: фрагментами IP и на уровне сегментации TCP. У меня лично фрагментация IP сначала работала на половину, а потом и вообще отвалилась. Возможно, провайдеру не понравилось. Идём выше, к TCP. И тут у них всё очень приятно работает. Даже несмотря на то, что я, казалось бы, из одного пакета сделал два, поменял размеры двух пакетов, я не нарушил никаких правил TCP соединения: Ack по количеству доставленных байт - вещь.
Готовые средства обхода. Ну и самое вкусненькое. Я лично написал своё решение под линукс, которое направлено только на ютуб. Также для Windows существует GoodbyeDPI от ValdikSS, под линукс еще есть zapret. Существует ByeDPI, который работает как прокси (Windows/Linux). Также есть версия ByeDPI под андройд, работает как "фейковый впн". Советую прочитать подробный комментарий от ValdikSS о том, как использовать эти средства. Если есть желание погрузиться глубже в эту тему, вот тут можно посмотреть подробнее: https://ntc.party/t/замедление-youtube-в-россии/8055/ and https://ntc.party/t/обсуждение-замедление-youtube-в-россии/8074/
Комментарии (307)
Succinate
31.07.2024 04:59"А оно работает прекрасно, как и прежде." - а где ссылка на исследование? Где пруфы? Получается доказательства на уровне БесогонТВ
UranusExplorer
31.07.2024 04:59+167А вы статью дальше вступления вообще читали? Тут вся статья состоит из пруфов, и приложены ссылки где можно найти дополнительную информацию. Или вам важнее громко покричать "рряяяя, пруфов нет!!!1", даже если на самом деле они есть, чтобы забить информационное поле своим шумом?
QZMTCH
31.07.2024 04:59чел.. Вот у меня например не работает ничего что описывал Валдик у себя. Никакие куик и никакие его обходы с гудбаями не работают. Это не для всех панацея, и тем у кого это работает тоже скоро придёт полный запрет.
strelkan
31.07.2024 04:59+1какие ваши доказательства?
QZMTCH
31.07.2024 04:59Мне надо видео записывать что ли? Я тебе говорю не работает, не куик, не гудбай (который у меня никогда не работал), не http3 в курле как некоторым. У меня ничего не работает.
PS Причем сначала когда первый раз затормозилось, через день у меня скорость вернулась, а многие бегали с тем что у них скорость низкая, и вот до вчерашнего дня нормальная была. И тогда в первый день и вчера все варианты перепробовал. Если провайдер может это всё заблочить значит и все другие могут, но видимо им самим нужен обход.
piuzziconezz
31.07.2024 04:59Я запустил GoodbyeDPI в режиме Quick Start for Russia, как описано на их странице, вначале все полетело, стал открываться rutracker без впн, ютуб перестал тормозить . Только через некоторое время и rutracker стал снова недоступен, и ютьюб опять отвалился.
Tirarex
31.07.2024 04:59+92Интересно, у них индексация была, или все так же +15руб за комментарий?
aboba488
31.07.2024 04:59+27Сейчас все чаще привлекают бюджетников из профильных ведомств, сгоняют точечно под посты в соцсетях. Вполне возможно, что уже бесплатно все. Просто есть пара выделенных сотрудников в ркн/ других связанных с интернетом организациях, которым поручено мониторить и отписываться. И потом отчёт начальнику сдавать.
Точно так же, как условных дорожников всей бухгалтерией сгоняют под посты о плохих дорогах, департамент транспорта под посты о разваленных трамваях, медиков под посты с больницами, образование под посты про школы и вузы и т.д и т.п. Зачем платить, если есть зависимые от тебя люди. А отказавшихся идти на
митингпутинг лишим премий.
AllexIn
31.07.2024 04:59+9Есть куча бюджетников, первый раз слышу что их сгоняют посты писать.
Даже интересно стало - вы то сами точно не проплаченный чушь писать?aboba488
31.07.2024 04:59+14Да, проплаченный. Однажды морозным утром мне рядом с домом упало с неба и воткнулось на метр в грунт примерно восемь с половиной тысяч рублей, если верить Гуглу. На эти деньги и шикую – пишу комменты.
По тарифу 15руб за комент получается 566 комментариев. Но за пару лет на руины моего дома ещё металлолома цветных металлов тысяч на двести рублей накидали, так что бюджет нескоро кончится.
Cerberuser
31.07.2024 04:59+6При таком раскладе лично мне, например, тоже интересно, откуда информация про "сгоны бюджетников" (учитывая, что попытки её найти, не зная заранее, где искать, обречены на кучу неподтверждённых заявлений).
aboba488
31.07.2024 04:59+8У меня есть родственники на юге РФ, некоторые из которых работают в таких организациях.
Hidden text
Ещё до запрещенных событий мне часто писали, что вот под постом про заваливающуюся многоэтажек надо лайки на правильные комменты поставить, помоги пж. А потом их сгоняли на путинг а поддержку вс рф в самый разгар. В этом регионе у каждого второго человека есть близкие родственники оттуда, а дальние наверное процентов у восьмидесяти. У половины людей натурально люди на кухнях и туалетах спали, а их согнали на митинг в поддержку.
У вас две крайности - либо все должны жить в пузыре и вообще ничего не знать, либо лично быть помощником мэра, и корочку показать, чтобы поверили. Я агитацией не занимаюсь, мне все равно. Считаю себя *** и имею *** паспорт. Просто так получилось, что *** для рф это нежелательные люди третьего сорта. Чужая страна, ненавидящая свое население. И некоторые ходят на митинги в поддержку этого, добровольно или нет. И самое обидное, что за пределами РФ я тоже второсортный человек. Никак договорились между собой.
За сим откланяюсь
aboba488
31.07.2024 04:59+4Вам если не нравится чего-то, вы там с бюджетниками своими можете повлиять на ситуацию намного кардинальнее трусливых тихушных минусов.
Могу подсказать адрес заведения, где вас не только снабдят всем необходимым, но и даже щедро вознаградят за борьбу со мной.
Вдруг вам удастся навсегда прекратить мое комментирование на хабр.
Hidden text
Ну или свое ¯\_(ツ)_/¯
Аккаунтов-то я много новых сделать могу.
Как вам такая идея? xD
AllexIn
31.07.2024 04:59+9Вы мне предлагаете вступить в ВС и пойти убивать вас?
Я щас крамольную мысль скажу: возможно, если бы вы и ваши друзья годами притворяясь русскими не пытались рассказывать русским о том, что "рашка говно", а занимались бы своей страной - может быть сейчас и войны бы не было? Может в течении 30 лет она бы не разваливалась маргинализируя население?
Хотя нет, о чем это я. Россия во всем виновата. И бюджетники, которых на автобусах сгоняли голосовать за Путина.
kometakot
31.07.2024 04:59+25"Крамольная" мысль прям целиком из телевизора, откуда только такие вольнодумцы как вы появляются.
aboba488
31.07.2024 04:59+13У меня паспорт есть одной замечательной страны, *** язык мой родной. И никогда я не говорил рашка говно. Просто в один момент пацаны с Рублёвки решили, что я им не нужен, и ещё несколько миллионов таких как я, и будет круто меня уничтожить. А потом и тебя тоже, беспредел не выбирает своих жертв. Можно сколько угодно кормить их, нет гарантии, что не ты следующий. Видимо пришла пора отрабатывать яхты и виноградники в Италии. Как в тюрьме: сегодня сдохнешь ты, а завтра - я.
ZirakZigil
31.07.2024 04:59Просто в один момент
"Площадь Тяньаньмэнь ничего не происходить!" — не иначе. У конфликта нет истории, нет тысяч причастных лиц на всех уровнях разных сторон, нет причин и поводов. Есть только "пацаны с Рублёвки", которые как-то встали с утра, и решили, что пора воевать по причине "будет круто".
Вот такое редуцирование всех сложных и сильно растянутых во времени геополитических процессов до уровня "вот это хорошие парни, а вот это — плохие" это тоже методичка, но уже из-за другой стороны баррикад.aboba488
31.07.2024 04:59+6Tl;Dr мир не черно белый, просто есть сложные геополитические процессы по которым отрезать людям половые органы ножом или стрелять по детской больнице артиллерией это справедливо и правильно. А что убийцы и палачи это подонки и зло - все вражеская методичка.
Hidden text
Щас я кабанчиком напишу лекцию в комментариях на Хабре для ватного ноуейма, для которого не все однозначно и всей правды не знаем.
Дай доем только и мигом нафигачу.
rustavelli
31.07.2024 04:59+9про бюджетников и автобусы есть же видео. Куча людей с плакатами из одной типографии и никто не может сказать, зачем они вышли на площадь.
https://www.youtube.com/watch?v=btrfHwATlGY
pes_loxmaty
31.07.2024 04:59+3вы шо это на ютуб ссылаетесь? Там же одни иноагенты, да и постят только фейки. Вы туда не ходите больше, РКН уже помогает. /s
Cerberuser
31.07.2024 04:59+10Лично мне, например, когда я во Львов ездил, никто такого не рассказывал, и никто не "притворялся русскими" - внезапно, всё взаимодействие выглядело как просто человеческий диалог, вообще без акцента на национальности, кроме разве что "...да чего ты мучаешься, видно же, что украинского не знаешь, давай по-русски". Так что не уверен, откуда эти "вы и ваши друзья" здесь берутся.
zabanen2
31.07.2024 04:59+3подтверждаю. более того
1) нужно вести свой блог организации. от органа идет рассылка, что нужно выложить вот это. и потом обратно выслать скриншот поста. таким образом форсится использование вк мессенджера
2) нужно подписываться на главу республики, допустим, лайкать его посты в телеге и отправлять скриншоты боту.
3) недавно был опросник по благоустройству, деньги идут району города. глава района гоняет всех бюджетников выполнять план по 5000 подписей. если не выполняют - каждый день поносят на совещаниях перед остальными. естественно денег бюджетники не увидят, целые рабочие дни уходят на опросы. это может быть учитель или директор школы
имхо, законов нормальных нет, профсоюзы бюджетников никак не защищают, поэтому все ограничивается только фантазией начальников
GreyArt
31.07.2024 04:59+1Я бы тоже написал такой комментарий но как то страшно, о таком принято не распространяться, либо все делают вид что такого не существует.
Flux
31.07.2024 04:59+3Забавно слышать это от аккаунта "0 постов, 35 комментариев" который в соседней ветке рассказывает что может сколько угодно аккаунтов нарегать. Но сгоняют комменты писать конечно же бюджетников а не вас, а пруфы не нужны ведь джентельмены друг другу верят на слово)
Детский сад, если честно.
MAXH0
31.07.2024 04:59+2Работаю в настоящее время учителем. С цифровизацией есть много маразма, но с тем что Вы описали не сталкивался. Хотя тоже живу на Юге. Очевидно не на том Юге и от конкретных местных властей сильно зависит.
vikarti
31.07.2024 04:59+29А вот это - уже просто не вежливо.
Пруфы были в прошлых статьях по данной теме.
Да и тут - автор прямо привел что он тестировал.
И ссылок - куча прям в статье.
Да, нет ответа почему у некоторых как минимум провайдеров если видео популярное и прямо с GGC идет но тут чисто логики хватает понять что могут быть разные схемы подключения ТСПУ.
На момент начала всей истории - говорить что ну возможно это все же GGC посыпались еще имело какой то логичный смысл(хотя...все сразу? причем сначала заявления а потом взяли и посыпались?) но после прошлых статей и тут и не тут - какие ЕЩЕ вопросы? А тем кто пришел на Хабр не понимая что это технический все же ресурс и не понимает реально о чем вообще в статье речь - сам факт что кое кто из Выдающихся Партийных И Государственных Деятелей ДВАЖДЫ переобувался в прыжки в рассказе что происходит - сомнений прям никаких не вызывает?
p.s.
Ну зачем так грубо делать? Обоснования вида "да, замедляем, потому что не выполняет законы совсем и диалог вести не хочет, прекратим если хоть вид начнет делать что выполняет а для начала - разблокирует каналы" (которое И ТАК прозвучало) - хватило бы. Все и так привыкли что надо совершенствовать Технические Средства Предотвращения Угрозам Цензуры (ТСПУ-Ц) а у кого еще нет - ставить.
Dolios
31.07.2024 04:59+12Фу, быть таким, как вы. Надеюсь, вам потом будет стыдно за то, что вы делали.
slinkinone
31.07.2024 04:59+5Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI
Конечно будет. Это называется reassembling. После сборки сообщение и выдергивания из него нужных данных для классификации - буфер сборки просто очистится.
А какой у вас интернет провайдер, который не может из двух пакетов SNI собрать?)
Как разбивать? Есть два варианта
Еще есть фрагментация на уровне TLS, но она крайне редко встречается. Также есть фрагментация в DTLS протоколе, которая немного по другому работает. И
UranusExplorer
31.07.2024 04:59+22Конечно будет. Это называется reassembling
К счастью, как показывает практика, многие РКНовские ТСПУ реассемблинг ниасилили. Что впрочем не гарантирует, что рано или поздно их допилят и научат такому.
Waujito Автор
31.07.2024 04:59+15У меня Ростелеком. Он вроде как реассемблит, но если отправлять пакеты в обратном порядке, уже сдувается.
Допилить это, в принципе, не сложно: если у них уже есть технологии, позволяющие это всё нормально хранить, то им достаточно будет посмотреть на оффсет у TCP. В общем, пока работает - не трогаем, дальше будем думать.
Про фрагментацию на уровне TLS интересное замечание. Нашёл статью, которая предлагает именно для этих целей её и использовать.
0HenrY0
31.07.2024 04:59+4Допилить это, в принципе, не сложно.
А кто будет допиливать? После покупки RDP.RU Ростелекомом у них всё R-n-D по DPI встало. Официально, конечно, финансирование идёт, но до разработчиков не доходит.
max1960
31.07.2024 04:59+4К сожалению, это не так. И финансирование доходит и разработка идет. Иначе мы бы сейчас эту статью не читали.
0HenrY0
31.07.2024 04:59+1Так за 10 лет ничего не изменилось в техническом плане. Все те же "тупенькие" блокировки по SNI на слабеньком оборудовании.
Если внедрят машинное обучение, то мы эту статью читать не будем, ибо тоже попадет в блок. Но пока, по моим сведениям, такого даже в проекте нет на ближайшие 5 лет.UranusExplorer
31.07.2024 04:59+5Все те же "тупенькие" блокировки по SNI на слабеньком оборудовании
Не только. Они за последние годы неслабо прогрессировали. Например, научились выявлять TLS-хендшеки даже внутри полностью зашифрованных протоколов по паттернам размеров пакетов.
ColdPhoenix
31.07.2024 04:59+13Конечно будет. Это называется reassembling. После сборки сообщение и выдергивания из него нужных данных для классификации - буфер сборки просто очистится.
Это дорого для транзитного траффика, на мелких сетях может и вытянет, но на крупных нет.
Итак столкнулись однажды с тем что при ДДОС-атаке легла ТСПУ))
slinkinone
31.07.2024 04:59+4Верно. Действительно это накладывает дополнительные издержки.
Но стоит учитывать что классификация происходит единожды и затем сетевой поток оффлоадится (offload), то есть, последующие пакеты больше не анализируются, а блокируются и/или шейпятся. Таким образом, достаточно лишь обработать от 1 (first packet classification), до примерно трех пакетов (при адекватной сегментации), чтобы определить сервис и затем освободить память.
От всего объема трафика, процент тех кто использует средства обхода крайне мал. То есть для системы (возьмем для примера один кластер), которая тянет допустим 10М потоков, 1к потоков мелко фрагментированного трафика не является значительным в плане перфоманса - это всего
0,0001%от общей нагрузки.ColdPhoenix
31.07.2024 04:59+5По-идее установка нового соединения самая тяжелая операция, потому и срезали где могли.(а даже без ДДОС могут быть скачки, например при работах в домах и тп)
Это немного нестандартное поведение вроде как, но легитимное.
Где-то писали что зачастую даже перестановка пакетов не обрабатывается ими.
Станет распространено, скорее всего доучат железку.
ADD: возможно еще из-за того что сделает легче атаку на саму железку, ей же придется выделять память под это.
event1
31.07.2024 04:59+10обработать от 1 (first packet classification), до примерно трех пакетов (при адекватной сегментации), чтобы определить сервис и затем освободить память.
В TCP можно посылать хоть один байт на пакет. И внутри окна можно посылать байты в любом порядке. Client Hello может быть пару сотен байт. Окно обычно несколько килобайт. Соответственно, можно весь Client Hello послать по одному байту задом наперёд. Если система изначально не была заточена на обработку таких трюков, то она ляжет.
slinkinone
31.07.2024 04:59+4Не ляжет, а просто не распознает сервис в виду ограничения на количество пакетов для классификации. Пролечивается увеличением размера буфера для вырожденных случаев в виде TCP окна, условно, в интервале 1-8 байт.
Новый поток с реверсивным порядком байт - достаточно простой случай для сборки, потому что TCP handshake был отловлен и известен inital sequence number. А вот для потока, у которого DPI пропустил TCP handshake (допустим, переезд трафика на другой кластер), это уже сделать труднее, потому что тут возникает сразу несколько проблем - это невозможность определить начальный sequence из-за чего буфер нужно не только расширять, но еще и копировать буферизированные данные, т.к. DPI каждый раз получает TCP сегменты в реверсивном порядке, то приходится от начала копировать в конец. Также, если пропущен хотя-бы один байт полезной нагрузки, то определить финальный протокол станет крайне трудно.
event1
31.07.2024 04:59+2Не ляжет, а просто не распознает сервис в виду ограничения на количество пакетов для классификации
Зависит от реализации.
Новый поток с реверсивным порядком байт - достаточно простой случай для сборки, потому что TCP handshake был отловлен и известен inital sequence number.
Простой, для теоретического TCP-устройства в вакууме. У реального устройства есть ограниченная память, процессорный ресурс и время, которое можно затратить на обработку каждого соединения. Любые устройства делаются с заранее заданным запасом по указанным ресурсам. Из всего этого появляется цена устройства и она (внезапно!) тоже ограничена. Так, простой, в теории, случай может стать очень сложным.
slinkinone
31.07.2024 04:59Я не спорю с тем, что собирать пакет по байту, да еще в реверсивном порядке, задача не быстрая и будет просадка по производительности)
Просто условно, если 1М сессий и 1к из них балуются сегментированием в 1 байт, то можно это детектировать и для таких потоков заряжать реассемблинг уже с увелеченным буфером. Такое поведение не должно сказаться на общий перфоманс системы, потому что это всего
0,0001%от всего трафика, который будет собираться побайтно. Вот если бы у всех пользователей TCP окно стало в 1 байт - был бы капец!
rombell
31.07.2024 04:59+11Так может их не обрабатывать, а рубить на корню, чтобы не выпендривались? Дёшево и сердито.
vikarti
31.07.2024 04:59А Chrome возьмет и врубит для 1% (официально, а реально возможно - этот 1% будет "случайно" например от языка по умолчанию в профиле гуглаккаунта) такие приколы с формулировкой что это защита от https://en.wikipedia.org/wiki/Protocol_ossification, ах да - приколы будут с каждым релизом - новые, в сетевой стек Android добавят как опцию по умолчанию а Mozila и Apple попросят так же сделать.
И что - говорить что мы ничего не блокируем нового - это все гугл виноват?(формально это даже будет правдой)
tyomitch
31.07.2024 04:59+3Google и Apple на такое не пойдут, потому что никакой прибыли от этих трюков не получат ни при каком развитии событий.
ValdikSS
31.07.2024 04:59+6
vikarti
31.07.2024 04:59Так им надо только нарушить случайность, сам функционал - как раз имеет смысл - https://en.wikipedia.org/wiki/Protocol_ossification (ну или даже не нарушать - просто будет реально в 1% случаев работать)
slinkinone
31.07.2024 04:59+1Итак столкнулись однажды с тем что при ДДОС-атаке легла ТСПУ
Это вполне реально=) Но складывается впечатление, что это вина не ТСПУ, а системы DDOS защиты. Потому что сам DPI обычно не определяет DDOS. DDOS должен отлавливаться на смежном сервисе, и не допускать флуд пакеты до анализатора.
ColdPhoenix
31.07.2024 04:59+3не припомню чтоб с ТСПУ ставилась защита еще.
Провайдеры ж не будут ставить защиту за свой счет для клиентов.
redfox0
31.07.2024 04:59+13А какой у вас интернет провайдер, который не может из двух пакетов SNI собрать?)
Я посылаю довольно большой TLS ClientHello Padding Extension (12КБ+), тогда провайдер не видит SNI и пропускает трафик.
slinkinone
31.07.2024 04:59+6Такой сценарий действительно выглядит реальным. Особенно если
server_nameextension размещен в конце секцииextensions.Буфер не может собираться вечно и будет сброшен. Получится что SNI не был выхвачен из первых N пакетов. Последующие пакеты либо просто будут заофложены как для неизвестного сервиса, либо в уже будут возникать трудности с диссекцией.
hogstaberg
31.07.2024 04:59+8Только память не резиновая, поэтому можно либо большой padding вставить (больше, чем выделяется буфер на соединение), либо просто задержку между пакетом с первой половиной sni и пакетом со второй половиной вставлять. В какой-то момент dpi вынужден будет решить что соединение сдохло и буфер почистить по таймауту.
Самое приятное в том, что это чисто софтово не фиксится в общем-то, только закидыванием железом.
UranusExplorer
31.07.2024 04:59+14Либо просто начнут блочить полностью все, из чего не получилось выцепить SNI. А то что у юзеров что-то сломается из-за этого - проблемы индейцев шерифа не волнуют.
vikarti
31.07.2024 04:59+2Напрашивается вариант - дать найти что хотят и пусть успокоятся.
Например...какой то вариант domain fronting - точно не пройдет? Ну да - из браузера такое не задействуешь но если все равно уже GoodbyeDPI и аналоги пошли в ход...
А если ломаться будет что-то важное шерифу?
Ну и опять же вопрос - с не-HTTP-в-принципе что делать то? Тоже блочить?
UranusExplorer
31.07.2024 04:59+8А если ломаться будет что-то важное шерифу?
У самого шерифа будет нормальный нефильтрованный доступ, понятное дело. Что дозволено Юпитеру не дозволено быку.
какой то вариант domain fronting - точно не пройдет?
Проблема в том что сегодня все меньше и меньше платформ разрешают этот самый fronting. Такой чтобы нормальный, с выдачей правильного сертификата. Cloudflare не разрешает (только со своими собственными доменами), Amazon не разрешает, Fastly объявил что скоро запретит (возможно уже запретил)...
с не-HTTP-в-принципе что делать то? Тоже блочить?
Да, они уже так делали, в моменты обострения шизы тупо блокируя вообще все что не смогли опознать (в итоге у людей перестал работать Radmin, выяснилось что ТСПУ не знает его протокол). Китайцы таким тоже развлекаются, даже отчёт GFW-Report на эту тему есть.
slinkinone
31.07.2024 04:59+2Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI
Конечно будет. Это называется reassembling. После сборки сообщение и выдергивания из него нужных данных для классификации - буфер сборки просто очистится.
А какой у вас интернет провайдер, который не может из двух пакетов SNI собрать?)
Как разбивать? Есть два варианта
Еще есть фрагментация на уровне TLS, но она крайне редко встречается. Также есть фрагментация в DTLS протоколе, которая немного по другому работает.
slinkinone
31.07.2024 04:59+29Было много спецификаций, предлагающих его зашифровать, но мэйнстримом оно не стало.
На мой взгляд, многие шифрованные штуки не вошли в постоянный обиход (IPv6, Encrypted SNI, DNS over TLS), по причине того, что это не выгодно с точки зрения бизнеса. Если убрать сигнатуры по которым можно определять сервис, то мобильные операторы не смогут разделать трафик, предлагать разные тарифы, "качественно" делать балансировку. Интернет принадлежит тем, кто его обслуживает.
Интернет провайдеры и мобильные операторы - это бизнес, который должен во-первых соблюдать законы государства, где он работает, а во-вторых, иметь возможность "гибко завлекать пользователей" и предоставлять конкурентноспособный уровень сервиса. Если убрать маркеры для классификации сервисов, то такой бизнес столкнется с большими трудностями. Есть ощущение что это работает плюс-минус одинаково во всех странах.
ogost
31.07.2024 04:59+14Нахожусь вне РФ, то бишь вне зоны действия "русского большого брата". yt-dlp и newpipe на андроиде отвалились у нас на (поза?)прошлой неделе, но после обновления всё опять заработало. Подозреваю, что в моём случае это борьба гугла с блокировщиками рекламы, которая в вашем случае ещё и наложилась на действия сами-знаете-кого.
Sigest
31.07.2024 04:59Подтверждаю. В Узбекистане напрямую если качать, скорость в килобайтах измеряется. Через европейский ВПН 9-10 Мб в сек. Я давно заметил, что многие блокировки у вас сказываются и у нас. Было с телегой несколько лет назад. Похоже что наш общий канал идет через ваш госпровайдер
Ну или ваш вариант правильный и гугиль стал бороться с качалками только на территории экс-совка.
ogost
31.07.2024 04:59+5Нет-нет, я не русский, не проживаю в РФ, просто русскоговорящий монгол. Все наши основные магистральные каналы проходят через Китай, Гонг-Конг и Южную Корею, через РФ есть только несколько мелких резервных каналов. Кроме того, у нас у каждого местного оператора есть кэширующие сервера гугла, так что вмешательства сами-знаете-кого никоим образом нас не должны затронуть. Гугл борется с блокировщиками рекламы, поэтому под нож попали и качалки и сторонние клиенты, и это не только "экс-совок", а везде.
888Alex888
31.07.2024 04:59Тоже был вне границ РФ, то есть приехал за бугор, а Ютуб так же тормозил особенно в этих шортсах
shurakenas
31.07.2024 04:59+1у себя для обходов использую, keenetic + shadowsocks, добавил в unblock 142.250.0.0/15 (googlevideo.com), пока вроде работает, тормоза пропали
rendov
31.07.2024 04:59Вы хотели сказать: "keenetic + shadowsocks + vps"?
Просто не понятно, куда ваши "теневые носки" стучатся то по итогу.
Alexey2005
31.07.2024 04:59+1При наличии забугорного VPS обход блокировок вообще не проблема, банального ssh -D 8888 my_user@my_vps на клиенте хватает, чтобы трафик проксировать. Никак VPN'ов не надо, и вообще на сервер ничего дополнительно ставить и настраивать не нужно.
Вот только забугорный VPS - это дорого, плюс сложности с оплатой.
UranusExplorer
31.07.2024 04:59+6VPS - это дорого, плюс сложности с оплатой
Давно уже есть вполне прилично работающие варианты за ~80 рублей в месяц и оплатой российскими картами, куда уж дешевле и проще-то?
vtal007
31.07.2024 04:59+2не подскажите (можно в личку)
pumi
31.07.2024 04:59Beget.ru российский сервис. Но есть сервера в Латвии и в Казахстане.
UranusExplorer
31.07.2024 04:59+2Вы что, издеваетесь? У них в России минималка 210 рублей в месяц, а за границей так вообще 660.
chameleon-superhero
31.07.2024 04:59+4Пример бы. Если не тут, то можно в личку. Кстати ещё вопрос, стоит ли им доверять при такой их охотности принимать российские карты?
CorruptotronicPervulator
31.07.2024 04:59Клиент — smartTV с ютубом. Придётся и ставить, и настраивать.
Yumado
31.07.2024 04:59Не могли бы поделиться как настраивали? Можно в личку.
Kameleon3107
31.07.2024 04:59Если на ТВ Андроид, то ByeDPIAndroid в помощь.
vak0
31.07.2024 04:59У меня он не заработал на обоих моих ТВ-боксах. После запуска с дефолтными параметрами пропадает наглухо вообще весь интернет, пока его не выключишь. Если в настройках вместо DISORDER поставить none (или как он там называется, не помню), то инет появляется, но и замедления YT тоже никуда не уходят. Какие настройки нужно подкрутить, не соображу никак, знаний не хватает :(
Зато заработал нормально DPI Tunnel. Так что рекомендую.
CorruptotronicPervulator
31.07.2024 04:59Тащ майор, перелогиньтесь! ©
А если без хохмы, то всё просто — на роутере vpn клиент, vpn сервер на vps в европке, селективная маршрутизация через связку ipset+dnsmasq. Сделал у себя уже давно, а в связи с последними событиями и у матушки, которой без ютуба на телевизоре жизнь не мила.
Подробно расписывать не вижу смысла, в интернетах этого навалом.
Inflame
31.07.2024 04:59+2Чтобы не морочиться с подсетями, можно разблокировать целый домен и его поддомены с помощью опции ipset в dsmasq. И потом этот ipset маршрутизировать в тоннель.
jskake
31.07.2024 04:59+1Вроде всё далеко не так просто, 142.250.0.0/15 это лишь малюсенькая часть от пула googlevideo.com. Тоже думал что поможет, но нет, wireshark показывает, что googlevideo имеет то ip начинающиеся со 173, то с 64, то 74, короче говоря этих пулов там десятки, я хз как уловить все до единого, чтобы в таблицы маршрутов записать.
Krey
31.07.2024 04:59Надо просить резолвер dns добавлять отрезолвленный ip в соответствующий ipset. Сам ещё не делал.
DXNTWXKEUP
31.07.2024 04:59#
ВКЮтубЖивиchameleon-superhero
31.07.2024 04:59Кстати про ВК. Недавно первый раз на остановке увидел рекламу ВК Видео. Я вот чего подумал, а что если удалять аккаунты ВК? Ну вот не пользоваться самому и другим рекомендавать не пользоваться. Как на ситуацию с YT повлияет отток пользователей из ВК? Как бы, если нам навязывают что-то вместо нашего выбора, то может и не пользоваться этим чем-то?
Ravebinovich
31.07.2024 04:59+8Относительно всей человекомассы, которая там зарегистрирована, это будет крайне смешной процент. А вот ещё представьте, как после блокировки (замедлением это называть уже смешно) ютуба поднялось количество активных просмотров на вквидео и рутубе. Пипл проглотит и это, а отечественные платформы только испытывают ипортозаместительный экстаз от притока юзеров.
chameleon-superhero
31.07.2024 04:59+2Я свой снес. Еще одного знакомого уговорил. Остальные пока в процессе. Может быть тут важно донести мысль до окружающих? Показать пиплу, что вот этой твоей любимой музыки там не будет, вот этот блогер никогда туда не переедет, тамошний канал про путешествия будет показывать путешествия только по деревне Большие перди.
Деяние "Не пользоваться ВК" не подпадает под какое либо правонарушение. Следовательно о нем можно говорить с друзьями, коллегами и родней
Кстати, а откуда вам известно, что действительно поднялось количество просмотров? Может быть это они сами так говорят.
leok
31.07.2024 04:59+1Если решат конкретно взяться за ютуб, то ко всем блогерам, которые публично откажутся с него уходить, придут люди в погонах и научат их родину любить. Вполне возможно, что текущий подход это тест чтобы посмотреть будут люди переходить или нет. Если начнется переток, то замедление можно превратить в запрет, а если нет, то сделать вид что были технические проблемы.
larasage
31.07.2024 04:59+1Это чрезмерно:
1. Рядовые ютуб-блогеры (коих большинство) с тысячами просмотров - обычные пользователи и при серьезных технических проблемах будут искать альтернативу сами хотя бы потому что будет проблемой сам стриминг/заливка видео.
2. При серьезных технических проблемах (не решаемых просто или бесплатно) большинство уйдет с ютуба на "более-менее приемлемую" альтернативу (важно - такая "более-менее приемлемая" альтернатива должна быть).
sim31r
31.07.2024 04:59+1Зачем сносить аккаунт ВК? Я туда редко заглядываю, но знаю что там около 100 контактов с списке друзей, многих из которых нет в других местах и телефонов нет. То же самое в Одноклассниках, вот там именно одноклассники есть, хоть и заглядывающие раз в год.
chameleon-superhero
31.07.2024 04:59+1А зачем вообще нужен аккаунт в социальной сети, где даже частные сообщения не приватны? Так... это лирика. В свете последних событий, смысл в том, чтобы не пользоваться тем, что навязывают и показать что этим не пользуешься. Кроме того этим 100 тоже можно донести мысль про замедление. И надо поделиться альтернативными нормальными мессендерами.
tyomitch
31.07.2024 04:59+2А зачем вообще нужен аккаунт в социальной сети, где даже частные сообщения не приватны?
Представьте себе: до того, как Telegram стал названием социальной сети -- миллионы людей обменивались частными сообщениями посредством телеграмм, читаемых как минимум передающей и принимающей телеграфистками, а также неизвестным и неограниченным кругом сотрудников телеграфа. И всех всё устраивало.
Ramayasket
31.07.2024 04:59+1Хотите полной секьюрности - общайтесь через факс. Сейчас вполне можно купить МФУ с факсом. Никто в жизни не прочитает.
Smooke_ju
31.07.2024 04:59+2Серьёзно?
K0styan
31.07.2024 04:59+1Если желающий прослушать заранее к этому не готов - то маловероятно. Даже если все разговоры пишутся - совершенно не факт, что получится восстановить: там наверняка частота дискретизации подобрана под голосовой диапазон.
enamchuk
31.07.2024 04:59+2Можно dialup использовать, такое точно вряд ли расшифруют, факс - однонаправленная передача данных, а модем - дуплекс.
Для надёжности можно ещё пошифровать передаваемые внутри данные :-)
vladkorotnev
31.07.2024 04:59+4Не скажу, как в таком оборудовании, но во всяких айпи-шлюзах давно ставят в аудиопроцессоре детектор факса, который оцифровывает звуковой поток назад в бинарник и посылает его на целевой шлюз, где бинарник назад превращается в звук для принимающего аппарата. Ну или в софте раскодируется сразу в ПДФ, да.
Так что вполне себе это может быть учтено в девайсах для слежки, если даже гражданские девайсы вполне себе таким занимаются (что неудивительно, если многие телефонные линии нынче по факту цифровые).
Ravebinovich
31.07.2024 04:59+10Я лично там никогда и не регистрировался, потому сложно понять всю степень страданий от удаления акка в вк. За годы заметил, что окружающие им меньше стали пользоваться и больше перешли на инсту и телегу. ВК у них больше остался для бизнеса в плане продажи всякого или редкого общения. А, и некоторые музыку там слушают. Бойкот подобных соцсетей и сервисов хорошее дело, конечно, но пропагандировать его сложно. Кто понимает, тот и так не пользуется. У остальных найдутся свои причины так или иначе там оставаться. А чисто статистически из-за нездоровой конкуренции, не дающей зарубежным сервисам тут работать, пользовательская база отечественных продуктов будет расти.
Они даже не стесняются
Ndochp
31.07.2024 04:59Ну пока моей любимой музыки нет нигде кроме ВК, так что мимо
danyaShep
31.07.2024 04:59+1они же лет 10 назад всё зачистили, что пользователи туда загружали. Стал обычный стриминговый сервис с контрактами. Оттуда ещё не все зарубежные лейблы сбежали? Или они их начали снова пиратить, только ещё деньги за подписку брать?
Ndochp
31.07.2024 04:59Так лейблов как раз везде хватает, а всякий местечковый инди далеко не весь до яндекса добрался.
0x9d8e
31.07.2024 04:59+1Года два назад удалил ВК и, собственно, никак от этого не пострадал. Да и на прочие фейсбуки забил. С кем действительно общался с теми и общаюсь. Ну не поздравит меня бывшая из 2011 года с днём рождения и что?
nicolas_d
31.07.2024 04:59+5В целом, ваш метод можно использовать и не только для youtube, а для всех доменов, на котором сработает такой трюк. Не обязательно замедление, но и просто блокирование по SNI. Достаточно будет из кода вынести список обрабатываемых доменов и добавить метод загрузки при инициализации.
nerudo
31.07.2024 04:59+3У меня остался ряд вопросов:
Откуда идут разговоры, что ютуб замедляют только на стационарных ПК, а на мобильных устройствах он продолжает работать?
Как это сделать технически — резать трафик в разных точках в зависимости от типа провайдера?
Зачем советуют менять user‑agent в браузере, если он передается в зашифрованном потоке и не должен быть доступен чекистам?
ColdPhoenix
31.07.2024 04:59+9Откуда идут разговоры, что ютуб замедляют только на стационарных ПК, а на мобильных устройствах он продолжает работать?
Из того что находил в комментариях, приходят разные доменные имена сервера отдачи видео для мобильного и десктопа.
Зачем советуют менять user‑agent в браузере, если он передается в зашифрованном потоке и не должен быть доступен чекистам?
Собственно выше, сам гугл отдает другое имя сервера(даже если ведет в тот же адрес) для мобильных.
а замедляют по SNI(который не шифрован)
Повторю: то что видел в комментариях.
Popadanec
31.07.2024 04:59+2У меня так. На ПК без средств борьбы с ТСПУ, ютуб работает в лучшем случае на 480р, на смартфонах и ТВ приставках всё в порядке с того же интернета. Когда начнут замедлять и их, придётся доставать кинетик и устанавливать решение на него.
Aelliari
31.07.2024 04:59+2Откуда идут разговоры, что ютуб замедляют только на стационарных ПК, а на мобильных устройствах он продолжает работать?
Отсюда, и, возможно от собственных тестов
Как это сделать технически — резать трафик в разных точках в зависимости от типа провайдера?
Да, на части линков в DPI включить шейпер, а на части - нет. Естественно это только в случае искусственного замедления
Waujito Автор
31.07.2024 04:59+1Мне лично кажется, что проблема в QUIC. Они к нему по-особому относятся. Ходили слухи, что и его начали резать, но тут тоже вопросы. Там чуть ли не разные способы кодирования сообщений у хрома и фаерфокса. Вот где-то тут мобилки и отсеиваются, скорее всего. Я сейчас свой подключил - в ваершарке обычные Client Hello с обычным SNI, но сам SNI extension лежит ниже и ютуб работает на QUIC.
Да и в принципе, как выше писали, на мобильную сеть могут быть другие ограничения по сравнению с проводом.
Shizarium
31.07.2024 04:59+1Как минимум анекдотичные свидетельства показывают, что режут на стационарных устройствах. У меня в дом заходит оптика МТС - ютуб работает на последнем издыхании. В телефоне сим карта МТС - никаких проблем с сайтом. Такая же информация от знакомых и коллег, ни от кого не слышал, что появились новые проблемы при подключении с телефонов.
vadimk91
31.07.2024 04:59+2Такая же информация от клиентов, только сегодня от них пару раз слышал "ваш инет г-но, на мобильном телефоне видео работает без задержек"
AnyKey80lvl
31.07.2024 04:59+3Видимо, основная идея движа - что пользователи, замучавшись с тормозящим YT, плавно само переползут на другие площадки.
hogstaberg
31.07.2024 04:59+7Одна проблема: многие авторы не переползут. Одни потому, что на других площадках монетизации нет или она околонулевая. Другие потому, что контент так-то далеко не только российские авторы клепают. А нет контента - нет пользователей.
miarh
31.07.2024 04:59+3Плюс архив. Многие авторы потеряли интерес к своим видео и каналы не развивают (но видео востребованы) Ну и сами авторы, увы, не вечны.
sim31r
31.07.2024 04:59+1Пользователи могут скопировать контент. Целиком канал сохранить и загрузить на другую площадку. Это и раньше было актуально, сам Ютуб мог автоматически удалить видео, если распознает там нарушение авторских прав, музыкальный фрагмент будет или торговый знак.
vikarti
31.07.2024 04:59Я вот так делаю для некоторых видео/каналов.
Но формально это все же нарушение.
sim31r
31.07.2024 04:59Компромисс некоторый. Просто удаляется контент после жалобы, даже Ютуб так делает с самыми строгими правилами. А искать заброшенный контент на других площадках мало кто будет. Может даже некая абузоустойчивость будет.
hogstaberg
31.07.2024 04:59+1А. Ну то есть ваше решение -рассчитывать, что энтузиасты захотят и смогут
украстьскопировать и будут рассчитывать что их непропалятдостанут юридически? И за бесплатно. Окей, тоже вариант.sim31r
31.07.2024 04:59Это скорее аналогия архива интернета
Архи́в Интерне́та (сокр. АИ; англ. Internet Archive) — некоммерческая организация, основанная в 1996 году в Сан-Франциско американским программистом Брюстером Кейлом. Главной заявленной целью Архива является предоставление всеобщего доступа к накопленной в Интернете информации. Коллекция АИ состоит из множества подколлекций архивированных веб-сайтов, оцифрованных книг, аудио- и видеофайлов, игр, программного обеспечения.
lowride
31.07.2024 04:59Как раз монетизация вроде как отключена уже более 2х лет.
Aldrog
31.07.2024 04:59Я слышал, что основной доход у ютуберов в любом случае идёт с рекламных интеграций, а не от самого ютуба.
Не знаю ни одного блоггера, перешедшего с ютуба на рутуб или вк, зато знаю нескольких стримеров, которые перешли с твича на вк, в моменте получили больше дохода (потому что вк платил по количеству зрителей на твиче), а потом доход начинал падать и им пришлось вернуться. При том что на твиче точно также для российских стримеров нет монетизации.
chameleon-superhero
31.07.2024 04:59Что если нам как пользователям перестать пользоваться другими площадками? Удалить аккаунты, если вдруг там есть?
sim31r
31.07.2024 04:59Вот по Рутубу например, единичные удаления ничего не дадут, рост и так был, а сейчас думаю там удвоится аудитория. Средний пользователь там найдет себе что смотреть и ничего настраивать не нужно.
2021 3.04 млн
2022 17.19 млн
2023 40.2 млн
2024 47.6 млн
chameleon-superhero
31.07.2024 04:59Значит поделитесь озвученной мыслью с окружающими, чтобы удаления были не единичные.
sim31r
31.07.2024 04:59Я не могу, так как сам делаю обратное. Поискал аналоги ради интереса, зарегистрировался на Платформе. На Платформе же посмотрел видеоролики с критикой блогеров Платформы, что сыро тут и тут и контекстная выдача плохо работает. Хотя я заметил что в ленте Платформы пошли ролики с критикой Платформы, что признак нормальной работы. И просмотры не единичные, я на Ютубе специфические ролики по микроконтроллерам смотрю, там бывает 50 просмотров, тут более 4958 и в комментах активность.
ColdPhoenix
31.07.2024 04:59Мне кажется основная причина роста это куча пиратского контента.
Я когда в отпуске был с поиска яндекс часто вел туда чтоб фильмы смотреть.
LinkToOS
31.07.2024 04:59Там я нашёл, как именно замедляется ютуб и контрпример, подтверждающий на 100%, что это проделки большого брата.
У меня Йутуб только в Firefox тормозит. В Opera все отлично. Не знаю кто ваш брат, но Firefox ему определенно не нравится.
Waujito Автор
31.07.2024 04:59+2Проблема в лисе (или в ютубе, может быть, они так хромиум продвигают). Он не всегда использует QUIC. Я бы даже сказал по-настроению. В хроме все стабильнее.
miksoft
31.07.2024 04:59И если запустить это запрос, то мы получим
Я правильно понимаю, что на адресе speedtest.selectel.ru:443 находится прокси, через который доступны другие сайты в интернете?
Иначе почему мы вообще что-то получим?
Waujito Автор
31.07.2024 04:59+9По-моему, название говорит само за себя. inline сервис для проверки скорости. Можно подключиться `curl speedtest.selectel.ru/100MB -o /dev/null` и мы получим скачивание 100MB файла на максимально возможной скорости интернета. Методом, который указан в curl запросе я подменяю Host и TLS SNI на те, которые нужны. speedtest.selectel.ru никак это не обрабатывает, зато ТСПУ видит googlevideo SNI и начинает шейпить данные.
Причём если ввести не *.googlevideo.com, а google.com, скорость восстанавливается.
miksoft
31.07.2024 04:59speedtest.selectel.ru никак это не обрабатывает
Выглядит как дыра в безопасности.
Selectel вы же в курсе, да? Это норм?
miksoft
31.07.2024 04:59+2А, понял, имеется в виду "Домен в url игнорируется", а не "Домен используется из url".
Тогда вроде не дыра...
Waujito Автор
31.07.2024 04:59+6Так они специально это сделали. Чтобы люди тестировали свою скорость. Там собственно и "дырить" нечего) Какой им смысл запрещать другие SNI или Host.
К слову, такое можно и с гуглвидео провернуть, в другую сторону. Я копировал огромный запрос из yt-dlp логов, подменял SNI на yandex.ru, Host header ставил обратно в googlevideo, и connect-to в ::.googlevideo.com. Всё работало. Я писал об этом где-то в yt-dlp issue. https://github.com/yt-dlp/yt-dlp/issues/10443#issuecomment-2237395791
UranusExplorer
31.07.2024 04:59Я копировал огромный запрос из yt-dlp логов, подменял SNI на yandex.ru, Host header ставил обратно в googlevideo, и connect-to в ::.googlevideo.com. Всё работало
вы изобрели domain fronting :)
Chelovechek1311
31.07.2024 04:59Адрес speedtest.selectel.ru:443 выбран просто как доступный в сети адрес, идея того curl запроса в том, что запросу принудительно присваивается ютубовский SNI, и, как следствие, ТСПУ по признаку этого SNI замедляет передачу данных. Также сайт спидтеста селектела удобен тем, что можно указывать размер файла и наглядно увидеть падение скорости(это можно заметить в SNI, в конце написано 100MB).
vikarti
31.07.2024 04:59+2Там находится сервер которые просто отвечает на запросы как должно (отдачей конкретных тестовых файлов) При этом на то, что было передано в заголовке host и TLS SNI - ему плевать.
Можно самостоятельно поднять свой тестовый сервер. Или найти другой такой же.
AlexEx70
31.07.2024 04:59Есть ли решение для телевизоров, в частности на WebOS?
Waujito Автор
31.07.2024 04:59Да, можно поставить OpenWRT на роутер и собрать для него один из пакетов из заключения (я свой тестировал, есть инструкция по кросс-компиляции)
Lastloony
31.07.2024 04:59а вот с этим по подробнее, можно ссылочку на инструкцию?
Waujito Автор
31.07.2024 04:59+3https://github.com/Waujito/youtubeUnblock?tab=readme-ov-file#openwrt-case
Для моего работает. Главное - чтобы тулкит было подходящим.
andreysam
31.07.2024 04:59+1"Любимый" WebOS не имеет функции прокси, поэтому пришлось поднимать zapret на openwrt как прозрачный прокси и через DHCP выдавать адрес этого роутера как шлюз. Ютуб летает, как бонус стали грузить Аватарки.
VADemon
31.07.2024 04:59+6GGC. Официальное заявление было, что кэш сервера устарели и долго не обновлялись
Нарушен новостно-временной континуум. Сначала есть проблема, а потом, после анализа, об этом становится известно на политическом уровне. А не наоборот или одновременно с появлением проблемы.
vikarti
31.07.2024 04:59+29Как бы вспоминается же :)
Горбачев звонит Рейгану:
— Примите наши соболезнования по поводу взрыва «Челленджера»!
— Но «Челленджер» взлетает только через минуту…
— А-а, извините, я позвоню позже.
qeeveex
31.07.2024 04:59+4Одни айтишники страны пилят ТСПУ, другие способы обхода.
DjPhoeniX
31.07.2024 04:59Уверены, что другие?
klaviatura
31.07.2024 04:59+1не понимаю, за что минусы. Я бы очень надеялся, что у тех демонов, которые пилят все эти DPI инструменты есть капелька совести, чтобы загрузить хак для обхода в github
Tyusha
31.07.2024 04:59+23Самое мерзкое в том, что это не в администрации презедента придумали и даже не начальники в РКН и ростетелекомах. Придумали, дали совет и продвинуди эту тему люди пониже, люди квалифицированные, прошаренные в ИТ, но тем не менее желающие лизнуть.
omgiafs
31.07.2024 04:59+22Я бы поправил. Прошаренные и патриотичные. Без шуток.
Представьте картину: молодой человек, у которого папа - офицер ФСБ, неустанно борющийся с террористами-навальнистами, желающими развалить нашу великую Родину, разбирается в ИТ, заканчивает профильный университет и поступает на работу в какой-нибудь отдел "К". Далее, получив профдеформацию безопасника (эти люди реально на своей волне), проработав лет 10 в этой системе, мутирует в того, кто реально думает, что защищает Родину (а не представляет интересы правящего класса), при этом обладая компетенциями в ИТ и ИБ.
Нет злодеев, которые осознают себя злодеями. Мы все делаем то, что считаем правильным. Если мировоззрение этого "защитника Родины" поменяется, то поменяются и его действия. А сейчас - так.
Drox
31.07.2024 04:59А так ли сильно отличается защита Родины от защиты интересов правящего класса? Ну то есть крах государства приводит к краху страны и населения, поэтому государство надо защищать, а с ним и правящий класс.
UFO_01
31.07.2024 04:59+9У нас "патриоты" видимо забыли что помимо врагов внешних куда более опасные — внутренние, которые пробились во власть и там отстаивают свои интересы, а на интересы народа, государства, будущее им глубоко плевать. Но ведь проще сказать: "Вот они там все враги, они плохие, а мы все хорошие", и вроде как бы не такой уж правящий класс плохой, ведь вон там враг, надо объединиться, все вместе к светлому будущему. Ничего не напоминает? Думаю, напоминать к чему это привело не надо?
FirExpl
31.07.2024 04:59+19У нас "патриоты" видимо забыли что помимо врагов внешних куда более опасные — внутренние,
Они ничего не забывали, этим людям хоть плюй в глаза - всё божья роса. Для них и репрессии 37-38 норм, ведь с врагами боролись, и ЧК с НКВД это бравые ребята которые родину спасали, и шарашки были гениальным и очень полезным изобретением, а экономика СССР самой мощной в мире.
В царской России с врагами безжалостно боролись, чем кончилось - известно, в советской России с врагами боролись ещё более безжалостно, итог - известен, теперь в ныненшней России опять все силы бросили на точно такую же борьбу с врагами, но эти люди свято убеждены что просто раньше боролись недостаточно, а в этот раз результат-то будет другой!
Я уже говорил тебе, что такое безумие? (с) великий философ Ваас
Centimo
31.07.2024 04:59В царской России с врагами боролись не особо безжалостно: страшных террористов то в ссылку отправят, то под честное слово выпустят. А закончилось всё отречением царя-батюшки, который к врагам, вроде как, отношения не имеет.
В советской России с врагами безжалостно боролись при Сталине, и при нём ничего не закончилось. Закончилось в момент, когда с врагами перестали бороться.
Сейчас и борьба не точно такая же, и враги другие, так что чем закончится – вопрос. Хочется, конечно, всё лихо под одну гребёнку, но жизнь несколько сложнее.
klaviatura
31.07.2024 04:59+4В царской России с врагами боролись не особо безжалостно
Вам отрывки из "Записок из мёртвого дома" почитать? Займитесь своим образованием вместо потуг над тривиализацией истории
klaviatura
31.07.2024 04:59+1Не думаю, что это так. Как правило, для того, чтобы выйти на какой-никакой уровень экспертизы в нашей сфере нужно обладать критическим мышлением и способностью находить и анализировать информацию. Вы слишком романтизируете ситуацию. Как мне кажется, люди, которые активно заняты реализацией репрессивных инициатив просто понимают, что в обычном энтерпрайзе им не получить таких денег, которые можно получить у этой кормушки. А после того, как кормушка иссякнет можно будет спокойно свалить из страны, благо финансы на это будут на руках
qeeveex
31.07.2024 04:59+2не в администрации презедента придумали
Ну т.е. цензуру вводят не они?! Что-то сразу НТВ вспоминается...
Cerberuser
31.07.2024 04:59+4Технические-то решения не руководители придумывают. Они только цели ставят.
maxtorchel
31.07.2024 04:59Я может что-то не понимаю, но разве DoH и ему подобные не должен помочь? Зачем огород городить, тем более это уже во многих браузерах и роутерах встроено.
SagePtr
31.07.2024 04:59+2DoH отвечает только за DNS-запросы, но никак не за запросы к серверу, которые и замедляются в данном случае.
vikarti
31.07.2024 04:59+1Вы что-то не понимаете. А именно - этап когда этого было достаточно - давно пройден.
igatrinit
31.07.2024 04:59Спасибо за статью, но есть претензии то ли к формулировке, то ли к логической цепочке в одном абзаце:
"Как только я начал разбираться с этой проблемой и открыл Wireshark, меня ждали логи, состоящие наполовину из красных полос... тут тонны потерянных пакетов." - Если вы не меняли цветовую схему Ваершарка (а что-то мне подсказывает, что не меняли), то красные полосы - это флаг TCP RST, который к потерям имеет только очень опосредованное отношение.
если бы это были GGC, они бы либо не работали вообще, либо просто скорость была маленькая, а тут тонны потерянных пакетов. " - Скорость не бывает "просто маленькая". С т.з. анализа трафика самая распространенная (разумеется, не единственная) причина низкой скорости - это именно потеря пакетов, которая может происходить по разным причинам.
Т.е. весь этот абзац, откуда я это скопировал, можно прочесть как "Я увидел кучу RST флагов, а это значит, что много потерь, а это значит, что занижение искусственное.". Нет, не значит, и нет, не значит.
Waujito Автор
31.07.2024 04:59+6RST это прям ярко красные. Я про всякие Out-of-order, Retransmission и им подобные.
"Скорость не бывает просто маленькая" - вообще, бывает. Сразу пришли на ум сервера эклипса. Месяца два назад скачивал jdtls на скорости 20 килобайт/с. Сейчас они их пофиксили чуть-чуть, я получил 1 мегабайт, но всё равно в вайршарке с точки зрения TCP никаких ошибок нет.
NotSlow
31.07.2024 04:59Попробовал упомянутый youtubeUnblock.
У меня роутер на debian. Скомпилировал, установил, а дальше в файле службы youtubeUnblock.service вписан лишь вариант как на самом этом роутере траффик пропускать через youtubeUnblock. Добавил в него iptables строчки для forward:
ExecStartPre=iptables -t mangle -A FORWARD -p tcp -m tcp --dport 443 -j NFQUEUE --queue-num 537
ExecStop=iptables -t mangle -D FORWARD -p tcp -m tcp --dport 443 -j NFQUEUE --queue-num 537
И убрал --queue-bypass везде т.к. со включенным невозможно понять работает/нет вообще. Пока не до конца понял чем это грозит...
Следующим шагом было проверить работает ли в принципе что-то. Поменял:
ExecStart=/usr/local/bin/youtubeUnblock 538
Т.е. теперь iptables заворачивает не туда. И дальше проверил с работающим только OUTPUT блоком - вообще ничего не скачать на самом роутере, а на клиентах работает как и раньше.
С работающим только FORWARD блоком - наоборот, на клиентах все потухло, а на роутере как обычно.
Т.е. вроде был порядок. Возвращаю обратно на 537, запускаю OUTPUT и FORWARD - ну как минимум все сайты работают, ютуб открывается. И вроде как даже ролики играют. Но стало ли прям заметно лучше пока однозначно не скажу.
Буду еще пробовать на всех клиентах - тв, телефоны и т.д.
Waujito Автор
31.07.2024 04:59+1Работает/не работает можно посмотреть если делать make dev (или просто передать -DDEBUG флагом). Тогда когда программа видит SNI гуглвидео, она будет выводить сообщение об этом + пропроцию в которой разбивается пакет. Отключение байпасса ничем особо не грозит, разве что если программа отвалится (мало ли), можно остаться без интернета. Узнать точно, что помогает можно по логам Wireshark. Тогда на контрасте можно будет посмотреть разницу (правда, это видно только если подключение без QUIC).
OUTPUT на роутере не надо делать.
Thisnicknameisbusy
31.07.2024 04:59Если немного разбираться как устроены сети провайдеров и уметь строить причинно-следственные связи, то окажется все намного банальный.
Давно известно что потребление интернет трафика растет каждый год.
Один из самых тяжеловесных контентом это видео, в т.ч. Ютуб
Для снижения нагрузки на сети операторов гугл в свое время ставил кеширующие сервера по всей сети.
-
2 года назад все крупные производители телеком оборудования ушли из РФ.И гугл прекратил свою деятельность.
Теперь внимание вопрос что происходил последнее 2 года на сетях операторов. Правильно, росла нагрузка на сеть. Плюс развлекух стало меньше, народ стал больше сидеть в интернете. Кеширующие сервера помаленьку выходили из строя. Больше трафика стало идти через международные пиринговые точки, где оборудование также имело очень ограниченный ресурс расширения (по сути только за счет старых запасов и переноса с других участков сети). Эти ресурсы закончились. Каковы действия операторов в этих условиях, когда трафик растет а оборудование не поставляется, - ограничить какой либо трафик. Выбор в сторону тяжелого очевиден.
Наверняка ещё и можно прижать гугловские сервера под свои нужды. Под хранения того же трафика абонентов для "компетентных' органов
Ах да, про импртозамещение, IP-оборудования операторского класса для больших объемов трафика никогда не производилось российскими производителями. Его не существует в природе.
Все это один из явных признаков технологической деградации страны.
UranusExplorer
31.07.2024 04:59+21Это все правильно и верно, кроме того факта, что скорост ограничивает Роскомнадзор на ТСПУ, а не сами операторы.
Ну и плюс очень подозрительно, что две недели назад оборудование отлично справлялось (никаких затыков, железо и каналы явно загружены не в полку), а в одну ночь резко перестало, причем сразу одновременно у совершено разных операторов в разных локациях.
SagePtr
31.07.2024 04:59+6Плюс вдобавок это произошло аккурат после того, как на ютубе заблокировали несколько попавших под санкции каналов (насколько понял из воя в комментариях на хабре от одноразовых аккаунтов, принадлежали они прокремлёвской богеме, но могу и ошибаться).
Volozhaninov
31.07.2024 04:59+3Я тоже сначала думал, что замедлять YouTube могут с целью снизить нагрузку на магистральные сети. Но, исходя из заявления Дом.ру, дело не в этом:
«Дом.ру обеспечивает своим клиентам качественный доступ в интернет в соответствии с заявленными обязательствами. Замедление работы сервисов Google и YouTube связано с вопросами регулирования иностранных онлайн-сервисов и их взаимодействии с Роскомнадзором».
И вообще, как уже сказали, провайдеры сами разберутся с балансировкой трафика. Зачем Роскомнадзору со своими ТСПУ в этом участвовать?
Cordekk
31.07.2024 04:59Вы вещаете не на ту аудиторию.
Thisnicknameisbusy
31.07.2024 04:59Да я уже понял) столько дизлайков видимо за призыв включить мозг и подумать)) поэтому не вижу смысла далее тратить свое время на придурков
UranusExplorer
31.07.2024 04:59+6Так наоборот, люди включили мозг и подумали, и поняли, что то, что вы пишете совершенно не бьётся с другими установленными фактами (коих уже найдено очень много и убедиться в них может каждый), и вообще как-то подозрительно похоже на нарративы госпропаганды, мол, это просто оборудование устарело, а не РКН намеренно тормозит и блокирует. За это вас и минусуют.
Antra
31.07.2024 04:59+3Ой, пожалуйста, не тратьте на нас свое время, рассказывая, как GGC серваки в одночасье резко деградировали, да еще и начали замедлять совершенно к ним не относящийся и через них не проходящий трафик просто с "googlevideo" внутри пакета.
chameleon-superhero
31.07.2024 04:59+7Только успел прочитать статью и тут же подъехала новость: "РКН планирует признать научно–техническую и статистическую информацию о VPN для обхода блокировок запрещённой в РФ". Надо на Хабре при логине вместо капчи "Я не робот" тест на работников из РКН.
NJ884
31.07.2024 04:59+2Как пользователь интернета из стран СНГ (Узбекистан) могу сказать что блокировки интернета очень затронуло и нас. Местные провайдеры ничего не могут сделать.
chameleon-superhero
31.07.2024 04:59+1Т.е. у вас каналы только через РФ и больше нет?
NJ884
31.07.2024 04:59+6Есть канал Шелковая путь заложен аж в 1995 через Иран-Туркмения 10 гбит, которые тоже блокируют по принципу "Если у меня запрет то и соседа тоже запрещено". Основное канал от КЗ/Ростелекома.
battlemixerpilot
31.07.2024 04:59А каким образом это может касаться вас, если блокировки происходят на оборудовании ТСПУ перед провайдерами?
NJ884
31.07.2024 04:59+1В нашем стране нет кеш серверов гугла. все ускорения мы получали из серверов гугла ( Саратов-Самара-Оренбург-Уфа. Вот и получили. Местные новости
avz
31.07.2024 04:59Может у меня ошибка выжившего, но все таки... На десктопе YouTube начал тормозить во всех установленных браузерах (Vivaldi, Chrome, Opera, Firefox, Brave, Яндекс.Браузер). Кроме MS Edge... ¯\(°_o)/¯ QUIC уже был во всех включен.
LuxorAB
31.07.2024 04:59Помню читал про eSNI - оно до сих пор не родилось по итогу?
nidalee
31.07.2024 04:59+2eSNI убили, его не будет. Вместо него заявлен ECH, которой тоже не торопятся вводить, и скорее всего никогда не введут.
Inflame
31.07.2024 04:59К примеру, один из самых популярных CDN, CloudFlare, поддерживает ECH:
sni=encrypted
Druidos
31.07.2024 04:59Поддержка ECH реализована в Firefox. С проигрыванием видео с YouTube он сейчас вполне справляется
Nazar_Kam
31.07.2024 04:59+5Я решил проблему немного по-другому. Начитавшись мануалов по микротику и имея белый статический IP (бесплатный от провайдера), некоторое время назад чисто из спортивного интереса я поднял туннель 6to4 через зарубежного IPv6 брокера. Затем прокинул пул адресов /64 в локальную сеть, настроил файрвол.
Проблем с ютубом не заметил. Даже появился доступ к некоторым другим сервисам (но не об этом сейчас :-) )
На следующий день попросил сеть /48. После чего раскидал IPv6 адреса: в гостевую сеть, на дачу через EoIP-tunnel over Wireguard. Этого было мало, и я пошёл дальше. Раздал сеть на свой смартфон, рабочий компьютер через WireGuard (на телефоне уже давно заворачиваю IPv4 трафик).
Надеюсь, провайдер не задушит мой туннель.
sergei5770
31.07.2024 04:59+1а сможешь чуть подробнее описать процесс настройки? я припилил пока вылавливание субдоменов гуглвидео, которые добавляются в адрес лист и перенаправляются через интерфейс с впном, в целом работает, но на некоторых субдоменах запинается.
dnska
31.07.2024 04:59Тоже был бы очень признателен, если бы описали подробнее. Да и многие другие тоже, я полагаю)
Rick815
31.07.2024 04:59Прошу прощения за ламерский вопрос, но искренне интересно: вот если я настрою себе PiHole, на него получится ли накатить Ваше решение под Линукс и станет ли оно тогда разблочивать Ютуб по всей моей домашней сети?
Typeckuu
31.07.2024 04:59Занижение скорости уже давно начали, причем это на весь заграничный интернет. Возможно хотят снизить покупку заграничного трафика, или вообще чисто перейти на федеральную локалку, типа постепенно зарубить заграничный интернет. Типа создать закрытое государство, как было ранее при СССР. Какой в этом смысл? В Китае такое уже давно, Китайский интернет ограничен Китайским интернетом. А может готовят людей к новым санкциям, если вдруг США блокирует интернет, то будет только локальная федеральная сеть?
С одной стороны хорошо, огородиться от западной грязи, создать порядок в сети интернет. Но с другой не будет доступно образование, технологии, фильтровать такое не реально.
battlemixerpilot
31.07.2024 04:59+7Вы усложняете, просто Гугл не удаляет видео, которые РКН считает противозаконными, и теперь пришло время блокироваться.
При всем при том, что Гугл довольно часто шел навстречу властям РФ и удалял некоторые видео по их запросам. Но еще больше видео не удалялось.
zabbius
31.07.2024 04:59+1Собрал под OpenWrt 23.05.3, не хочет слать пакеты =(
root@OpenWrt:/tmp$ ./youtubeUnblock 537 Using TCP segmentation! GSO is enabled! raw frags send: Operation not permitted raw frags send: Operation not permitted raw frags send: Operation not permitted raw frags send: Operation not permitted raw frags send: Operation not permitted raw frags send: Operation not permitted
Typeckuu
31.07.2024 04:59И такие наминусили в рейтинг, мне важны ваши ответы и что думаете =) Мне всегда интересно обсуждение подобного, ваша критика, иначе на чем строить подтверждение. Что вы думаете интересно, а не то, что вам не нравится =)
Однозначно скажу, что оборудование не может замедлить скорость, это глупо. Оборудование может выйти из строя, отключиться, то есть полный сбой, нет связи с сервером. Но не замедлить скорость. То есть может не быть доступа к серверу из за поломки, но никак не уменьшение скорости. =)
Это не какая то засорившаяся кофемолка, это сервер. Сервер это точные настройки! Тут либо он работает, либо нет.
c 14 июля вышло предупреждение - Скорость загрузки и качество воспроизведения видео на YouTube будет ухудшаться с сегодняшнего дня.
Этим все сказано, скорость будет занижена. То есть нет IT специалистов предсказателей, это сделано намеренно. =)
Для тех, кто в танке, объясняю, резко ухудшиться скорость загрузки, само по себе не может. Даже из за нагрузки посещений на сервер Youtube, соединение либо будет нормальное, либо будет ограничен доступ совсем!
GritsanY
31.07.2024 04:59Вы немного в сторону уводите дискуссию, статья сабж однозначно и недвусмысленно доказывает причины падения скорости загрузки с/на Ютуб.
А то, что вы не можете представить что скорость может просто замедлиться -
во-первых современные сервисы масштаба Ютуб - очень распределённые, в случае выхода из строя одного узла, другой может подхватить обработку, но вы заметите падение скорости,
во-вторых, некоторын аппаратные ошибки, например, "сыпящиеся" диски, могут привести как раз к падению скорости обслуживания.
vova_sam
31.07.2024 04:59@Waujito напишите пожалуйста хорошую подробную инструкцию как использовать вашу разработку.
как собрать (с командамм, результатами возможнными ошибками)
-
как использовать:
отдельный прокси
в составе какого то решения
-
как запустить как сервис systemctl или как то там
с командами
я понимаю что мы тут все технари, но не все каждый день собирают под линукс из исходником, настраивают iptables и т.п.
lemonmakemecry
31.07.2024 04:59+3Запустить терминал (Ctrl+Alt+T)
Ввести в нем команды, соглашаться если есть запрос, вводить пароль когад просит:
sudo apt update && sudo apt install git
git clone https://github.com/Waujito/youtubeUnblock.git
sudo apt install gcc
sudo apt install make
sudo apt install autoconf
sudo apt install automake
sudo apt install pkg-config
sudo apt install libtool
sudo apt install linux-headers-$(uname -r)
sudo iptables -A OUTPUT -p tcp --dport 443 -j NFQUEUE --queue-num 537 --queue-bypass
cd youtubeUnblock/
make
sudo make install
sudo youtubeUnblock 537
На любом этапе могут быть проблемы, к сожалению без хотя бы начальных знаний linux'а и С их не решить
vova_sam
31.07.2024 04:59отлично. спасибо. на Ubuntu 18.04.6 LTS все сработало. Проверить эффективность не могу, т.к. пока не блокирует местный РТ
sleepyb285
31.07.2024 04:59+1Как же я благодарен умным людям, что находят причины и возможности решения проблем. Спасибо большое!
remain
31.07.2024 04:59+1А кто-нибудь смог настроить byeDPI для андроида? Пробовал разные настройки применять и менять домены, но все равно секунд через 30 ютуб снова начинает уходить в буферизацию.
Carnivora
31.07.2024 04:59Жаль, что DPI бубны от ValdikSS отвалились ночью и не работают ни в каких конфигах, а ещё раньше перестал помогать флажок QUIC и другие недогайды, буквально всё отваливалось по часам вчера вечером, и сегодня ночью перестало работать полностью. Работают только мобильные сети и те, кто выходит в инет без ТПСУ грёбаных, но вроде как МТС работает меньше всего (это неточно). Мегафон и Билайн работают для ютуба 100%.
melomen-73
31.07.2024 04:59вот тут можно посмотреть подробнее: https://ntc.party/t/замедление-youtube-в-россии/8055/ and https://ntc.party/t/обсуждение-замедление-youtube-в-россии/8074/
я один не могу попасть на сайты по ссылкам?
Waujito Автор
31.07.2024 04:59+2Понятное дело, что РКН просто так не оставит форум, который с ними уже тучу лет воюет)
melomen-73
31.07.2024 04:59пробовал через впн открыть, не вышло. по тому то зарегался, и задал вопрос)
Waujito Автор
31.07.2024 04:59Хм, у меня через тор открывается
melomen-73
31.07.2024 04:59с тора всётаки зашёл, через мост с туркменистана
совсем забыл про него, спасибо за идею
LebedevPA
31.07.2024 04:59Спасибо за статью. Я замедления не заметил, но смотрю через хром с расширением "Обход блокировок Рунета".
yadeveveloper
31.07.2024 04:59Подскажите, а есть ли решение прям для всей сети? А то все эти утилиты конечно хорошо, но со smart TV посмотреть не получится...
Waujito Автор
31.07.2024 04:59Да, мой пакет можно поставить на OpenWRT. Также по слухам туда можно поставить zapret.
umbu_travoso
31.07.2024 04:59Попробовал youtubeUnblock на Ubuntu 22.04, без него youtube тормозит, без него проигрываться вообще перестает. Собрал через "make dev", во время попытки проигрывания исправно пишет "Google video! Packet split in portion 198 599", но ничего не проигрывается. Если остановить нажатием ^C, начинает опять проигрывать (с тормозами)...
kacy
31.07.2024 04:59...
speedtest.selectel.ru
А для провайдера МГТС ссылку можно модифицировать?
Хочу посмотреть есть ли замедление внутри сети МГТС, чтобы выкатить претензию, если оно есть.Waujito Автор
31.07.2024 04:59+1Да делайте что хотите) Если знаете сервер, который в +- такой же манере работает - почему нет. Другой интересный кейс - дотянет ли оно до ТСПУ. Кстати, у меня на мегафоне сработало:
```curl --connect-to ::msc.bigspeedtest.netbynet.ru.prod.hosts.ooklaserver.net 'https://manifest.googlevideo.com:8080/download?nocache=ffb8h452-219c-46a2-ac07-ae26f8064445&size=25000000&guid=fb78549a8-f40a-40d9-b760-1f8fcaa03c8e' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:128.0) Gecko/20100101 Firefox/128.0' -H 'Accept: /' -H 'Accept-Language: en-US,en;q=0.5' -H 'Accept-Encoding: gzip, deflate, br, zstd' -H 'Origin: https://www.speedtest.net' -H 'Connection: keep-alive' -H 'Referer: https://www.speedtest.net/' -H 'Sec-Fetch-Dest: empty' -H 'Sec-Fetch-Mode: cors' -H 'Sec-Fetch-Site: cross-site' -H 'Sec-GPC: 1' -o NUL -k```
Я просто скопировал это как cURL из окна для разработчиков в Firefox во время speedtest
Vanzent
31.07.2024 04:59Домашний провайдер, с компьютера видео не показывает, запросы к googlevideo в инструментах разработчика статус canceled. Со смартфона через вифи в той же сети видео в качестве 480 показывает без лагов, некоторые видео в 720 с небольшими лагами. при начальной загрузке видео может быть задержка, затем при воспроизведении задержки нет, что может указывать на работающий кэш гугла, либо перебор доменов googlevideo которые проходят через фильтр.
https://subdomainfinder.c99.nl/scans/2020-01-14/googlevideo.com выложены домены googlevideo и их ip.
DevidBrown
31.07.2024 04:59+1Ох, спасибо тебе, добрый Человек! Поставил youtubeUnblock на ubuntu, рад как слон)
dabrahabra
31.07.2024 04:59+2Предлагаю в треде подумать и предложить варианты, которые нагрузят "средства" ограничения, но минимально на грузят другие сервисы.
Например, что если создавать и рвать кучу соединений? Какой трафик нужно сгенерить до отказа "средства"? Может кто-то даже сделает тест и в масштабе будет видна разница в времени установки соединения. А там в докере и отдать народу.
zabbius
31.07.2024 04:59+1Автор, ты красава, давай допилим твою тулу, чтобы макросы превратились в ключи командлайна, а фильтр задавался в файле списком (списком регексов как вариант). Получится простой и понятный инструмент для обхода фильтров по SNI.
Пойду попробую пулреквест запилить.
Lazhu
31.07.2024 04:59У пчелайна какая-то хрень творится: ФФ с выключенным http3 нормально, с включенным - висит
http3 false
http3 true
Один и тот же ролик 1080p
Andy_U
31.07.2024 04:59Как это, каждая семья несчастлива по своему? Вот у меня вчера (Yota, Лен.область) youtube напрочь не работал на Chrome, пока kyber не отключил. На Firefox'е никаких проблем.
PsihXMak
31.07.2024 04:59Так они блокируют 70% пакетов. Но, не на пользователя, а на всех. Т.е. статистически есть вероятность попасть в поток, где 100% твоих пакетов пройдёт, как есть вероятность, что не пройдёт ни один.
Aldrog
31.07.2024 04:59По закону больших чисел, если пакетов много (а их при просмотре видео будет много), то существенно отклониться от этих 70% практически невозможно. Если, конечно, замедление реализовано равномерным и честным рандомом, а не целенаправленно отдаёт предпочтение определённым пользователям.
PsihXMak
31.07.2024 04:59Мне кажется, как раз наоборот, благодаря закону больших чисел, есть довольно большой шанс попасть в поток, где твои пакеты почти не блокируются.
Aldrog
31.07.2024 04:59https://ru.wikipedia.org/wiki/Закон_больших_чисел
Согласно закону, среднее значение конечной выборки из фиксированного распределения близко к математическому ожиданию этого распределения.
Другими словами, чем больше объём выборки, чем чаще проводятся измерения какого-либо параметра, тем выше вероятность того, что результаты окажутся близкими к ожидаемым.
Вы утверждаете ровно обратное.
P.S. Поясню: мат. ожидание распределения - 70% отброшенных пакетов, конечная выборка - пакеты, отправленные во время одного просмотра ролика.
PsihXMak
31.07.2024 04:59Вы, видимо, берёте не те вероятности.
Смотрите, допустим провайдер блокирует каждые 7 пакетов из 10. В какой то момент, видео одновременно смотрят 10 000 пользователей ровно. При условии, что трафик идёт достаточно равномерно, у 7 000 пользователей не пройдёт ни один пакет, при этом 3 000 пользователей не заметят блокировки вообще. Это в теории.
На практике, нужно предусмотреть большое количество факторов, однако, благодаря большому количеству пользователей и огромному количеству трафика, вероятность возникновения таких коридоров довольно велика.
Кроме того, видео буферизируется из-за чего потери пакетов незаметны. Т.е. пользователю достаточно загрузить первые 3-5 секунд, что бы почти не заметить потерь.
Aldrog
31.07.2024 04:59Это в теории.
Как раз в теории влияние большого количества факторов и смешивание трафика большого количества пользователей позволяет считать, что прохождение каждого пакета это независимое событие с вероятностью 30%, и дальше к этому применять аппарат теорвера. И получить, что вероятность попасть в такой коридор ничтожно мала.
А вот на практике может оказаться, что там не каждые 7 из 10 пакетов блокируются, а то ничего не работает и поэтому все пакеты пропадают, то ничего не работает и поэтому все пакеты проходят, то блокируется как надо, но не для всех пользователей, то ещё какие проблемы.
Кроме того, видео буферизируется из-за чего потери пакетов незаметны.
Буферизация только сглаживает проблемы во времени, не более того. Если из-за потерь средняя скорость падает ниже битрейта видео, то она ничем не поможет.
FirExpl
31.07.2024 04:59Вероятно Andy_U имел ввиду, что при достаточном количестве попыток даже самое маловероятное событие будет происходить относительно регулярно. Что, впрочем, совершенно никак не влияет на вероятность этого события
Aldrog
31.07.2024 04:59+1Только с такими вероятностями надо условно квинтиллион роликов просмотреть, чтобы на одном из них не было заметного замедления.
Kilmez
31.07.2024 04:59Из интересных наблюдений - ютуб не тормозит на тарифах для ЮЛ. Провайдер - РТ.
askarbin
31.07.2024 04:59Автор... Дай тебе Бог здоровья. А то без ютуба я не знаю как. И о чём граждане "замедлительные" думают... Предлагают рутубом пользоваться. Ну допустим. Только тогда перенесите туда все туториалы и курсы по фреймворкам и языкам программирования, всё, что мне интересно смотреть тоже туда перенесите и регулярно зеркальте туда с ютуба всё это. А иначе что вы мне предлагаете смотреть ? КВН и камеди клаб с сериалами ? Ну вот спасибо, не надо
Dhowti
Одна поправка - ValdikSS правильно.
Waujito Автор
Ахах, я его года три как Vladik читаю, только что заметил, спасибо!)
Lordbl4
я его до сегодняшнего дня читал как Vladik :D