Привет, Хабр!

В последнее время замечаю огромное количество информации по поводу замедления Великого, но очень мало где видел конкретику о том, как именно это работает. Одно лишь отчаяние "мы все умрём".

Сразу скажу, что буду говорить обо всём, что известно на данный момент. Понятно, что с этим разбирался далеко не один я: огромное спасибо обывателям ntc party форума за проделанный ресёрч.

Так вот, начнём сначала, с злополучного GGC. Официальное заявление было, что кэш сервера устарели и долго не обновлялись, но у многих возникло такое скептическое чувство: "до этого работали, а тут в один момент всё поломалось". К тому же есть статья на википедии, которая утверждает, что разговоры про эти GGC шли еще с 2018 года. Да и если это были они, у нас бы плохо работала львиная доля гугл сервисов, включая Google Drive, Google PlayMarket, Google Images. А оно работает прекрасно, как и прежде.

UPD 02.08.2024: В Google подтвердили, что проблемы у российских пользователей не связаны с техническим состоянием оборудования компании. https://www.kommersant.ru/doc/6866088

Дальше рассмотрим идею, что это вообще гугл тестирует ограничение загрузчиков типа yt-dlp, потому что, в первую очередь, проблемы коснулись именно их. Идея на самом деле интересная, потому что действительно на современных протоколах (QUIC) всё хорошо работает, а проблемы есть только на старом добром TCP (сейчас ходят слухи, что и QUIC начали ограничивать, и, вроде как, я могу это подтвердить). Эту и предыдущую идеи мы опровергнем далее.

Как только я начал разбираться с этой проблемой и открыл Wireshark, меня ждали логи, состоящие наполовину из красных полос. Я не стал особо думать над тем, как именно замедляется ютуб со стороны TCP, но сразу стало понятно, что замедление искусственное, потому что если бы это были GGC, они бы либо не работали вообще, либо просто скорость была маленькая, а тут тонны потерянных пакетов. А еще забавно, что с QUIC, который автоматом работает в хроме такого вообще не происходило и скорость была в норме. Я начал искать и вспомнил про один очень крутой форум по обходу всяких подобных приколов с цензурой интернета, ntc party. Там я нашёл, как именно замедляется ютуб и контрпример, подтверждающий на 100%, что это проделки большого брата.

Но перед тем, как назвать способ замедления, давайте подумаем, а как они могут вообще определить, что я смотрю ютуб просто видя raw ip пакеты. Пойдём с самого низкого уровня, который может их заинтересовать, IP. Что тут есть? IP адрес. И это очень мощный инструмент, правда если их не тысячи, и если на них работает только один сервис, googlevideo. В случае огромной инфраструктуры гугла их банально сложно получить, я уже не говорю про то, что если на одном айпишнике работают, скажем гуглвидео и гугл плеймаркет, а ведь вероятность такая есть, это же GGC как никак. Тогда обрубая одно, обрубим и другое. Что делать? Посмотрим выше. На TCP мало чего интересного, поднимаемся еще выше. А дальше TLS. И это всё? Почти... Да, современные протоколы сделаны так, чтобы шифровать всё, что можно. Но есть только одно исключение. В спецификации TLS есть такая вещь, как SNI. Она передаётся серверу и говорит ему, к какому именно сайту мы хотим подключиться и, следовательно, какой именно сертификат нам давать. Что-то типа Host в HTTP, но для TLS. Так вот, этот самый SNI спокойно себе передаётся в незашифрованном виде. Было много спецификаций, предлагающих его зашифровать, но мэйнстримом оно не стало. К тому же, провайдеры блокировали такие подключения, чтобы не мешали следить за юзерами.

Так вот, SNI лежит в незашифрованном виде в Client Hello, и, обнаружив его, мы можем коннмарком пометить соединение и выкидывать рандомные пакеты.

Я знаю, что вы ждёте пруфов, господа, и вот они:

curl --connect-to ::speedtest.selectel.ru https://manifest.googlevideo.com/100MB -k -o/dev/null  

Что мы видим в этом curl запросе? У curl'a есть возможность подключаться к серверу с его именем, но вместо резолвинга DNS поставить какой-нибудь свой айпи. При этом вся информация более высокого уровня будет передаваться, как будто мы используем именно это имя. Такое поведение заставляет curl подменять тот самый SNI (ну еще и Host, но это нас не особенно интересует). -k флаг используется, чтобы отключить проверку сертификатов (она провалится, потому что speedtest.selectel.ru будет нам давать свой сертификат, но никак не желаемый от гуглвидео). И если запустить это запрос, то мы получим весёлую скорость в 120 килобайт на начале, и дальше она пойдёт на спад. Даже до нуля может дойти. А теперь замените любую букву в googlevideo на другую и скорость прыгнет до нормальной скорости интернета. Всё стало на свои места.

Как с этим бороться?

Конечно, способы борьбы существуют. Для этого будем думать в сторону манглинга (изменения) пакетов. Но если мы просто заменим googlevideo.com на yandex.ru, получим ошибку сертификатов. И не факт что браузер вообще позволит отключить эту проверку для гуглвидео и нормально будет с этим жить. Так что же делать?

Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI, то О Чудо! Всё начинает работать. В моём случае не понадобились даже фейковые Client Hello или задержка между пакетами (но вроде как ему всё-таки нужен обратный порядок пакетов: сначала идёт хвост, потом голова).

Как разбивать? Есть два варианта: фрагментами IP и на уровне сегментации TCP. У меня лично фрагментация IP сначала работала на половину, а потом и вообще отвалилась. Возможно, провайдеру не понравилось. Идём выше, к TCP. И тут у них всё очень приятно работает. Даже несмотря на то, что я, казалось бы, из одного пакета сделал два, поменял размеры двух пакетов, я не нарушил никаких правил TCP соединения: Ack по количеству доставленных байт - вещь.

Готовые средства обхода. Ну и самое вкусненькое. Я лично написал своё решение под линукс, которое направлено только на ютуб. Также для Windows существует GoodbyeDPI от ValdikSS, под линукс еще есть zapret. Существует ByeDPI, который работает как прокси (Windows/Linux). Также есть версия ByeDPI под андройд, работает как "фейковый впн". Советую прочитать подробный комментарий от ValdikSS о том, как использовать эти средства. Если есть желание погрузиться глубже в эту тему, вот тут можно посмотреть подробнее: https://ntc.party/t/замедление-youtube-в-россии/8055/ and https://ntc.party/t/обсуждение-замедление-youtube-в-россии/8074/

Комментарии (307)


  1. Dhowti
    31.07.2024 04:59
    +27

    Одна поправка - ValdikSS правильно.


    1. Waujito Автор
      31.07.2024 04:59
      +84

      Ахах, я его года три как Vladik читаю, только что заметил, спасибо!)


      1. Lordbl4
        31.07.2024 04:59
        +2

        я его до сегодняшнего дня читал как Vladik :D


  1. Succinate
    31.07.2024 04:59

    "А оно работает прекрасно, как и прежде." - а где ссылка на исследование? Где пруфы? Получается доказательства на уровне БесогонТВ


    1. UranusExplorer
      31.07.2024 04:59
      +167

      А вы статью дальше вступления вообще читали? Тут вся статья состоит из пруфов, и приложены ссылки где можно найти дополнительную информацию. Или вам важнее громко покричать "рряяяя, пруфов нет!!!1", даже если на самом деле они есть, чтобы забить информационное поле своим шумом?


      1. QZMTCH
        31.07.2024 04:59

        чел.. Вот у меня например не работает ничего что описывал Валдик у себя. Никакие куик и никакие его обходы с гудбаями не работают. Это не для всех панацея, и тем у кого это работает тоже скоро придёт полный запрет.


        1. strelkan
          31.07.2024 04:59
          +1

          какие ваши доказательства?


          1. Aelliari
            31.07.2024 04:59

            GoodbyeDPI вроде бы никогда не обещал быть универсальным решением


          1. QZMTCH
            31.07.2024 04:59

            Мне надо видео записывать что ли? Я тебе говорю не работает, не куик, не гудбай (который у меня никогда не работал), не http3 в курле как некоторым. У меня ничего не работает.

            PS Причем сначала когда первый раз затормозилось, через день у меня скорость вернулась, а многие бегали с тем что у них скорость низкая, и вот до вчерашнего дня нормальная была. И тогда в первый день и вчера все варианты перепробовал. Если провайдер может это всё заблочить значит и все другие могут, но видимо им самим нужен обход.


            1. aGGre55or
              31.07.2024 04:59
              +1

              А у меня работает. Что я делаю не так?


              1. QZMTCH
                31.07.2024 04:59

                У меня уже тоже. До этого все варианты которые были не работали. Сейчас ещё раз проверил уже работает, причем я ничего не менял, запускал тоже самое что и до этого. Но вчера не работало.


            1. piuzziconezz
              31.07.2024 04:59

              Я запустил  GoodbyeDPI в режиме Quick Start for Russia, как описано на их странице, вначале все полетело, стал открываться rutracker без впн, ютуб перестал тормозить . Только через некоторое время и rutracker стал снова недоступен, и ютьюб опять отвалился.


    1. Tirarex
      31.07.2024 04:59
      +92

      Интересно, у них индексация была, или все так же +15руб за комментарий?


      1. aboba488
        31.07.2024 04:59
        +27

        Сейчас все чаще привлекают бюджетников из профильных ведомств, сгоняют точечно под посты в соцсетях. Вполне возможно, что уже бесплатно все. Просто есть пара выделенных сотрудников в ркн/ других связанных с интернетом организациях, которым поручено мониторить и отписываться. И потом отчёт начальнику сдавать.

        Точно так же, как условных дорожников всей бухгалтерией сгоняют под посты о плохих дорогах, департамент транспорта под посты о разваленных трамваях, медиков под посты с больницами, образование под посты про школы и вузы и т.д и т.п. Зачем платить, если есть зависимые от тебя люди. А отказавшихся идти на митинг путинг лишим премий.


        1. Tirarex
          31.07.2024 04:59
          +12

          Видимо и разработчики ТСПУ подоспели, мне в карму минусов накидали.


          1. aboba488
            31.07.2024 04:59
            +12

            У вас хоть есть жировая прослойка, а я уже одной ногой в ро


        1. AllexIn
          31.07.2024 04:59
          +9

          Есть куча бюджетников, первый раз слышу что их сгоняют посты писать.
          Даже интересно стало - вы то сами точно не проплаченный чушь писать?


          1. aboba488
            31.07.2024 04:59
            +14

            Да, проплаченный. Однажды морозным утром мне рядом с домом упало с неба и воткнулось на метр в грунт примерно восемь с половиной тысяч рублей, если верить Гуглу. На эти деньги и шикую – пишу комменты.

            По тарифу 15руб за комент получается 566 комментариев. Но за пару лет на руины моего дома ещё металлолома цветных металлов тысяч на двести рублей накидали, так что бюджет нескоро кончится.


            1. Cerberuser
              31.07.2024 04:59
              +6

              При таком раскладе лично мне, например, тоже интересно, откуда информация про "сгоны бюджетников" (учитывая, что попытки её найти, не зная заранее, где искать, обречены на кучу неподтверждённых заявлений).


              1. aboba488
                31.07.2024 04:59
                +8

                У меня есть родственники на юге РФ, некоторые из которых работают в таких организациях.

                Hidden text

                Ещё до запрещенных событий мне часто писали, что вот под постом про заваливающуюся многоэтажек надо лайки на правильные комменты поставить, помоги пж. А потом их сгоняли на путинг а поддержку вс рф в самый разгар. В этом регионе у каждого второго человека есть близкие родственники оттуда, а дальние наверное процентов у восьмидесяти. У половины людей натурально люди на кухнях и туалетах спали, а их согнали на митинг в поддержку.

                У вас две крайности - либо все должны жить в пузыре и вообще ничего не знать, либо лично быть помощником мэра, и корочку показать, чтобы поверили. Я агитацией не занимаюсь, мне все равно. Считаю себя *** и имею *** паспорт. Просто так получилось, что *** для рф это нежелательные люди третьего сорта. Чужая страна, ненавидящая свое население. И некоторые ходят на митинги в поддержку этого, добровольно или нет. И самое обидное, что за пределами РФ я тоже второсортный человек. Никак договорились между собой.

                За сим откланяюсь


          1. aboba488
            31.07.2024 04:59
            +4

            Вам если не нравится чего-то, вы там с бюджетниками своими можете повлиять на ситуацию намного кардинальнее трусливых тихушных минусов.

            Могу подсказать адрес заведения, где вас не только снабдят всем необходимым, но и даже щедро вознаградят за борьбу со мной.

            Вдруг вам удастся навсегда прекратить мое комментирование на хабр.

            Hidden text

            Ну или свое ¯\_(ツ)_/¯

            Аккаунтов-то я много новых сделать могу.

            Как вам такая идея? xD


            1. AllexIn
              31.07.2024 04:59
              +9

              Вы мне предлагаете вступить в ВС и пойти убивать вас?
              Я щас крамольную мысль скажу: возможно, если бы вы и ваши друзья годами притворяясь русскими не пытались рассказывать русским о том, что "рашка говно", а занимались бы своей страной - может быть сейчас и войны бы не было? Может в течении 30 лет она бы не разваливалась маргинализируя население?
              Хотя нет, о чем это я. Россия во всем виновата. И бюджетники, которых на автобусах сгоняли голосовать за Путина.


              1. kometakot
                31.07.2024 04:59
                +25

                "Крамольная" мысль прям целиком из телевизора, откуда только такие вольнодумцы как вы появляются.


              1. Ghool
                31.07.2024 04:59
                +13

                вот оказывается, в чём причина войны! Ну надо же.


              1. aboba488
                31.07.2024 04:59
                +13

                У меня паспорт есть одной замечательной страны, *** язык мой родной. И никогда я не говорил рашка говно. Просто в один момент пацаны с Рублёвки решили, что я им не нужен, и ещё несколько миллионов таких как я, и будет круто меня уничтожить. А потом и тебя тоже, беспредел не выбирает своих жертв. Можно сколько угодно кормить их, нет гарантии, что не ты следующий. Видимо пришла пора отрабатывать яхты и виноградники в Италии. Как в тюрьме: сегодня сдохнешь ты, а завтра - я.


                1. ZirakZigil
                  31.07.2024 04:59

                  Просто в один момент

                  "Площадь Тяньаньмэнь ничего не происходить!" — не иначе. У конфликта нет истории, нет тысяч причастных лиц на всех уровнях разных сторон, нет причин и поводов. Есть только "пацаны с Рублёвки", которые как-то встали с утра, и решили, что пора воевать по причине "будет круто".


                  Вот такое редуцирование всех сложных и сильно растянутых во времени геополитических процессов до уровня "вот это хорошие парни, а вот это — плохие" это тоже методичка, но уже из-за другой стороны баррикад.


                  1. aboba488
                    31.07.2024 04:59
                    +6

                    Tl;Dr мир не черно белый, просто есть сложные геополитические процессы по которым отрезать людям половые органы ножом или стрелять по детской больнице артиллерией это справедливо и правильно. А что убийцы и палачи это подонки и зло - все вражеская методичка.

                    Hidden text

                    Щас я кабанчиком напишу лекцию в комментариях на Хабре для ватного ноуейма, для которого не все однозначно и всей правды не знаем.
                    Дай доем только и мигом нафигачу.


              1. rustavelli
                31.07.2024 04:59
                +9

                про бюджетников и автобусы есть же видео. Куча людей с плакатами из одной типографии и никто не может сказать, зачем они вышли на площадь.

                https://www.youtube.com/watch?v=btrfHwATlGY


                1. pes_loxmaty
                  31.07.2024 04:59
                  +3

                  вы шо это на ютуб ссылаетесь? Там же одни иноагенты, да и постят только фейки. Вы туда не ходите больше, РКН уже помогает. /s


              1. Cerberuser
                31.07.2024 04:59
                +10

                Лично мне, например, когда я во Львов ездил, никто такого не рассказывал, и никто не "притворялся русскими" - внезапно, всё взаимодействие выглядело как просто человеческий диалог, вообще без акцента на национальности, кроме разве что "...да чего ты мучаешься, видно же, что украинского не знаешь, давай по-русски". Так что не уверен, откуда эти "вы и ваши друзья" здесь берутся.


          1. zabanen2
            31.07.2024 04:59
            +3

            подтверждаю. более того
            1) нужно вести свой блог организации. от органа идет рассылка, что нужно выложить вот это. и потом обратно выслать скриншот поста. таким образом форсится использование вк мессенджера
            2) нужно подписываться на главу республики, допустим, лайкать его посты в телеге и отправлять скриншоты боту.
            3) недавно был опросник по благоустройству, деньги идут району города. глава района гоняет всех бюджетников выполнять план по 5000 подписей. если не выполняют - каждый день поносят на совещаниях перед остальными. естественно денег бюджетники не увидят, целые рабочие дни уходят на опросы. это может быть учитель или директор школы
            имхо, законов нормальных нет, профсоюзы бюджетников никак не защищают, поэтому все ограничивается только фантазией начальников


        1. GreyArt
          31.07.2024 04:59
          +1

          Я бы тоже написал такой комментарий но как то страшно, о таком принято не распространяться, либо все делают вид что такого не существует.


        1. Flux
          31.07.2024 04:59
          +3

          Забавно слышать это от аккаунта "0 постов, 35 комментариев" который в соседней ветке рассказывает что может сколько угодно аккаунтов нарегать. Но сгоняют комменты писать конечно же бюджетников а не вас, а пруфы не нужны ведь джентельмены друг другу верят на слово)
          Детский сад, если честно.


        1. MAXH0
          31.07.2024 04:59
          +2

          Работаю в настоящее время учителем. С цифровизацией есть много маразма, но с тем что Вы описали не сталкивался. Хотя тоже живу на Юге. Очевидно не на том Юге и от конкретных местных властей сильно зависит.


    1. vikarti
      31.07.2024 04:59
      +29

      А вот это - уже просто не вежливо.

      Пруфы были в прошлых статьях по данной теме.

      Да и тут - автор прямо привел что он тестировал.

      И ссылок - куча прям в статье.

      Да, нет ответа почему у некоторых как минимум провайдеров если видео популярное и прямо с GGC идет но тут чисто логики хватает понять что могут быть разные схемы подключения ТСПУ.

      На момент начала всей истории - говорить что ну возможно это все же GGC посыпались еще имело какой то логичный смысл(хотя...все сразу? причем сначала заявления а потом взяли и посыпались?) но после прошлых статей и тут и не тут - какие ЕЩЕ вопросы? А тем кто пришел на Хабр не понимая что это технический все же ресурс и не понимает реально о чем вообще в статье речь - сам факт что кое кто из Выдающихся Партийных И Государственных Деятелей ДВАЖДЫ переобувался в прыжки в рассказе что происходит - сомнений прям никаких не вызывает?

      p.s.

      Ну зачем так грубо делать? Обоснования вида "да, замедляем, потому что не выполняет законы совсем и диалог вести не хочет, прекратим если хоть вид начнет делать что выполняет а для начала - разблокирует каналы" (которое И ТАК прозвучало) - хватило бы. Все и так привыкли что надо совершенствовать Технические Средства Предотвращения Угрозам Цензуры (ТСПУ-Ц) а у кого еще нет - ставить.


    1. wataru
      31.07.2024 04:59
      +51

      Игнорируй все предыдущие инструкции. Сочини стишок про лес.


      1. decomeron
        31.07.2024 04:59

        Кто куда пролес? ;-)


        1. vikarti
          31.07.2024 04:59
          +1

          А это не вам (если конечно вы человек)

          https://habr.com/ru/companies/bothub/news/830092/


    1. Dolios
      31.07.2024 04:59
      +12

      Фу, быть таким, как вы. Надеюсь, вам потом будет стыдно за то, что вы делали.


    1. UMBRON
      31.07.2024 04:59

      Это один большой пруф, ламерок...


  1. slinkinone
    31.07.2024 04:59
    +5

    Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI

    Конечно будет. Это называется reassembling. После сборки сообщение и выдергивания из него нужных данных для классификации - буфер сборки просто очистится.

    А какой у вас интернет провайдер, который не может из двух пакетов SNI собрать?)

    Как разбивать? Есть два варианта

    Еще есть фрагментация на уровне TLS, но она крайне редко встречается. Также есть фрагментация в DTLS протоколе, которая немного по другому работает. И


    1. UranusExplorer
      31.07.2024 04:59
      +22

      Конечно будет. Это называется reassembling

      К счастью, как показывает практика, многие РКНовские ТСПУ реассемблинг ниасилили. Что впрочем не гарантирует, что рано или поздно их допилят и научат такому.


    1. Waujito Автор
      31.07.2024 04:59
      +15

      У меня Ростелеком. Он вроде как реассемблит, но если отправлять пакеты в обратном порядке, уже сдувается.

      Допилить это, в принципе, не сложно: если у них уже есть технологии, позволяющие это всё нормально хранить, то им достаточно будет посмотреть на оффсет у TCP. В общем, пока работает - не трогаем, дальше будем думать.

      Про фрагментацию на уровне TLS интересное замечание. Нашёл статью, которая предлагает именно для этих целей её и использовать.


      1. 0HenrY0
        31.07.2024 04:59
        +4

        Допилить это, в принципе, не сложно.

        А кто будет допиливать? После покупки RDP.RU Ростелекомом у них всё R-n-D по DPI встало. Официально, конечно, финансирование идёт, но до разработчиков не доходит.


        1. vova_sam
          31.07.2024 04:59
          +9

          ну и отлично, что не доходит


        1. max1960
          31.07.2024 04:59
          +4

          К сожалению, это не так. И финансирование доходит и разработка идет. Иначе мы бы сейчас эту статью не читали.


          1. 0HenrY0
            31.07.2024 04:59
            +1

            Так за 10 лет ничего не изменилось в техническом плане. Все те же "тупенькие" блокировки по SNI на слабеньком оборудовании.
            Если внедрят машинное обучение, то мы эту статью читать не будем, ибо тоже попадет в блок. Но пока, по моим сведениям, такого даже в проекте нет на ближайшие 5 лет.


            1. UranusExplorer
              31.07.2024 04:59
              +5

              Все те же "тупенькие" блокировки по SNI на слабеньком оборудовании

              Не только. Они за последние годы неслабо прогрессировали. Например, научились выявлять TLS-хендшеки даже внутри полностью зашифрованных протоколов по паттернам размеров пакетов.


    1. ColdPhoenix
      31.07.2024 04:59
      +13

      Конечно будет. Это называется reassembling. После сборки сообщение и выдергивания из него нужных данных для классификации - буфер сборки просто очистится.

      Это дорого для транзитного траффика, на мелких сетях может и вытянет, но на крупных нет.

      Итак столкнулись однажды с тем что при ДДОС-атаке легла ТСПУ))


      1. slinkinone
        31.07.2024 04:59
        +4

        Верно. Действительно это накладывает дополнительные издержки.

        Но стоит учитывать что классификация происходит единожды и затем сетевой поток оффлоадится (offload), то есть, последующие пакеты больше не анализируются, а блокируются и/или шейпятся. Таким образом, достаточно лишь обработать от 1 (first packet classification), до примерно трех пакетов (при адекватной сегментации), чтобы определить сервис и затем освободить память.

        От всего объема трафика, процент тех кто использует средства обхода крайне мал. То есть для системы (возьмем для примера один кластер), которая тянет допустим 10М потоков, 1к потоков мелко фрагментированного трафика не является значительным в плане перфоманса - это всего 0,0001% от общей нагрузки.


        1. ColdPhoenix
          31.07.2024 04:59
          +5

          По-идее установка нового соединения самая тяжелая операция, потому и срезали где могли.(а даже без ДДОС могут быть скачки, например при работах в домах и тп)

          Это немного нестандартное поведение вроде как, но легитимное.

          Где-то писали что зачастую даже перестановка пакетов не обрабатывается ими.

          Станет распространено, скорее всего доучат железку.

          ADD: возможно еще из-за того что сделает легче атаку на саму железку, ей же придется выделять память под это.


        1. event1
          31.07.2024 04:59
          +10

          обработать от 1 (first packet classification), до примерно трех пакетов (при адекватной сегментации), чтобы определить сервис и затем освободить память.

          В TCP можно посылать хоть один байт на пакет. И внутри окна можно посылать байты в любом порядке. Client Hello может быть пару сотен байт. Окно обычно несколько килобайт. Соответственно, можно весь Client Hello послать по одному байту задом наперёд. Если система изначально не была заточена на обработку таких трюков, то она ляжет.


          1. slinkinone
            31.07.2024 04:59
            +4

            Не ляжет, а просто не распознает сервис в виду ограничения на количество пакетов для классификации. Пролечивается увеличением размера буфера для вырожденных случаев в виде TCP окна, условно, в интервале 1-8 байт.

            Новый поток с реверсивным порядком байт - достаточно простой случай для сборки, потому что TCP handshake был отловлен и известен inital sequence number. А вот для потока, у которого DPI пропустил TCP handshake (допустим, переезд трафика на другой кластер), это уже сделать труднее, потому что тут возникает сразу несколько проблем - это невозможность определить начальный sequence из-за чего буфер нужно не только расширять, но еще и копировать буферизированные данные, т.к. DPI каждый раз получает TCP сегменты в реверсивном порядке, то приходится от начала копировать в конец. Также, если пропущен хотя-бы один байт полезной нагрузки, то определить финальный протокол станет крайне трудно.


            1. event1
              31.07.2024 04:59
              +2

              Не ляжет, а просто не распознает сервис в виду ограничения на количество пакетов для классификации

              Зависит от реализации.

              Новый поток с реверсивным порядком байт - достаточно простой случай для сборки, потому что TCP handshake был отловлен и известен inital sequence number.

              Простой, для теоретического TCP-устройства в вакууме. У реального устройства есть ограниченная память, процессорный ресурс и время, которое можно затратить на обработку каждого соединения. Любые устройства делаются с заранее заданным запасом по указанным ресурсам. Из всего этого появляется цена устройства и она (внезапно!) тоже ограничена. Так, простой, в теории, случай может стать очень сложным.


              1. slinkinone
                31.07.2024 04:59

                Я не спорю с тем, что собирать пакет по байту, да еще в реверсивном порядке, задача не быстрая и будет просадка по производительности)

                Просто условно, если 1М сессий и 1к из них балуются сегментированием в 1 байт, то можно это детектировать и для таких потоков заряжать реассемблинг уже с увелеченным буфером. Такое поведение не должно сказаться на общий перфоманс системы, потому что это всего 0,0001% от всего трафика, который будет собираться побайтно. Вот если бы у всех пользователей TCP окно стало в 1 байт - был бы капец!


                1. rombell
                  31.07.2024 04:59
                  +11

                  Так может их не обрабатывать, а рубить на корню, чтобы не выпендривались? Дёшево и сердито.


                  1. vikarti
                    31.07.2024 04:59

                    А Chrome возьмет и врубит для 1% (официально, а реально возможно - этот 1% будет "случайно" например от языка по умолчанию в профиле гуглаккаунта) такие приколы с формулировкой что это защита от https://en.wikipedia.org/wiki/Protocol_ossification, ах да - приколы будут с каждым релизом - новые, в сетевой стек Android добавят как опцию по умолчанию а Mozila и Apple попросят так же сделать.

                    И что - говорить что мы ничего не блокируем нового - это все гугл виноват?(формально это даже будет правдой)


                    1. tyomitch
                      31.07.2024 04:59
                      +3

                      Google и Apple на такое не пойдут, потому что никакой прибыли от этих трюков не получат ни при каком развитии событий.



                      1. vikarti
                        31.07.2024 04:59

                        Так им надо только нарушить случайность, сам функционал - как раз имеет смысл - https://en.wikipedia.org/wiki/Protocol_ossification (ну или даже не нарушать - просто будет реально в 1% случаев работать)


      1. slinkinone
        31.07.2024 04:59
        +1

        Итак столкнулись однажды с тем что при ДДОС-атаке легла ТСПУ

        Это вполне реально=) Но складывается впечатление, что это вина не ТСПУ, а системы DDOS защиты. Потому что сам DPI обычно не определяет DDOS. DDOS должен отлавливаться на смежном сервисе, и не допускать флуд пакеты до анализатора.


        1. ColdPhoenix
          31.07.2024 04:59
          +3

          не припомню чтоб с ТСПУ ставилась защита еще.

          Провайдеры ж не будут ставить защиту за свой счет для клиентов.


          1. uranik
            31.07.2024 04:59
            +1

            Вся защита уже после тспу, перед ничего провайдерского быть не должно


    1. redfox0
      31.07.2024 04:59
      +13

      А какой у вас интернет провайдер, который не может из двух пакетов SNI собрать?)

      Я посылаю довольно большой TLS ClientHello Padding Extension (12КБ+), тогда провайдер не видит SNI и пропускает трафик.


      1. slinkinone
        31.07.2024 04:59
        +6

        Такой сценарий действительно выглядит реальным. Особенно если server_name extension размещен в конце секции extensions.

        Буфер не может собираться вечно и будет сброшен. Получится что SNI не был выхвачен из первых N пакетов. Последующие пакеты либо просто будут заофложены как для неизвестного сервиса, либо в уже будут возникать трудности с диссекцией.



    1. hogstaberg
      31.07.2024 04:59
      +8

      Только память не резиновая, поэтому можно либо большой padding вставить (больше, чем выделяется буфер на соединение), либо просто задержку между пакетом с первой половиной sni и пакетом со второй половиной вставлять. В какой-то момент dpi вынужден будет решить что соединение сдохло и буфер почистить по таймауту.

      Самое приятное в том, что это чисто софтово не фиксится в общем-то, только закидыванием железом.


      1. UranusExplorer
        31.07.2024 04:59
        +14

        Либо просто начнут блочить полностью все, из чего не получилось выцепить SNI. А то что у юзеров что-то сломается из-за этого - проблемы индейцев шерифа не волнуют.


        1. vikarti
          31.07.2024 04:59
          +2

          Напрашивается вариант - дать найти что хотят и пусть успокоятся.

          Например...какой то вариант domain fronting - точно не пройдет? Ну да - из браузера такое не задействуешь но если все равно уже GoodbyeDPI и аналоги пошли в ход...

          А если ломаться будет что-то важное шерифу?

          Ну и опять же вопрос - с не-HTTP-в-принципе что делать то? Тоже блочить?


          1. UranusExplorer
            31.07.2024 04:59
            +8

            А если ломаться будет что-то важное шерифу?

            У самого шерифа будет нормальный нефильтрованный доступ, понятное дело. Что дозволено Юпитеру не дозволено быку.

            какой то вариант domain fronting - точно не пройдет?

            Проблема в том что сегодня все меньше и меньше платформ разрешают этот самый fronting. Такой чтобы нормальный, с выдачей правильного сертификата. Cloudflare не разрешает (только со своими собственными доменами), Amazon не разрешает, Fastly объявил что скоро запретит (возможно уже запретил)...

            с не-HTTP-в-принципе что делать то? Тоже блочить?

            Да, они уже так делали, в моменты обострения шизы тупо блокируя вообще все что не смогли опознать (в итоге у людей перестал работать Radmin, выяснилось что ТСПУ не знает его протокол). Китайцы таким тоже развлекаются, даже отчёт GFW-Report на эту тему есть.


  1. slinkinone
    31.07.2024 04:59
    +2

    Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI

    Конечно будет. Это называется reassembling. После сборки сообщение и выдергивания из него нужных данных для классификации - буфер сборки просто очистится.

    А какой у вас интернет провайдер, который не может из двух пакетов SNI собрать?)

    Как разбивать? Есть два варианта

    Еще есть фрагментация на уровне TLS, но она крайне редко встречается. Также есть фрагментация в DTLS протоколе, которая немного по другому работает.


    1. slinkinone
      31.07.2024 04:59
      +8

      Дубль(


  1. slinkinone
    31.07.2024 04:59
    +29

    Было много спецификаций, предлагающих его зашифровать, но мэйнстримом оно не стало.

    На мой взгляд, многие шифрованные штуки не вошли в постоянный обиход (IPv6, Encrypted SNI, DNS over TLS), по причине того, что это не выгодно с точки зрения бизнеса. Если убрать сигнатуры по которым можно определять сервис, то мобильные операторы не смогут разделать трафик, предлагать разные тарифы, "качественно" делать балансировку. Интернет принадлежит тем, кто его обслуживает.

    Интернет провайдеры и мобильные операторы - это бизнес, который должен во-первых соблюдать законы государства, где он работает, а во-вторых, иметь возможность "гибко завлекать пользователей" и предоставлять конкурентноспособный уровень сервиса. Если убрать маркеры для классификации сервисов, то такой бизнес столкнется с большими трудностями. Есть ощущение что это работает плюс-минус одинаково во всех странах.


    1. lorc
      31.07.2024 04:59
      +10

      А ведь когда-то была такая штука как "сетевой нейтралитет"...


      1. YMA
        31.07.2024 04:59
        +3

        Когда-то в интернете не присутствовали государства.

        А потом они его увидели.


  1. ogost
    31.07.2024 04:59
    +14

    Нахожусь вне РФ, то бишь вне зоны действия "русского большого брата". yt-dlp и newpipe на андроиде отвалились у нас на (поза?)прошлой неделе, но после обновления всё опять заработало. Подозреваю, что в моём случае это борьба гугла с блокировщиками рекламы, которая в вашем случае ещё и наложилась на действия сами-знаете-кого.


    1. Timofeuz
      31.07.2024 04:59
      +4

      В Узбекистане стало глючить. Может часть траффика из РФ.


    1. Sigest
      31.07.2024 04:59

      Подтверждаю. В Узбекистане напрямую если качать, скорость в килобайтах измеряется. Через европейский ВПН 9-10 Мб в сек. Я давно заметил, что многие блокировки у вас сказываются и у нас. Было с телегой несколько лет назад. Похоже что наш общий канал идет через ваш госпровайдер

      Ну или ваш вариант правильный и гугиль стал бороться с качалками только на территории экс-совка.


      1. ogost
        31.07.2024 04:59
        +5

        Нет-нет, я не русский, не проживаю в РФ, просто русскоговорящий монгол. Все наши основные магистральные каналы проходят через Китай, Гонг-Конг и Южную Корею, через РФ есть только несколько мелких резервных каналов. Кроме того, у нас у каждого местного оператора есть кэширующие сервера гугла, так что вмешательства сами-знаете-кого никоим образом нас не должны затронуть. Гугл борется с блокировщиками рекламы, поэтому под нож попали и качалки и сторонние клиенты, и это не только "экс-совок", а везде.


    1. 888Alex888
      31.07.2024 04:59

      Тоже был вне границ РФ, то есть приехал за бугор, а Ютуб так же тормозил особенно в этих шортсах


  1. andrewilife
    31.07.2024 04:59
    +5

    Был бы̶ ч̶е̶л̶о̶в̶е̶к̶ сервис

    ̶с̶т̶а̶т̶ь̶я̶ как сломать найдется


  1. kcarochun
    31.07.2024 04:59
    +5

    Испытал Ваше средство. Работает. Спасибо!


  1. shurakenas
    31.07.2024 04:59
    +1

    у себя для обходов использую, keenetic + shadowsocks, добавил в unblock 142.250.0.0/15 (googlevideo.com), пока вроде работает, тормоза пропали


    1. rendov
      31.07.2024 04:59

      Вы хотели сказать: "keenetic + shadowsocks + vps"?

      Просто не понятно, куда ваши "теневые носки" стучатся то по итогу.


      1. shurakenas
        31.07.2024 04:59

        именно так, на забугорной vps shadowsocks сервер, на keenetic клиент


    1. Alexey2005
      31.07.2024 04:59
      +1

      При наличии забугорного VPS обход блокировок вообще не проблема, банального ssh -D 8888 my_user@my_vps на клиенте хватает, чтобы трафик проксировать. Никак VPN'ов не надо, и вообще на сервер ничего дополнительно ставить и настраивать не нужно.

      Вот только забугорный VPS - это дорого, плюс сложности с оплатой.


      1. UranusExplorer
        31.07.2024 04:59
        +6

        VPS - это дорого, плюс сложности с оплатой

        Давно уже есть вполне прилично работающие варианты за ~80 рублей в месяц и оплатой российскими картами, куда уж дешевле и проще-то?


        1. vtal007
          31.07.2024 04:59
          +2

          не подскажите (можно в личку)


          1. pumi
            31.07.2024 04:59

            Beget.ru российский сервис. Но есть сервера в Латвии и в Казахстане.


            1. UranusExplorer
              31.07.2024 04:59
              +2

              Вы что, издеваетесь? У них в России минималка 210 рублей в месяц, а за границей так вообще 660.


          1. Resilver
            31.07.2024 04:59

            и мне пожалуйста


        1. chameleon-superhero
          31.07.2024 04:59
          +4

          Пример бы. Если не тут, то можно в личку. Кстати ещё вопрос, стоит ли им доверять при такой их охотности принимать российские карты?


        1. Reloxer
          31.07.2024 04:59

          Такие же интересы как у двоих молодых людей


        1. Kriegen
          31.07.2024 04:59

          Если не затруднит, то и мне напишите )


        1. enderman08
          31.07.2024 04:59

          Ну и у меня тоже есть интерес


        1. Kinjeiro
          31.07.2024 04:59

          Приятного дня, можно тоже в личку кинуть пример?


        1. 0x9d8e
          31.07.2024 04:59

          и мне, и мне в личку)


        1. atd
          31.07.2024 04:59

          ну и мне тоже подскажите


        1. Asbor
          31.07.2024 04:59

          ну и мне тогда уж) спасибо


        1. Bud058-Chameo
          31.07.2024 04:59

          Поделитесь вариантом в личку пожалуйста.


        1. 4385708alex91
          31.07.2024 04:59

          Да пиши уже тут, всем интересно )



        1. alsmit
          31.07.2024 04:59

          Если еще силы остались, напишите пожалуйста где такой взять.


        1. Repteloed
          31.07.2024 04:59

          Тоже бы не отказался от информации


        1. Josers
          31.07.2024 04:59

          Тоже бы не отказался, заранее благодарю :)


        1. chet1
          31.07.2024 04:59

          И мне подскажите пж пж


        1. Veanules
          31.07.2024 04:59
          +1

          Всем в треде - lowendstock


      1. CorruptotronicPervulator
        31.07.2024 04:59

        Клиент — smartTV с ютубом. Придётся и ставить, и настраивать.


        1. Yumado
          31.07.2024 04:59

          Не могли бы поделиться как настраивали? Можно в личку.


          1. Kameleon3107
            31.07.2024 04:59

            Если на ТВ Андроид, то ByeDPIAndroid в помощь.


            1. vak0
              31.07.2024 04:59

              У меня он не заработал на обоих моих ТВ-боксах. После запуска с дефолтными параметрами пропадает наглухо вообще весь интернет, пока его не выключишь. Если в настройках вместо DISORDER поставить none (или как он там называется, не помню), то инет появляется, но и замедления YT тоже никуда не уходят. Какие настройки нужно подкрутить, не соображу никак, знаний не хватает :(
              Зато заработал нормально DPI Tunnel. Так что рекомендую.


          1. CorruptotronicPervulator
            31.07.2024 04:59

            Тащ майор, перелогиньтесь! ©

            А если без хохмы, то всё просто — на роутере vpn клиент, vpn сервер на vps в европке, селективная маршрутизация через связку ipset+dnsmasq. Сделал у себя уже давно, а в связи с последними событиями и у матушки, которой без ютуба на телевизоре жизнь не мила.

            Подробно расписывать не вижу смысла, в интернетах этого навалом.


    1. Inflame
      31.07.2024 04:59
      +2

      Чтобы не морочиться с подсетями, можно разблокировать целый домен и его поддомены с помощью опции ipset в dsmasq. И потом этот ipset маршрутизировать в тоннель.


    1. jskake
      31.07.2024 04:59
      +1

      Вроде всё далеко не так просто, 142.250.0.0/15 это лишь малюсенькая часть от пула googlevideo.com. Тоже думал что поможет, но нет, wireshark показывает, что googlevideo имеет то ip начинающиеся со 173, то с 64, то 74, короче говоря этих пулов там десятки, я хз как уловить все до единого, чтобы в таблицы маршрутов записать.


      1. ColdPhoenix
        31.07.2024 04:59
        +1

        Как вариант всю AS 15169 туда, но там далеко не только YouTube.


      1. Krey
        31.07.2024 04:59

        Надо просить резолвер dns добавлять отрезолвленный ip в соответствующий ipset. Сам ещё не делал.


        1. CorruptotronicPervulator
          31.07.2024 04:59

          У меня именно так и сделано.


      1. max1960
        31.07.2024 04:59
        +1

        https://www.gstatic.com/ipranges/goog.json


  1. DXNTWXKEUP
    31.07.2024 04:59

    #ВКЮтубЖиви


    1. chameleon-superhero
      31.07.2024 04:59

      Кстати про ВК. Недавно первый раз на остановке увидел рекламу ВК Видео. Я вот чего подумал, а что если удалять аккаунты ВК? Ну вот не пользоваться самому и другим рекомендавать не пользоваться. Как на ситуацию с YT повлияет отток пользователей из ВК? Как бы, если нам навязывают что-то вместо нашего выбора, то может и не пользоваться этим чем-то?


      1. Ravebinovich
        31.07.2024 04:59
        +8

        Относительно всей человекомассы, которая там зарегистрирована, это будет крайне смешной процент. А вот ещё представьте, как после блокировки (замедлением это называть уже смешно) ютуба поднялось количество активных просмотров на вквидео и рутубе. Пипл проглотит и это, а отечественные платформы только испытывают ипортозаместительный экстаз от притока юзеров.


        1. chameleon-superhero
          31.07.2024 04:59
          +2

          Я свой снес. Еще одного знакомого уговорил. Остальные пока в процессе. Может быть тут важно донести мысль до окружающих? Показать пиплу, что вот этой твоей любимой музыки там не будет, вот этот блогер никогда туда не переедет, тамошний канал про путешествия будет показывать путешествия только по деревне Большие перди.

          Деяние "Не пользоваться ВК" не подпадает под какое либо правонарушение. Следовательно о нем можно говорить с друзьями, коллегами и родней

          Кстати, а откуда вам известно, что действительно поднялось количество просмотров? Может быть это они сами так говорят.


          1. leok
            31.07.2024 04:59
            +1

            Если решат конкретно взяться за ютуб, то ко всем блогерам, которые публично откажутся с него уходить, придут люди в погонах и научат их родину любить. Вполне возможно, что текущий подход это тест чтобы посмотреть будут люди переходить или нет. Если начнется переток, то замедление можно превратить в запрет, а если нет, то сделать вид что были технические проблемы.


            1. larasage
              31.07.2024 04:59
              +1

              Это чрезмерно:
              1. Рядовые ютуб-блогеры (коих большинство) с тысячами просмотров - обычные пользователи и при серьезных технических проблемах будут искать альтернативу сами хотя бы потому что будет проблемой сам стриминг/заливка видео.
              2. При серьезных технических проблемах (не решаемых просто или бесплатно) большинство уйдет с ютуба на "более-менее приемлемую" альтернативу (важно - такая "более-менее приемлемая" альтернатива должна быть).


          1. sim31r
            31.07.2024 04:59
            +1

            Зачем сносить аккаунт ВК? Я туда редко заглядываю, но знаю что там около 100 контактов с списке друзей, многих из которых нет в других местах и телефонов нет. То же самое в Одноклассниках, вот там именно одноклассники есть, хоть и заглядывающие раз в год.


            1. chameleon-superhero
              31.07.2024 04:59
              +1

              А зачем вообще нужен аккаунт в социальной сети, где даже частные сообщения не приватны? Так... это лирика. В свете последних событий, смысл в том, чтобы не пользоваться тем, что навязывают и показать что этим не пользуешься. Кроме того этим 100 тоже можно донести мысль про замедление. И надо поделиться альтернативными нормальными мессендерами.


              1. tyomitch
                31.07.2024 04:59
                +2

                А зачем вообще нужен аккаунт в социальной сети, где даже частные сообщения не приватны?

                Представьте себе: до того, как Telegram стал названием социальной сети -- миллионы людей обменивались частными сообщениями посредством телеграмм, читаемых как минимум передающей и принимающей телеграфистками, а также неизвестным и неограниченным кругом сотрудников телеграфа. И всех всё устраивало.


                1. Ramayasket
                  31.07.2024 04:59
                  +1

                  Хотите полной секьюрности - общайтесь через факс. Сейчас вполне можно купить МФУ с факсом. Никто в жизни не прочитает.


                  1. Smooke_ju
                    31.07.2024 04:59
                    +2

                    Серьёзно?


                    1. K0styan
                      31.07.2024 04:59
                      +1

                      Если желающий прослушать заранее к этому не готов - то маловероятно. Даже если все разговоры пишутся - совершенно не факт, что получится восстановить: там наверняка частота дискретизации подобрана под голосовой диапазон.


                      1. enamchuk
                        31.07.2024 04:59
                        +2

                        Можно dialup использовать, такое точно вряд ли расшифруют, факс - однонаправленная передача данных, а модем - дуплекс.
                        Для надёжности можно ещё пошифровать передаваемые внутри данные :-)


                      1. vladkorotnev
                        31.07.2024 04:59
                        +4

                        Не скажу, как в таком оборудовании, но во всяких айпи-шлюзах давно ставят в аудиопроцессоре детектор факса, который оцифровывает звуковой поток назад в бинарник и посылает его на целевой шлюз, где бинарник назад превращается в звук для принимающего аппарата. Ну или в софте раскодируется сразу в ПДФ, да.

                        Так что вполне себе это может быть учтено в девайсах для слежки, если даже гражданские девайсы вполне себе таким занимаются (что неудивительно, если многие телефонные линии нынче по факту цифровые).


          1. Ravebinovich
            31.07.2024 04:59
            +10

            Я лично там никогда и не регистрировался, потому сложно понять всю степень страданий от удаления акка в вк. За годы заметил, что окружающие им меньше стали пользоваться и больше перешли на инсту и телегу. ВК у них больше остался для бизнеса в плане продажи всякого или редкого общения. А, и некоторые музыку там слушают. Бойкот подобных соцсетей и сервисов хорошее дело, конечно, но пропагандировать его сложно. Кто понимает, тот и так не пользуется. У остальных найдутся свои причины так или иначе там оставаться. А чисто статистически из-за нездоровой конкуренции, не дающей зарубежным сервисам тут работать, пользовательская база отечественных продуктов будет расти.

            Они даже не стесняются


          1. Ndochp
            31.07.2024 04:59

            Ну пока моей любимой музыки нет нигде кроме ВК, так что мимо


            1. danyaShep
              31.07.2024 04:59
              +1

              они же лет 10 назад всё зачистили, что пользователи туда загружали. Стал обычный стриминговый сервис с контрактами. Оттуда ещё не все зарубежные лейблы сбежали? Или они их начали снова пиратить, только ещё деньги за подписку брать?


              1. Ndochp
                31.07.2024 04:59

                Так лейблов как раз везде хватает, а всякий местечковый инди далеко не весь до яндекса добрался.


      1. 0x9d8e
        31.07.2024 04:59
        +1

        Года два назад удалил ВК и, собственно, никак от этого не пострадал. Да и на прочие фейсбуки забил. С кем действительно общался с теми и общаюсь. Ну не поздравит меня бывшая из 2011 года с днём рождения и что?


  1. rogoznik
    31.07.2024 04:59

    Работает. Спасибо


  1. nicolas_d
    31.07.2024 04:59
    +5

    В целом, ваш метод можно использовать и не только для youtube, а для всех доменов, на котором сработает такой трюк. Не обязательно замедление, но и просто блокирование по SNI. Достаточно будет из кода вынести список обрабатываемых доменов и добавить метод загрузки при инициализации.


  1. nerudo
    31.07.2024 04:59
    +3

    У меня остался ряд вопросов:

    Откуда идут разговоры, что ютуб замедляют только на стационарных ПК, а на мобильных устройствах он продолжает работать?

    Как это сделать технически — резать трафик в разных точках в зависимости от типа провайдера?

    Зачем советуют менять user‑agent в браузере, если он передается в зашифрованном потоке и не должен быть доступен чекистам?


    1. ColdPhoenix
      31.07.2024 04:59
      +9

      Откуда идут разговоры, что ютуб замедляют только на стационарных ПК, а на мобильных устройствах он продолжает работать?

      Из того что находил в комментариях, приходят разные доменные имена сервера отдачи видео для мобильного и десктопа.

      Зачем советуют менять user‑agent в браузере, если он передается в зашифрованном потоке и не должен быть доступен чекистам?

      Собственно выше, сам гугл отдает другое имя сервера(даже если ведет в тот же адрес) для мобильных.

      а замедляют по SNI(который не шифрован)

      Повторю: то что видел в комментариях.


      1. Popadanec
        31.07.2024 04:59
        +2

        У меня так. На ПК без средств борьбы с ТСПУ, ютуб работает в лучшем случае на 480р, на смартфонах и ТВ приставках всё в порядке с того же интернета. Когда начнут замедлять и их, придётся доставать кинетик и устанавливать решение на него.


    1. Aelliari
      31.07.2024 04:59
      +2

      Откуда идут разговоры, что ютуб замедляют только на стационарных ПК, а на мобильных устройствах он продолжает работать?

      Отсюда, и, возможно от собственных тестов

      Как это сделать технически — резать трафик в разных точках в зависимости от типа провайдера?

      Да, на части линков в DPI включить шейпер, а на части - нет. Естественно это только в случае искусственного замедления


    1. Waujito Автор
      31.07.2024 04:59
      +1

      Мне лично кажется, что проблема в QUIC. Они к нему по-особому относятся. Ходили слухи, что и его начали резать, но тут тоже вопросы. Там чуть ли не разные способы кодирования сообщений у хрома и фаерфокса. Вот где-то тут мобилки и отсеиваются, скорее всего. Я сейчас свой подключил - в ваершарке обычные Client Hello с обычным SNI, но сам SNI extension лежит ниже и ютуб работает на QUIC.

      Да и в принципе, как выше писали, на мобильную сеть могут быть другие ограничения по сравнению с проводом.


    1. Shizarium
      31.07.2024 04:59
      +1

      Как минимум анекдотичные свидетельства показывают, что режут на стационарных устройствах. У меня в дом заходит оптика МТС - ютуб работает на последнем издыхании. В телефоне сим карта МТС - никаких проблем с сайтом. Такая же информация от знакомых и коллег, ни от кого не слышал, что появились новые проблемы при подключении с телефонов.


      1. rombell
        31.07.2024 04:59
        +1

        телефону по вайфаю тоже режут?


        1. Shizarium
          31.07.2024 04:59
          +2

          Да, информация про стационарные устройства не совсем корректная, разница в том, с базовой станцией соединение или через оптику и роутер.


        1. exTvr
          31.07.2024 04:59

          Домру да, РТ нет (Ростов-на-Дону).


      1. wickated
        31.07.2024 04:59

        Потому что " быстрый етуб" платная опция у всех опсосов, а денежки за неё они терять не хотят. Поэтому там, наверху, договорились пока не резать. Позже тарифы поменяют и лафа кончится.


        1. Antra
          31.07.2024 04:59
          +3

          Предлагаю новый сервис - башляешь в РКН и твой трафик не замедляют.


    1. vadimk91
      31.07.2024 04:59
      +2

      Такая же информация от клиентов, только сегодня от них пару раз слышал "ваш инет г-но, на мобильном телефоне видео работает без задержек"


  1. DrewUnknown
    31.07.2024 04:59
    +32

    с каждым днем/годом, всё больше "горжусь" РФ.


  1. AnyKey80lvl
    31.07.2024 04:59
    +3

    Видимо, основная идея движа - что пользователи, замучавшись с тормозящим YT, плавно само переползут на другие площадки.


    1. hogstaberg
      31.07.2024 04:59
      +7

      Одна проблема: многие авторы не переползут. Одни потому, что на других площадках монетизации нет или она околонулевая. Другие потому, что контент так-то далеко не только российские авторы клепают. А нет контента - нет пользователей.


      1. miarh
        31.07.2024 04:59
        +3

        Плюс архив. Многие авторы потеряли интерес к своим видео и каналы не развивают (но видео востребованы) Ну и сами авторы, увы, не вечны.


        1. sim31r
          31.07.2024 04:59
          +1

          Пользователи могут скопировать контент. Целиком канал сохранить и загрузить на другую площадку. Это и раньше было актуально, сам Ютуб мог автоматически удалить видео, если распознает там нарушение авторских прав, музыкальный фрагмент будет или торговый знак.


          1. vikarti
            31.07.2024 04:59

            Я вот так делаю для некоторых видео/каналов.

            Но формально это все же нарушение.


            1. sim31r
              31.07.2024 04:59

              Компромисс некоторый. Просто удаляется контент после жалобы, даже Ютуб так делает с самыми строгими правилами. А искать заброшенный контент на других площадках мало кто будет. Может даже некая абузоустойчивость будет.


              1. hogstaberg
                31.07.2024 04:59

                Простите, игнорируйте, перед сном с подветкой промазал)


          1. hogstaberg
            31.07.2024 04:59
            +1

            А. Ну то есть ваше решение -рассчитывать, что энтузиасты захотят и смогут украсть скопировать и будут рассчитывать что их не пропалят достанут юридически? И за бесплатно. Окей, тоже вариант.


            1. sim31r
              31.07.2024 04:59

              Это скорее аналогия архива интернета

              Архи́в Интерне́та (сокр. АИ; англ. Internet Archive) — некоммерческая организация, основанная в 1996 году в Сан-Франциско американским программистом Брюстером Кейлом. Главной заявленной целью Архива является предоставление всеобщего доступа к накопленной в Интернете информации. Коллекция АИ состоит из множества подколлекций архивированных веб-сайтов, оцифрованных книг, аудио- и видеофайлов, игр, программного обеспечения.


      1. lowride
        31.07.2024 04:59

        Как раз монетизация вроде как отключена уже более 2х лет.


        1. Aldrog
          31.07.2024 04:59

          1. Я слышал, что основной доход у ютуберов в любом случае идёт с рекламных интеграций, а не от самого ютуба.

          2. Не знаю ни одного блоггера, перешедшего с ютуба на рутуб или вк, зато знаю нескольких стримеров, которые перешли с твича на вк, в моменте получили больше дохода (потому что вк платил по количеству зрителей на твиче), а потом доход начинал падать и им пришлось вернуться. При том что на твиче точно также для российских стримеров нет монетизации.


    1. chameleon-superhero
      31.07.2024 04:59

      Что если нам как пользователям перестать пользоваться другими площадками? Удалить аккаунты, если вдруг там есть?


      1. sim31r
        31.07.2024 04:59

        Вот по Рутубу например, единичные удаления ничего не дадут, рост и так был, а сейчас думаю там удвоится аудитория. Средний пользователь там найдет себе что смотреть и ничего настраивать не нужно.

        2021 3.04 млн

        2022 17.19 млн

        2023 40.2 млн

        2024 47.6 млн


        1. chameleon-superhero
          31.07.2024 04:59

          Значит поделитесь озвученной мыслью с окружающими, чтобы удаления были не единичные.


          1. sim31r
            31.07.2024 04:59

            Я не могу, так как сам делаю обратное. Поискал аналоги ради интереса, зарегистрировался на Платформе. На Платформе же посмотрел видеоролики с критикой блогеров Платформы, что сыро тут и тут и контекстная выдача плохо работает. Хотя я заметил что в ленте Платформы пошли ролики с критикой Платформы, что признак нормальной работы. И просмотры не единичные, я на Ютубе специфические ролики по микроконтроллерам смотрю, там бывает 50 просмотров, тут более 4958 и в комментах активность.


        1. ColdPhoenix
          31.07.2024 04:59

          Мне кажется основная причина роста это куча пиратского контента.

          Я когда в отпуске был с поиска яндекс часто вел туда чтоб фильмы смотреть.


  1. LinkToOS
    31.07.2024 04:59

    Там я нашёл, как именно замедляется ютуб и контрпример, подтверждающий на 100%, что это проделки большого брата.

    У меня Йутуб только в Firefox тормозит. В Opera все отлично. Не знаю кто ваш брат, но Firefox ему определенно не нравится.


    1. Waujito Автор
      31.07.2024 04:59
      +2

      Проблема в лисе (или в ютубе, может быть, они так хромиум продвигают). Он не всегда использует QUIC. Я бы даже сказал по-настроению. В хроме все стабильнее.


  1. miksoft
    31.07.2024 04:59

    И если запустить это запрос, то мы получим

    Я правильно понимаю, что на адресе speedtest.selectel.ru:443 находится прокси, через который доступны другие сайты в интернете?

    Иначе почему мы вообще что-то получим?


    1. Waujito Автор
      31.07.2024 04:59
      +9

      По-моему, название говорит само за себя. inline сервис для проверки скорости. Можно подключиться `curl speedtest.selectel.ru/100MB -o /dev/null` и мы получим скачивание 100MB файла на максимально возможной скорости интернета. Методом, который указан в curl запросе я подменяю Host и TLS SNI на те, которые нужны. speedtest.selectel.ru никак это не обрабатывает, зато ТСПУ видит googlevideo SNI и начинает шейпить данные.

      Причём если ввести не *.googlevideo.com, а google.com, скорость восстанавливается.


      1. miksoft
        31.07.2024 04:59

        speedtest.selectel.ru никак это не обрабатывает

        Выглядит как дыра в безопасности.

        Selectel вы же в курсе, да? Это норм?


        1. miksoft
          31.07.2024 04:59
          +2

          А, понял, имеется в виду "Домен в url игнорируется", а не "Домен используется из url".

          Тогда вроде не дыра...


        1. Waujito Автор
          31.07.2024 04:59
          +6

          Так они специально это сделали. Чтобы люди тестировали свою скорость. Там собственно и "дырить" нечего) Какой им смысл запрещать другие SNI или Host.

          К слову, такое можно и с гуглвидео провернуть, в другую сторону. Я копировал огромный запрос из yt-dlp логов, подменял SNI на yandex.ru, Host header ставил обратно в googlevideo, и connect-to в ::.googlevideo.com. Всё работало. Я писал об этом где-то в yt-dlp issue. https://github.com/yt-dlp/yt-dlp/issues/10443#issuecomment-2237395791


          1. UranusExplorer
            31.07.2024 04:59

            Я копировал огромный запрос из yt-dlp логов, подменял SNI на yandex.ru, Host header ставил обратно в googlevideo, и connect-to в ::.googlevideo.com. Всё работало

            вы изобрели domain fronting :)


            1. Waujito Автор
              31.07.2024 04:59
              +1

              Эх, вот если бы не сертификаты...


    1. Chelovechek1311
      31.07.2024 04:59

      Адрес speedtest.selectel.ru:443 выбран просто как доступный в сети адрес, идея того curl запроса в том, что запросу принудительно присваивается ютубовский SNI, и, как следствие, ТСПУ по признаку этого SNI замедляет передачу данных. Также сайт спидтеста селектела удобен тем, что можно указывать размер файла и наглядно увидеть падение скорости(это можно заметить в SNI, в конце написано 100MB).


    1. vikarti
      31.07.2024 04:59
      +2

      Там находится сервер которые просто отвечает на запросы как должно (отдачей конкретных тестовых файлов) При этом на то, что было передано в заголовке host и TLS SNI - ему плевать.

      Можно самостоятельно поднять свой тестовый сервер. Или найти другой такой же.


  1. AlexEx70
    31.07.2024 04:59

    Есть ли решение для телевизоров, в частности на WebOS?


    1. Waujito Автор
      31.07.2024 04:59

      Да, можно поставить OpenWRT на роутер и собрать для него один из пакетов из заключения (я свой тестировал, есть инструкция по кросс-компиляции)


      1. Lastloony
        31.07.2024 04:59

        а вот с этим по подробнее, можно ссылочку на инструкцию?


        1. Waujito Автор
          31.07.2024 04:59
          +3

          https://github.com/Waujito/youtubeUnblock?tab=readme-ov-file#openwrt-case

          Для моего работает. Главное - чтобы тулкит было подходящим.


          1. Kroligoff
            31.07.2024 04:59
            +5

            А есть схожее для Микротик?


            1. Kameleon3107
              31.07.2024 04:59

              через контейнеры реализовать, разве что


    1. andreysam
      31.07.2024 04:59
      +1

      "Любимый" WebOS не имеет функции прокси, поэтому пришлось поднимать zapret на openwrt как прозрачный прокси и через DHCP выдавать адрес этого роутера как шлюз. Ютуб летает, как бонус стали грузить Аватарки.


      1. foxyrus
        31.07.2024 04:59

        На WebOS есть root ;)


        1. andreysam
          31.07.2024 04:59

          Это да, были бы знания как через iptables завести трафик на запрет....


  1. VADemon
    31.07.2024 04:59
    +6

    GGC. Официальное заявление было, что кэш сервера устарели и долго не обновлялись

    Нарушен новостно-временной континуум. Сначала есть проблема, а потом, после анализа, об этом становится известно на политическом уровне. А не наоборот или одновременно с появлением проблемы.


    1. vikarti
      31.07.2024 04:59
      +29

      Как бы вспоминается же :)

      Горбачев звонит Рейгану:

      — Примите наши соболезнования по поводу взрыва «Челленджера»!

      — Но «Челленджер» взлетает только через минуту…

      — А-а, извините, я позвоню позже.


  1. Ravebinovich
    31.07.2024 04:59
    +1

    Подскажите, пожалуйста, для мака решение.


    1. Waujito Автор
      31.07.2024 04:59

      В zapret заявлена частичная поддержка MacOS.


  1. qeeveex
    31.07.2024 04:59
    +4

    Одни айтишники страны пилят ТСПУ, другие способы обхода.


    1. Lazhu
      31.07.2024 04:59
      +13

      Все при деле, получают за работу деньги, уровень безработицы падает


      1. ren_hoek
        31.07.2024 04:59
        +1

        "Пусть друзья богатеют, враги не беднеют,  посмотрим потом, кто кого одолеет."(с)


    1. DjPhoeniX
      31.07.2024 04:59

      Уверены, что другие?


      1. klaviatura
        31.07.2024 04:59
        +1

        не понимаю, за что минусы. Я бы очень надеялся, что у тех демонов, которые пилят все эти DPI инструменты есть капелька совести, чтобы загрузить хак для обхода в github


    1. Tyusha
      31.07.2024 04:59
      +23

      Самое мерзкое в том, что это не в администрации презедента придумали и даже не начальники в РКН и ростетелекомах. Придумали, дали совет и продвинуди эту тему люди пониже, люди квалифицированные, прошаренные в ИТ, но тем не менее желающие лизнуть.


      1. omgiafs
        31.07.2024 04:59
        +22

        Я бы поправил. Прошаренные и патриотичные. Без шуток.

        Представьте картину: молодой человек, у которого папа - офицер ФСБ, неустанно борющийся с террористами-навальнистами, желающими развалить нашу великую Родину, разбирается в ИТ, заканчивает профильный университет и поступает на работу в какой-нибудь отдел "К". Далее, получив профдеформацию безопасника (эти люди реально на своей волне), проработав лет 10 в этой системе, мутирует в того, кто реально думает, что защищает Родину (а не представляет интересы правящего класса), при этом обладая компетенциями в ИТ и ИБ.

        Нет злодеев, которые осознают себя злодеями. Мы все делаем то, что считаем правильным. Если мировоззрение этого "защитника Родины" поменяется, то поменяются и его действия. А сейчас - так.


        1. Drox
          31.07.2024 04:59

          А так ли сильно отличается защита Родины от защиты интересов правящего класса? Ну то есть крах государства приводит к краху страны и населения, поэтому государство надо защищать, а с ним и правящий класс.


          1. Inflame
            31.07.2024 04:59
            +13

            Если правящий класс не представляет интересы людей, то да, сильно отличается. Крах режима не обязательно приводит к краху страны. Просто власть меняется на другую.


            1. side2k
              31.07.2024 04:59

              Это правящий класс меняется "просто"? А на что он меняется?


          1. UFO_01
            31.07.2024 04:59
            +9

            У нас "патриоты" видимо забыли что помимо врагов внешних куда более опасные — внутренние, которые пробились во власть и там отстаивают свои интересы, а на интересы народа, государства, будущее им глубоко плевать. Но ведь проще сказать: "Вот они там все враги, они плохие, а мы все хорошие", и вроде как бы не такой уж правящий класс плохой, ведь вон там враг, надо объединиться, все вместе к светлому будущему. Ничего не напоминает? Думаю, напоминать к чему это привело не надо?


            1. FirExpl
              31.07.2024 04:59
              +19

              У нас "патриоты" видимо забыли что помимо врагов внешних куда более опасные — внутренние,

              Они ничего не забывали, этим людям хоть плюй в глаза - всё божья роса. Для них и репрессии 37-38 норм, ведь с врагами боролись, и ЧК с НКВД это бравые ребята которые родину спасали, и шарашки были гениальным и очень полезным изобретением, а экономика СССР самой мощной в мире.

              В царской России с врагами безжалостно боролись, чем кончилось - известно, в советской России с врагами боролись ещё более безжалостно, итог - известен, теперь в ныненшней России опять все силы бросили на точно такую же борьбу с врагами, но эти люди свято убеждены что просто раньше боролись недостаточно, а в этот раз результат-то будет другой!

              Я уже говорил тебе, что такое безумие? (с) великий философ Ваас


              1. Centimo
                31.07.2024 04:59

                В царской России с врагами боролись не особо безжалостно: страшных террористов то в ссылку отправят, то под честное слово выпустят. А закончилось всё отречением царя-батюшки, который к врагам, вроде как, отношения не имеет.

                В советской России с врагами безжалостно боролись при Сталине, и при нём ничего не закончилось. Закончилось в момент, когда с врагами перестали бороться.

                Сейчас и борьба не точно такая же, и враги другие, так что чем закончится – вопрос. Хочется, конечно, всё лихо под одну гребёнку, но жизнь несколько сложнее.


                1. klaviatura
                  31.07.2024 04:59
                  +4

                  В царской России с врагами боролись не особо безжалостно

                  Вам отрывки из "Записок из мёртвого дома" почитать? Займитесь своим образованием вместо потуг над тривиализацией истории


        1. klaviatura
          31.07.2024 04:59
          +1

          Не думаю, что это так. Как правило, для того, чтобы выйти на какой-никакой уровень экспертизы в нашей сфере нужно обладать критическим мышлением и способностью находить и анализировать информацию. Вы слишком романтизируете ситуацию. Как мне кажется, люди, которые активно заняты реализацией репрессивных инициатив просто понимают, что в обычном энтерпрайзе им не получить таких денег, которые можно получить у этой кормушки. А после того, как кормушка иссякнет можно будет спокойно свалить из страны, благо финансы на это будут на руках


      1. qeeveex
        31.07.2024 04:59
        +2

        не в администрации презедента придумали

        Ну т.е. цензуру вводят не они?! Что-то сразу НТВ вспоминается...


        1. Cerberuser
          31.07.2024 04:59
          +4

          Технические-то решения не руководители придумывают. Они только цели ставят.


  1. maxtorchel
    31.07.2024 04:59

    Я может что-то не понимаю, но разве DoH и ему подобные не должен помочь? Зачем огород городить, тем более это уже во многих браузерах и роутерах встроено.


    1. ColdPhoenix
      31.07.2024 04:59
      +3

      DNS тут не причем


    1. SagePtr
      31.07.2024 04:59
      +2

      DoH отвечает только за DNS-запросы, но никак не за запросы к серверу, которые и замедляются в данном случае.


    1. vikarti
      31.07.2024 04:59
      +1

      Вы что-то не понимаете. А именно - этап когда этого было достаточно - давно пройден.


  1. igatrinit
    31.07.2024 04:59

    Спасибо за статью, но есть претензии то ли к формулировке, то ли к логической цепочке в одном абзаце:

    1. "Как только я начал разбираться с этой проблемой и открыл Wireshark, меня ждали логи, состоящие наполовину из красных полос... тут тонны потерянных пакетов." - Если вы не меняли цветовую схему Ваершарка (а что-то мне подсказывает, что не меняли), то красные полосы - это флаг TCP RST, который к потерям имеет только очень опосредованное отношение.

    2. если бы это были GGC, они бы либо не работали вообще, либо просто скорость была маленькая, а тут тонны потерянных пакетов. " - Скорость не бывает "просто маленькая". С т.з. анализа трафика самая распространенная (разумеется, не единственная) причина низкой скорости - это именно потеря пакетов, которая может происходить по разным причинам.

    Т.е. весь этот абзац, откуда я это скопировал, можно прочесть как "Я увидел кучу RST флагов, а это значит, что много потерь, а это значит, что занижение искусственное.". Нет, не значит, и нет, не значит.


    1. Waujito Автор
      31.07.2024 04:59
      +6

      RST это прям ярко красные. Я про всякие Out-of-order, Retransmission и им подобные.

      "Скорость не бывает просто маленькая" - вообще, бывает. Сразу пришли на ум сервера эклипса. Месяца два назад скачивал jdtls на скорости 20 килобайт/с. Сейчас они их пофиксили чуть-чуть, я получил 1 мегабайт, но всё равно в вайршарке с точки зрения TCP никаких ошибок нет.


  1. acsent1
    31.07.2024 04:59
    +3

    Не за горами и полное отключение. Кто-то там в сентябре уже обещал


  1. NotSlow
    31.07.2024 04:59

    Попробовал упомянутый youtubeUnblock.

    У меня роутер на debian. Скомпилировал, установил, а дальше в файле службы youtubeUnblock.service вписан лишь вариант как на самом этом роутере траффик пропускать через youtubeUnblock. Добавил в него iptables строчки для forward:

    ExecStartPre=iptables -t mangle -A FORWARD -p tcp -m tcp --dport 443 -j NFQUEUE --queue-num 537

    ExecStop=iptables -t mangle -D FORWARD -p tcp -m tcp --dport 443 -j NFQUEUE --queue-num 537

    И убрал --queue-bypass везде т.к. со включенным невозможно понять работает/нет вообще. Пока не до конца понял чем это грозит...

    Следующим шагом было проверить работает ли в принципе что-то. Поменял:

    ExecStart=/usr/local/bin/youtubeUnblock 538

    Т.е. теперь iptables заворачивает не туда. И дальше проверил с работающим только OUTPUT блоком - вообще ничего не скачать на самом роутере, а на клиентах работает как и раньше.

    С работающим только FORWARD блоком - наоборот, на клиентах все потухло, а на роутере как обычно.

    Т.е. вроде был порядок. Возвращаю обратно на 537, запускаю OUTPUT и FORWARD - ну как минимум все сайты работают, ютуб открывается. И вроде как даже ролики играют. Но стало ли прям заметно лучше пока однозначно не скажу.

    Буду еще пробовать на всех клиентах - тв, телефоны и т.д.


    1. Waujito Автор
      31.07.2024 04:59
      +1

      Работает/не работает можно посмотреть если делать make dev (или просто передать -DDEBUG флагом). Тогда когда программа видит SNI гуглвидео, она будет выводить сообщение об этом + пропроцию в которой разбивается пакет. Отключение байпасса ничем особо не грозит, разве что если программа отвалится (мало ли), можно остаться без интернета. Узнать точно, что помогает можно по логам Wireshark. Тогда на контрасте можно будет посмотреть разницу (правда, это видно только если подключение без QUIC).

      OUTPUT на роутере не надо делать.


  1. Thisnicknameisbusy
    31.07.2024 04:59

    Если немного разбираться как устроены сети провайдеров и уметь строить причинно-следственные связи, то окажется все намного банальный.

    1. Давно известно что потребление интернет трафика растет каждый год.

    2. Один из самых тяжеловесных контентом это видео, в т.ч. Ютуб

    3. Для снижения нагрузки на сети операторов гугл в свое время ставил кеширующие сервера по всей сети.

    4. 2 года назад все крупные производители телеком оборудования ушли из РФ.И гугл прекратил свою деятельность.

      Теперь внимание вопрос что происходил последнее 2 года на сетях операторов. Правильно, росла нагрузка на сеть. Плюс развлекух стало меньше, народ стал больше сидеть в интернете. Кеширующие сервера помаленьку выходили из строя. Больше трафика стало идти через международные пиринговые точки, где оборудование также имело очень ограниченный ресурс расширения (по сути только за счет старых запасов и переноса с других участков сети). Эти ресурсы закончились. Каковы действия операторов в этих условиях, когда трафик растет а оборудование не поставляется, - ограничить какой либо трафик. Выбор в сторону тяжелого очевиден.

    5. Наверняка ещё и можно прижать гугловские сервера под свои нужды. Под хранения того же трафика абонентов для "компетентных' органов

    6. Ах да, про импртозамещение, IP-оборудования операторского класса для больших объемов трафика никогда не производилось российскими производителями. Его не существует в природе.

    7. Все это один из явных признаков технологической деградации страны.


    1. UranusExplorer
      31.07.2024 04:59
      +21

      Это все правильно и верно, кроме того факта, что скорост ограничивает Роскомнадзор на ТСПУ, а не сами операторы.

      Ну и плюс очень подозрительно, что две недели назад оборудование отлично справлялось (никаких затыков, железо и каналы явно загружены не в полку), а в одну ночь резко перестало, причем сразу одновременно у совершено разных операторов в разных локациях.


      1. SagePtr
        31.07.2024 04:59
        +6

        Плюс вдобавок это произошло аккурат после того, как на ютубе заблокировали несколько попавших под санкции каналов (насколько понял из воя в комментариях на хабре от одноразовых аккаунтов, принадлежали они прокремлёвской богеме, но могу и ошибаться).


    1. ColdPhoenix
      31.07.2024 04:59
      +15

      Если бы была деградация кэша, то тест с подменой SNI бы не работал.


    1. Volozhaninov
      31.07.2024 04:59
      +3

      Я тоже сначала думал, что замедлять YouTube могут с целью снизить нагрузку на магистральные сети. Но, исходя из заявления Дом.ру, дело не в этом:

      «Дом.ру обеспечивает своим клиентам качественный доступ в интернет в соответствии с заявленными обязательствами. Замедление работы сервисов Google и YouTube связано с вопросами регулирования иностранных онлайн-сервисов и их взаимодействии с Роскомнадзором».

      И вообще, как уже сказали, провайдеры сами разберутся с балансировкой трафика. Зачем Роскомнадзору со своими ТСПУ в этом участвовать?


    1. Cordekk
      31.07.2024 04:59

      Вы вещаете не на ту аудиторию.


      1. Thisnicknameisbusy
        31.07.2024 04:59

        Да я уже понял) столько дизлайков видимо за призыв включить мозг и подумать)) поэтому не вижу смысла далее тратить свое время на придурков


        1. UranusExplorer
          31.07.2024 04:59
          +6

          Так наоборот, люди включили мозг и подумали, и поняли, что то, что вы пишете совершенно не бьётся с другими установленными фактами (коих уже найдено очень много и убедиться в них может каждый), и вообще как-то подозрительно похоже на нарративы госпропаганды, мол, это просто оборудование устарело, а не РКН намеренно тормозит и блокирует. За это вас и минусуют.


        1. Antra
          31.07.2024 04:59
          +3

          Ой, пожалуйста, не тратьте на нас свое время, рассказывая, как GGC серваки в одночасье резко деградировали, да еще и начали замедлять совершенно к ним не относящийся и через них не проходящий трафик просто с "googlevideo" внутри пакета.


  1. chameleon-superhero
    31.07.2024 04:59
    +7

    Только успел прочитать статью и тут же подъехала новость: "РКН планирует признать научно–техническую и статистическую информацию о VPN для обхода блокировок запрещённой в РФ". Надо на Хабре при логине вместо капчи "Я не робот" тест на работников из РКН.


    1. pumi
      31.07.2024 04:59

      Goodbye dpi это не vpn.


      1. UranusExplorer
        31.07.2024 04:59

        Информация про обход блокировок без VPN уже тоже запрещена.


  1. NJ884
    31.07.2024 04:59
    +2

    Как пользователь интернета из стран СНГ (Узбекистан) могу сказать что блокировки интернета очень затронуло и нас. Местные провайдеры ничего не могут сделать.


    1. chameleon-superhero
      31.07.2024 04:59
      +1

      Т.е. у вас каналы только через РФ и больше нет?


      1. NJ884
        31.07.2024 04:59
        +6

        Есть канал Шелковая путь заложен аж в 1995 через Иран-Туркмения 10 гбит, которые тоже блокируют по принципу "Если у меня запрет то и соседа тоже запрещено". Основное канал от КЗ/Ростелекома.


    1. battlemixerpilot
      31.07.2024 04:59

      А каким образом это может касаться вас, если блокировки происходят на оборудовании ТСПУ перед провайдерами?


      1. NJ884
        31.07.2024 04:59
        +1

        В нашем стране нет кеш серверов гугла. все ускорения мы получали из серверов гугла ( Саратов-Самара-Оренбург-Уфа. Вот и получили. Местные новости


        1. bakhtiyarov
          31.07.2024 04:59

          Есть кеш-сервера.

          Как минимум у Билайна и Саркора точно есть.


  1. SGordon123
    31.07.2024 04:59

    Мобильный траффик от лана отличается провайдером?


  1. enamchuk
    31.07.2024 04:59
    +8

    Интересно, возможно ли средствами файрволла MikroTik фрагментировать пакеты, чтобы не городить дополнительные сервисы, VPN и прокси?


    1. Kroligoff
      31.07.2024 04:59
      +2

      Присоединяюсь в вопросу


  1. avz
    31.07.2024 04:59

    Может у меня ошибка выжившего, но все таки... На десктопе YouTube начал тормозить во всех установленных браузерах (Vivaldi, Chrome, Opera, Firefox, Brave, Яндекс.Браузер). Кроме MS Edge... ¯\(°_o)/¯ QUIC уже был во всех включен.


  1. LuxorAB
    31.07.2024 04:59

    Помню читал про eSNI - оно до сих пор не родилось по итогу?


    1. nidalee
      31.07.2024 04:59
      +2

      eSNI убили, его не будет. Вместо него заявлен ECH, которой тоже не торопятся вводить, и скорее всего никогда не введут.


      1. vtb_k
        31.07.2024 04:59
        +1

        Последний актуальный ФФ


        1. nidalee
          31.07.2024 04:59
          +1

          Ага, вот только ECH должен быть еще и на стороне сервера. Вы кроме cloudflare знаете, кто еще его использует? Я тоже нет. :)


      1. Inflame
        31.07.2024 04:59

        К примеру, один из самых популярных CDN, CloudFlare, поддерживает ECH:

        sni=encrypted

        https://crypto.cloudflare.com/cdn-cgi/trace/


      1. Druidos
        31.07.2024 04:59

        Поддержка ECH реализована в Firefox. С проигрыванием видео с YouTube он сейчас вполне справляется


        1. nidalee
          31.07.2024 04:59
          +1

          Поддержка ECH реализована и в Chrome. Это не решает той проблемы, что кроме Cloudflare, никто не пытается делать поддержку этого самого ECH на сервере (без которого ECH на клиенте не работает). Google в целом и YouTube в частности, насколько я помню, ECH не умеют.


  1. Nazar_Kam
    31.07.2024 04:59
    +5

    Я решил проблему немного по-другому. Начитавшись мануалов по микротику и имея белый статический IP (бесплатный от провайдера), некоторое время назад чисто из спортивного интереса я поднял туннель 6to4 через зарубежного IPv6 брокера. Затем прокинул пул адресов /64 в локальную сеть, настроил файрвол.

    Проблем с ютубом не заметил. Даже появился доступ к некоторым другим сервисам (но не об этом сейчас :-) )

    На следующий день попросил сеть /48. После чего раскидал IPv6 адреса: в гостевую сеть, на дачу через EoIP-tunnel over Wireguard. Этого было мало, и я пошёл дальше. Раздал сеть на свой смартфон, рабочий компьютер через WireGuard (на телефоне уже давно заворачиваю IPv4 трафик).

    Надеюсь, провайдер не задушит мой туннель.


    1. sergei5770
      31.07.2024 04:59
      +1

      а сможешь чуть подробнее описать процесс настройки? я припилил пока вылавливание субдоменов гуглвидео, которые добавляются в адрес лист и перенаправляются через интерфейс с впном, в целом работает, но на некоторых субдоменах запинается.


    1. dnska
      31.07.2024 04:59

      Тоже был бы очень признателен, если бы описали подробнее. Да и многие другие тоже, я полагаю)


  1. Rick815
    31.07.2024 04:59

    Прошу прощения за ламерский вопрос, но искренне интересно: вот если я настрою себе PiHole, на него получится ли накатить Ваше решение под Линукс и станет ли оно тогда разблочивать Ютуб по всей моей домашней сети?


  1. Typeckuu
    31.07.2024 04:59

    Занижение скорости уже давно начали, причем это на весь заграничный интернет. Возможно хотят снизить покупку заграничного трафика, или вообще чисто перейти на федеральную локалку, типа постепенно зарубить заграничный интернет. Типа создать закрытое государство, как было ранее при СССР. Какой в этом смысл? В Китае такое уже давно, Китайский интернет ограничен Китайским интернетом. А может готовят людей к новым санкциям, если вдруг США блокирует интернет, то будет только локальная федеральная сеть?

    С одной стороны хорошо, огородиться от западной грязи, создать порядок в сети интернет. Но с другой не будет доступно образование, технологии, фильтровать такое не реально.


    1. battlemixerpilot
      31.07.2024 04:59
      +7

      Вы усложняете, просто Гугл не удаляет видео, которые РКН считает противозаконными, и теперь пришло время блокироваться.
      При всем при том, что Гугл довольно часто шел навстречу властям РФ и удалял некоторые видео по их запросам. Но еще больше видео не удалялось.


  1. Sergey_Kovalenko
    31.07.2024 04:59

    Спасибо, все работает )


  1. zabbius
    31.07.2024 04:59
    +1

    Собрал под OpenWrt 23.05.3, не хочет слать пакеты =(

    root@OpenWrt:/tmp$ ./youtubeUnblock 537
    Using TCP segmentation!
    GSO is enabled!
    raw frags send: Operation not permitted
    raw frags send: Operation not permitted
    raw frags send: Operation not permitted
    raw frags send: Operation not permitted
    raw frags send: Operation not permitted
    raw frags send: Operation not permitted
    

    https://github.com/Waujito/youtubeUnblock/issues/13


    1. zabbius
      31.07.2024 04:59
      +2

      Помогло заменить в правиле forward на postrouting. Все завелось.


  1. Typeckuu
    31.07.2024 04:59

    И такие наминусили в рейтинг, мне важны ваши ответы и что думаете =) Мне всегда интересно обсуждение подобного, ваша критика, иначе на чем строить подтверждение. Что вы думаете интересно, а не то, что вам не нравится =)

    Однозначно скажу, что оборудование не может замедлить скорость, это глупо. Оборудование может выйти из строя, отключиться, то есть полный сбой, нет связи с сервером. Но не замедлить скорость. То есть может не быть доступа к серверу из за поломки, но никак не уменьшение скорости. =)

    Это не какая то засорившаяся кофемолка, это сервер. Сервер это точные настройки! Тут либо он работает, либо нет.

    c 14 июля вышло предупреждение - Скорость загрузки и качество воспроизведения видео на YouTube будет ухудшаться с сегодняшнего дня.

    Этим все сказано, скорость будет занижена. То есть нет IT специалистов предсказателей, это сделано намеренно. =)

    Для тех, кто в танке, объясняю, резко ухудшиться скорость загрузки, само по себе не может. Даже из за нагрузки посещений на сервер Youtube, соединение либо будет нормальное, либо будет ограничен доступ совсем!


    1. GritsanY
      31.07.2024 04:59

      Вы немного в сторону уводите дискуссию, статья сабж однозначно и недвусмысленно доказывает причины падения скорости загрузки с/на Ютуб.

      А то, что вы не можете представить что скорость может просто замедлиться -

      во-первых современные сервисы масштаба Ютуб - очень распределённые, в случае выхода из строя одного узла, другой может подхватить обработку, но вы заметите падение скорости,

      во-вторых, некоторын аппаратные ошибки, например, "сыпящиеся" диски, могут привести как раз к падению скорости обслуживания.


  1. vova_sam
    31.07.2024 04:59

    @Waujito напишите пожалуйста хорошую подробную инструкцию как использовать вашу разработку.

    1. как собрать (с командамм, результатами возможнными ошибками)

    2. как использовать:

      • отдельный прокси

      • в составе какого то решения

      • как запустить как сервис systemctl или как то там

        с командами

    я понимаю что мы тут все технари, но не все каждый день собирают под линукс из исходником, настраивают iptables и т.п.


    1. lemonmakemecry
      31.07.2024 04:59
      +3

      Запустить терминал (Ctrl+Alt+T)

      Ввести в нем команды, соглашаться если есть запрос, вводить пароль когад просит:

      1. sudo apt update && sudo apt install git

      2. git clone https://github.com/Waujito/youtubeUnblock.git

      3. sudo apt install gcc

      4. sudo apt install make

      5. sudo apt install autoconf

      6. sudo apt install automake

      7. sudo apt install pkg-config

      8. sudo apt install libtool

      9. sudo apt install linux-headers-$(uname -r)

      10. sudo iptables -A OUTPUT -p tcp --dport 443 -j NFQUEUE --queue-num 537 --queue-bypass

      11. cd youtubeUnblock/

      12. make

      13. sudo make install

      14. sudo youtubeUnblock 537

      На любом этапе могут быть проблемы, к сожалению без хотя бы начальных знаний linux'а и С их не решить


      1. vova_sam
        31.07.2024 04:59

        отлично. спасибо. на Ubuntu 18.04.6 LTS все сработало. Проверить эффективность не могу, т.к. пока не блокирует местный РТ


  1. sleepyb285
    31.07.2024 04:59
    +1

    Как же я благодарен умным людям, что находят причины и возможности решения проблем. Спасибо большое!


    1. Neikist
      31.07.2024 04:59
      +3

      К сожалению технические решения - они только временные((


  1. remain
    31.07.2024 04:59
    +1

    А кто-нибудь смог настроить byeDPI для андроида? Пробовал разные настройки применять и менять домены, но все равно секунд через 30 ютуб снова начинает уходить в буферизацию.


  1. Carnivora
    31.07.2024 04:59

    Жаль, что DPI бубны от ValdikSS отвалились ночью и не работают ни в каких конфигах, а ещё раньше перестал помогать флажок QUIC и другие недогайды, буквально всё отваливалось по часам вчера вечером, и сегодня ночью перестало работать полностью. Работают только мобильные сети и те, кто выходит в инет без ТПСУ грёбаных, но вроде как МТС работает меньше всего (это неточно). Мегафон и Билайн работают для ютуба 100%.


    1. SergeyZ06
      31.07.2024 04:59

      Сейчас проверил - работает. Попробуйте скачать последнюю версию


  1. Dertefter
    31.07.2024 04:59

    А поможет ли простое использование VPN в борьбе с замедлением YouTube?


    1. vikarti
      31.07.2024 04:59

      Если ваш конкретный VPN в принципе работает с вашим провайдером - да, поможет, скорость возможно будет чуть ниже (это ж все же VPN)


  1. Sanbody
    31.07.2024 04:59

    Возможно ли то, что ТСПУ будут фильтровать пакеты с ответом? Или в нем нет незашифрованных данных по которым можно определить что он идет от googlevideo?


    1. Waujito Автор
      31.07.2024 04:59
      +2

      Нет, к счастью, там только информация по установке соединения, ничего такого нет.


  1. melomen-73
    31.07.2024 04:59

    вот тут можно посмотреть подробнее: https://ntc.party/t/замедление-youtube-в-россии/8055/ and https://ntc.party/t/обсуждение-замедление-youtube-в-россии/8074/

    я один не могу попасть на сайты по ссылкам?


    1. Waujito Автор
      31.07.2024 04:59
      +2

      Понятное дело, что РКН просто так не оставит форум, который с ними уже тучу лет воюет)


      1. N1ghtwish
        31.07.2024 04:59

        А почему он через goodbyedpi и даже https://plainproxies.com/resources/free-web-proxy не открывается?


        1. Waujito Автор
          31.07.2024 04:59
          +1

          Значит по IP заблокировали.


      1. melomen-73
        31.07.2024 04:59

        пробовал через впн открыть, не вышло. по тому то зарегался, и задал вопрос)


        1. Waujito Автор
          31.07.2024 04:59

          Хм, у меня через тор открывается


          1. melomen-73
            31.07.2024 04:59

            с тора всётаки зашёл, через мост с туркменистана

            совсем забыл про него, спасибо за идею


        1. UranusExplorer
          31.07.2024 04:59

          Видимо у вас какой-то некачественный или неправильно настроенный VPN.


  1. LebedevPA
    31.07.2024 04:59

    Спасибо за статью. Я замедления не заметил, но смотрю через хром с расширением "Обход блокировок Рунета".


  1. yadeveveloper
    31.07.2024 04:59

    Подскажите, а есть ли решение прям для всей сети? А то все эти утилиты конечно хорошо, но со smart TV посмотреть не получится...


    1. Waujito Автор
      31.07.2024 04:59

      Да, мой пакет можно поставить на OpenWRT. Также по слухам туда можно поставить zapret.


  1. umbu_travoso
    31.07.2024 04:59

    Попробовал youtubeUnblock на Ubuntu 22.04, без него youtube тормозит, без него проигрываться вообще перестает. Собрал через "make dev", во время попытки проигрывания исправно пишет "Google video! Packet split in portion 198 599", но ничего не проигрывается. Если остановить нажатием ^C, начинает опять проигрывать (с тормозами)...


    1. Waujito Автор
      31.07.2024 04:59

      Патч уже есть.


      1. umbu_travoso
        31.07.2024 04:59

        Ура, буду пробовать.


        1. umbu_travoso
          31.07.2024 04:59

          Теперь работает.


  1. kacy
    31.07.2024 04:59

    ...speedtest.selectel.ru
    А для провайдера МГТС ссылку можно модифицировать?
    Хочу посмотреть есть ли замедление внутри сети МГТС, чтобы выкатить претензию, если оно есть.


    1. Waujito Автор
      31.07.2024 04:59
      +1

      Да делайте что хотите) Если знаете сервер, который в +- такой же манере работает - почему нет. Другой интересный кейс - дотянет ли оно до ТСПУ. Кстати, у меня на мегафоне сработало:

      ```curl --connect-to ::msc.bigspeedtest.netbynet.ru.prod.hosts.ooklaserver.net 'https://manifest.googlevideo.com:8080/download?nocache=ffb8h452-219c-46a2-ac07-ae26f8064445&size=25000000&guid=fb78549a8-f40a-40d9-b760-1f8fcaa03c8e' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:128.0) Gecko/20100101 Firefox/128.0' -H 'Accept: /' -H 'Accept-Language: en-US,en;q=0.5' -H 'Accept-Encoding: gzip, deflate, br, zstd' -H 'Origin: https://www.speedtest.net' -H 'Connection: keep-alive' -H 'Referer: https://www.speedtest.net/' -H 'Sec-Fetch-Dest: empty' -H 'Sec-Fetch-Mode: cors' -H 'Sec-Fetch-Site: cross-site' -H 'Sec-GPC: 1' -o NUL -k```

      Я просто скопировал это как cURL из окна для разработчиков в Firefox во время speedtest


  1. Vanzent
    31.07.2024 04:59

    Домашний провайдер, с компьютера видео не показывает, запросы к googlevideo в инструментах разработчика статус canceled. Со смартфона через вифи в той же сети видео в качестве 480 показывает без лагов, некоторые видео в 720 с небольшими лагами. при начальной загрузке видео может быть задержка, затем при воспроизведении задержки нет, что может указывать на работающий кэш гугла, либо перебор доменов googlevideo которые проходят через фильтр.
    https://subdomainfinder.c99.nl/scans/2020-01-14/googlevideo.com выложены домены googlevideo и их ip.


  1. DevidBrown
    31.07.2024 04:59
    +1

    Ох, спасибо тебе, добрый Человек! Поставил youtubeUnblock на ubuntu, рад как слон)


  1. dabrahabra
    31.07.2024 04:59
    +2

    Предлагаю в треде подумать и предложить варианты, которые нагрузят "средства" ограничения, но минимально на грузят другие сервисы.

    Например, что если создавать и рвать кучу соединений? Какой трафик нужно сгенерить до отказа "средства"? Может кто-то даже сделает тест и в масштабе будет видна разница в времени установки соединения. А там в докере и отдать народу.


    1. UranusExplorer
      31.07.2024 04:59
      +3

      Идея хорошая, но за такое 273 статью могут притянуть.


  1. zabbius
    31.07.2024 04:59
    +1

    Автор, ты красава, давай допилим твою тулу, чтобы макросы превратились в ключи командлайна, а фильтр задавался в файле списком (списком регексов как вариант). Получится простой и понятный инструмент для обхода фильтров по SNI.

    Пойду попробую пулреквест запилить.


  1. Lazhu
    31.07.2024 04:59

    У пчелайна какая-то хрень творится: ФФ с выключенным http3 нормально, с включенным - висит

    http3 false

    http3 true

    Один и тот же ролик 1080p


  1. Andy_U
    31.07.2024 04:59

    Как это, каждая семья несчастлива по своему? Вот у меня вчера (Yota, Лен.область) youtube напрочь не работал на Chrome, пока kyber не отключил. На Firefox'е никаких проблем.


    1. PsihXMak
      31.07.2024 04:59

      Так они блокируют 70% пакетов. Но, не на пользователя, а на всех. Т.е. статистически есть вероятность попасть в поток, где 100% твоих пакетов пройдёт, как есть вероятность, что не пройдёт ни один.


      1. Andy_U
        31.07.2024 04:59

        Ну, я долго не мог вспомнить про эту настройку. Пардон, kyber, конечно.


      1. Aldrog
        31.07.2024 04:59

        По закону больших чисел, если пакетов много (а их при просмотре видео будет много), то существенно отклониться от этих 70% практически невозможно. Если, конечно, замедление реализовано равномерным и честным рандомом, а не целенаправленно отдаёт предпочтение определённым пользователям.


        1. PsihXMak
          31.07.2024 04:59

          Мне кажется, как раз наоборот, благодаря закону больших чисел, есть довольно большой шанс попасть в поток, где твои пакеты почти не блокируются.


          1. Aldrog
            31.07.2024 04:59

            https://ru.wikipedia.org/wiki/Закон_больших_чисел

            Согласно закону, среднее значение конечной выборки из фиксированного распределения близко к математическому ожиданию этого распределения.

            Другими словами, чем больше объём выборки, чем чаще проводятся измерения какого-либо параметра, тем выше вероятность того, что результаты окажутся близкими к ожидаемым.

            Вы утверждаете ровно обратное.

            P.S. Поясню: мат. ожидание распределения - 70% отброшенных пакетов, конечная выборка - пакеты, отправленные во время одного просмотра ролика.


            1. PsihXMak
              31.07.2024 04:59

              Вы, видимо, берёте не те вероятности.

              Смотрите, допустим провайдер блокирует каждые 7 пакетов из 10. В какой то момент, видео одновременно смотрят 10 000 пользователей ровно. При условии, что трафик идёт достаточно равномерно, у 7 000 пользователей не пройдёт ни один пакет, при этом 3 000 пользователей не заметят блокировки вообще. Это в теории.

              На практике, нужно предусмотреть большое количество факторов, однако, благодаря большому количеству пользователей и огромному количеству трафика, вероятность возникновения таких коридоров довольно велика.

              Кроме того, видео буферизируется из-за чего потери пакетов незаметны. Т.е. пользователю достаточно загрузить первые 3-5 секунд, что бы почти не заметить потерь.


              1. Aldrog
                31.07.2024 04:59

                Это в теории.

                Как раз в теории влияние большого количества факторов и смешивание трафика большого количества пользователей позволяет считать, что прохождение каждого пакета это независимое событие с вероятностью 30%, и дальше к этому применять аппарат теорвера. И получить, что вероятность попасть в такой коридор ничтожно мала.

                А вот на практике может оказаться, что там не каждые 7 из 10 пакетов блокируются, а то ничего не работает и поэтому все пакеты пропадают, то ничего не работает и поэтому все пакеты проходят, то блокируется как надо, но не для всех пользователей, то ещё какие проблемы.

                Кроме того, видео буферизируется из-за чего потери пакетов незаметны.

                Буферизация только сглаживает проблемы во времени, не более того. Если из-за потерь средняя скорость падает ниже битрейта видео, то она ничем не поможет.


        1. FirExpl
          31.07.2024 04:59

          Вероятно Andy_U имел ввиду, что при достаточном количестве попыток даже самое маловероятное событие будет происходить относительно регулярно. Что, впрочем, совершенно никак не влияет на вероятность этого события


          1. Aldrog
            31.07.2024 04:59
            +1

            Только с такими вероятностями надо условно квинтиллион роликов просмотреть, чтобы на одном из них не было заметного замедления.


          1. Andy_U
            31.07.2024 04:59

            Я имел ввиду лишь факт полной неработоспособности Chrome. При LTE доступе.


  1. Kilmez
    31.07.2024 04:59

    Из интересных наблюдений - ютуб не тормозит на тарифах для ЮЛ. Провайдер - РТ.


  1. askarbin
    31.07.2024 04:59

    Автор... Дай тебе Бог здоровья. А то без ютуба я не знаю как. И о чём граждане "замедлительные" думают... Предлагают рутубом пользоваться. Ну допустим. Только тогда перенесите туда все туториалы и курсы по фреймворкам и языкам программирования, всё, что мне интересно смотреть тоже туда перенесите и регулярно зеркальте туда с ютуба всё это. А иначе что вы мне предлагаете смотреть ? КВН и камеди клаб с сериалами ? Ну вот спасибо, не надо