«У любой задачи существует по крайней мере одно очевидное и невероятно простое для понимания неправильное решение»
Как кто-то из вас уже знает, широко известный ресурс Рутрекер провел акцию «Учения по гражданской обороне». Суть её заключалась в «тренировочном» закрытии доступа на форум для всех пользователей из России на сутки. На следующий день популярные интернет-издания пестрели заголовками «Учебная блокировка Рутрекера не отразилась на его посещаемости». Для меня как регулярного пользователя этого сайта тема с его блокировкой особенно болезненна.
Увидев обнадеживающие заголовки, я порадовался за маленькую победу любимого ресурса. Однако после прочтения статей у меня возникло несколько вопросов. Поэтому я и решил разобраться: действительно ли Рутрекер успешно справился с задачей и научил всех своих пользователей легко и непринуждённо обходить блокировки?
Анализ посещаемости Рутрекера
Интернет-издания писали: «посещаемость ресурса не только не упала, но и оказалась выше, чем средний показатель за предшествующую ей неделю». Вот этот вывод и привлек мое внимание. С точки зрения цифр, вторая часть цитаты корректна. Действительно, если посмотреть статистику посещаемости, вопросов возникнуть не должно. Но почему сделан вывод об успехе всего мероприятия? Да, в среднем за неделю посещаемость увеличилась, однако акция проводились ровно один день — в воскресенье, а не всю неделю. Так что просто некорректно использовать усреднённую посещаемость за 7 дней как индикатор результативности акции.
Стоит все же отдать должное интернет-изданиям, они также упомянули, что «в среднем по воскресеньям в ноябре сайт торрент-трекера посещало 1,24 миллиона уникальных пользователей — то есть всего на 10% больше, чем 6 декабря». Последнее утверждение частично проливает свет на суть вопроса и, как бы это печально не звучало, свидетельствует о падении посещаемости на 10%, но авторы процитированной статьи закрыли на это глаза.
Так что же реально произошло с посещаемостью? Упала она, выросла или же осталась неизменной? Давайте рассмотрим среднесуточную посещаемость трекера с середины ноября (наиболее стабильный и релевантный участок):
Рис. 1. Динамика уникальных посетителей сайта с 15.11.15 по 05.12.15, млн. посетителей.
Глядя на график, можно сказать следующее:
- В значениях посещаемости нет выраженной тенденции;
- Присутствует ярко выраженная сезонная составляющая (максимум посещаемости всегда приходится на воскресение)
На основе имеющихся данных смоделируем поведение посещаемости в рассматриваемом периоде и построим прогноз на 6 и 7 декабря. С учетом отсутствия тренда и наличия сезонности в качестве модели прогнозирования используем метод экспоненциального сглаживания с сезонной декомпозицией.
Сезонная составляющая, выделенная в значениях исходного временного ряда, свидетельствует о типичном увеличении количества посетителей трекера на 280 тыс. человек каждое воскресенье. Логично, когда же еще качать?
Полученная прогнозная модель выглядит так:
Рис. 2. Фактические и смоделированные уровни посещаемости с прогнозом и фактом 6 и 7 декабря, млн. посетителей.
Модель очень точно описывает реальную посещаемость ресурса. Средняя абсолютная ошибка в процентах (MAPE) составляет 1%, что является отличным показателем для прогнозных моделей. А 98%-ое попадание с посещаемостью на следующий день после «учений» — 7 декабря, понедельник – дополнительно свидетельствует о качестве подбора модели.
Как видите, модель не смогла предсказать только 6 декабря. То есть в этот день посещаемость не подчинялась стандартным законам. К сожалению, именно 6 декабря и проводились «учения». И их реальный эффект представляет собой расхождение между прогнозным значением посещаемости и фактическим. Таким образом, воскресное мероприятие привело к снижению посещаемости на 190 тысяч человек, что составило 14% от ожидаемого.
Также обратите внимание, что нижняя граница доверительного интервала спрогнозированной посещаемости на 6 декабря составляет 1,26 млн. посетителей. Это на 140 тысяч больше фактической посещаемости. То есть при самом оптимистичном раскладе можно говорить о значительном снижении числа посетителей — от 140 до 230 тысяч человек, или 11-17% от ожидаемой воскресной посещаемости, или 13-22% от среднесуточной посещаемости ноября. Не слишком-то похоже на картину, рисуемую в интернете, верно? Осмелюсь сказать, что это достаточно тревожный результат. Глянул историю за пару лет и понял, что посещаемость Рутрекера за два года и так снизилась более, чем на треть:
Рис. 3. Динамика среднемесячной посещаемости с декабря 2013 по декабрь 2015, млн. посетителей.
Другие индикаторы эффективности «учений»
Как мне кажется, не стоило оценивать результативность «учений» Рутрекера уровнем посещаемости, поскольку:
- акция сопровождалась активным пиаром, что априори должно было увеличить трафик в этот день;
- счётчик посещаемости, предположительно установленный на главной странице, говорит лишь о попадании пользователя на сайт. И это не может служить однозначным доказательством обхода учебной блокировки. Кроме того, судя по комментариям на форуме, учебная блокировка сработала не у всех: у многих пользователей остался полноценный доступ к сайту.
На самом деле, оценивать результативность акции лучше всего на основании внутренней статистики самого Рутрекера, отражающей, например, количество участвовавших в раздачах. Рутрекер пока ей не поделился… Выше я диагностировал снижение посещаемости в целом на 11-17%. Вот только как понять, сколько пользователей из зашедших на сайт все-таки смогли обойти блокировку и поучаствовать в раздачах?
Косвенным критерием может служить среднее количество просмотров страниц на одного посетителя. Допустим, пользователь зашёл-таки на сайт, увидел объявление о необходимости использования путей обхода и решил вообще не дёргаться. Тогда количество просмотренных им страниц будет равно 1. Взглянем на цифры:
Рис. 4. Динамика среднего количества просмотров, совершаемых одним посетителем по воскресениям с 6 ноября по 6 декабря 2015.
Снижение показателя на 10% шестого декабря также является эффектом «учений». Каждый десятый пользователь из зашедших на сайт мог не искать способы обхода блокировки и покинул страницу. В пользу этой гипотезы говорит и тот факт, что доля пользователей, посмотревших лишь одну страницу, увеличилась на 3 п.п. (по сравнению с показателями ноября) и составила 27%.
Особенности выбора способов обхода блокировок
Любопытно в этой истории и то, как пользователи обходили «учебную» блокировку. На Рутрекере проводился опрос, и согласно его данным, подавляющее большинство пользователей торрентов использовали плагины для браузеров. Относительно сложные инструменты, такие как VPN, Proxy, собственные сервера и другие, использовал лишь каждый пятый. Особо радует, что только 3% признались, что не могут обойти блокировку.
Резюме
На самом деле, не имея доступа к внутренней статистике Рутрекера, мы можем гадать сколько угодно об успешности акции. Очевидно одно — большая часть аудитории будет потеряна, если сайт всё-таки заблокируют.
Но есть и положительные моменты – всего 3% не смогли обойти блокировку, либо просто не сознались в этом.
Комментарии (55)
Mendel
14.12.2015 12:16Не уловил как может быть и уменьшение уникалов и увеличение количества отказов?
Если человек не прошел «тест РКН» и не обошел «блокировку», то у него будет или минус в посещалке или плюс в отказах.
Но как выходит что у нас есть люди которые отвалились до входа, а есть те у кого только один просмотр?
В общем сомнение что их складывать надо.
А так то — падение в 20% при том, что около 60% аудитории должно быть из цензурированных граждан это хороший результат.
Если бы я пользовался торрентами, жил бы на цензурируемых территориях и увидел бы такую заглушку, то я бы пошел заниматься своими делами дальше и ушел бы с сайта. Учения пройдут, люди определятся с подводными камнями, уточнят что именно надо заворачивать в проксю/впн и т.п., чтобы не гонять туда всё… вот тогда попозже и настрою.
Если прибавить к таким как я еще и тех кто и рад бы, да «племянник тыжпрограммист сегодня никак не может придти», то картина будет совсем другой. Наши 20% это оценка сверху которая быстро превратится в 3% и перейдет в рост просто потому что на темной стороне пираты раздают печеньки, но не всем. Копирастам придется вернуть все печеньки которые им выдали когда трекер был на серой стороне Силы. А это неизбежно компенсирует часть потерь из тех самых 37% потерянных за прошлые периоды…
Мой прогноз — через полгода после блокировки посещалка на 3-5% выше чем сейчас.TheEvil
15.12.2015 03:36Да, тут нужно учитывать две важные вещи:
- Это статистика по больше части отражает количество людей, которые не стали/не смогли настроить обход блокировки сходу. При долговременной блокировке большая часть способ найдёт.
- Спад посещаемости рутрекера в том числе связан с тем, что они удаляли контент по требованиям правообладателей, так что часть аудитории перетекла к более стойким конкурентам (например, nnm). С развязанными руками конкурировать будет проще, хоть они себя и позиционируют как свободную библиотеку легального контента.
ishua
15.12.2015 11:51Большинство, к сожалению, ничего искать не будет. И после блокировки сначала упадет кол-во пользователей потому что блокировка, а потом потому что пользователей мало.
TheEvil
16.12.2015 05:15Безосновательное утверждение. Не будут искать только если будет доступная альтернатива. Рутрекер не уникален, но более чем конкурентоспособен, он среди лидеров. Его посетители уже прошли фильтр грамотности: они разобрались, что такое торрент, установили себе торрент-клиент. Большинство из них справится с установкой расширения к браузеру.
grumbler66rus
16.12.2015 10:10Разъясняю: В статистике посещений отражены в том числе те, кто увидел страницу об учениях и закрыл её. (Не стал ничего дальше делать.) Это и есть те, кто посетил, но только одну страницу.
PsyHaSTe
16.12.2015 12:17Тогда непонятно, с чего должно быть падение в статистике. Ибо столько же людей, сколько обычно зашло на трекер, но часть закрыла непонятное окно, а часть разобралась и зашла. Если мы учитываем только вторых, то падение объясняется естественным образом, если же мы и их смотрим, и тех, кто ушел — то аномально низкая посещаемость ресурса не объясняется никак, кроме как «сарафанным радио», но в таких случаях обычно популярность наоборот растет — всем становится интересно, что же это за учения такие.
grumbler66rus
16.12.2015 13:55Уникальные посетители и все запросы. Первых столько же, вторых меньше, чем обычно.
msuhanov
14.12.2015 13:09Кроме того, судя по комментариям на форуме, учебная блокировка сработала не у всех: у многих пользователей остался полноценный доступ к сайту.
А у кого-то оказались заблокированы и «способы обхода». Видимо, с GeoIP и руками у владельцев ресурса большие проблемы.
ComodoHacker
14.12.2015 14:06+3Глядя на график, можно сказать следующее:
Не знаю, как вы, а я вижу на графике явный нисходящий тренд.
В значениях посещаемости нет выраженной тенденции;
guai
14.12.2015 14:34«акция сопровождалась активным пиаром, что априори должно было увеличить трафик в этот день» — вот этого совсем не заметил. Узнал, зайдя в тот день на рутрекер чисто случайно, а потом в статьях на хабре результаты увидел.
Just_Wah
14.12.2015 15:24подозреваю, что после такой рекламной акции куча народа узнала (и еще узнает) как ходить на те ресурсы, которые «заблокированы». Т.е. как-то достигается прямо противоположный эффект в деле просвещения технически далеких людей. Теперь все узнают, как этим пользоваться ;)
Rastishka
14.12.2015 15:29Меня с friGate не пустили на учениях, показывал сообщение что что то не настроено.
Хотя настроен правильно и работает на других сайтах.
esc
14.12.2015 18:36+1www.liveinternet.ru/stat/rutracker.org изучайте;)
Хиты увеличились видимо потому, что пользователям приходилось что-то обновлять по несколько раз.
www.liveinternet.ru/stat/rutracker.org/index.html?id=8;id=ratio;period=month в целом популярность стремительно снижается.
achekalin
14.12.2015 19:09+1Чем громче будут обсуждать «не повлияло» в газетах, тем вероятнее, что придумают новый оборот гайки для закручивания. Мы, конечно, гордые и самобытные, но цель не быков дразнить (и даже не на рекламе зарабатывать), а людям информацию предоставлять. По крайней мере, в идее.
Учения — штука хорошая. Только если на ресурс зайти за тем, что тебе нужно из файлов (и не надо говорить, что все они «пираты»: я, скажем, там recovery диск качал к законно купленному своему ноутбуку — привет производителю, который забыл выложить его в доступ хотя бы по серийнику конкретного бука), то тема учений хоть и упоминается в баннере, но требует прилично времени, чтобы въехать. Все привычно каталогизировано, и почти бесполезно изложено. Вместо «делай раз, делай два, делай три» — рассуждения на много килобайт. Такое не каждый юзер осилит, как не устраивай учения.
В общем, либо будут варианты, вплоть до создания файликов с настройками прокси (где будет сказано ходить direct для всех доменов, кроме домена сами-знаете-какого), либо аудитория усекается очень заметно. Что интересно, те гики, что дойдут до сайта, умеют и любят adblock, так что владельцы трекера вдвойне будут не рады — такой трафик немного просмотров даст им.
ValdikSS
14.12.2015 19:35+4Если б счётчик посещений убрали со страницы блокировки, то статистика пользователей, обошедших блокировку, была бы видна в явном виде. Почему оставили счётчик — непонятно.
Zardos
14.12.2015 20:17Все эти графики надо было бы строить только для посетителей из России, поскольку для посетителей из других стран не было никаких учений (и соответственно им не пришлось ничего обходить).
FSA
15.12.2015 08:57Я зашёл на сайт рутрекера в тот день. Увидел надпись об учениях. Вопробовал friGate. Он оказался бесполезен. Больше проверять не стал. Будет заблокирован, там и буду разбираться. Короче в этот день я не посещал rutracker.
mihmig
15.12.2015 09:51А мне кажется народ настолько ленив, что не найдя кинца на «этих ваших торрентах» тупо купит подписку на какой-нибудь «легальный» видеосервис и не будет париться. А что до уникального «контента», которого не найти — да забьют, пойдут «контактик скроллить».
intet
15.12.2015 10:09Была бы возможность купить подписку на видеосервис с более-менее приличным ассортиментном я бы давно перешел не задумываясь. А то и выбор небольшой и сроки появления новинок большие. В итоге пользоваться ими неудобно.
В пример надо брать музыкальные/игровые сервисы — тут действительно пользоваться ими удобней, чем торрентом.mihmig
15.12.2015 10:21Хотя неоспоримым преимуществом торрентов являются комментарии. От «мастхэв, всем смотреть» до «верните мне полтора часа жизни».
Что на фоне новостей о рейтинге кинопоиска является существеным преимуществом.intet
15.12.2015 10:50На чтение комментариев требуется время. Первые несколько комментариев могут быть полностью неадекватными и чтобы понять настоящую картину необходимо просмотреть довольно много. Рейтинг же быстро показывает некое среднее значение и этим удобен.
Но есть же и более продвинутые системы. Например в google music(возможно и в других) просто говоришь играть музыку и он сам опираясь на статистику предлагает варианты.
Что на фоне новостей о рейтинге кинопоиска является существеным преимуществом.
Не понял столь большой озабоченности рейтингом кинопоиске. Они бороться с накрутками и считают что оценивать могут только те кто смотрит много. Плюс у многих пользователей неадекватно завышен рейтинг фильмов, например хорошему, крепкому фильму который можно посмотреть не один раз сразу ставят 10, хотя это просто среднечек.
esc
15.12.2015 12:16+1Торрентов? На других сайта комментариев не бывает? Комментарии большинства торрентов, как раз, наименее полезны. Т.к. вы не сможете понять общую картинку, а только высказывания нескольких комментаторов с первой страницы (редко заходя дальше).
Temych
15.12.2015 19:34+1Очевидно одно — большая часть аудитории будет потеряна, если сайт всё-таки заблокируют.
бОльшая или большАя?
В первом случае — это не так.
Во втором случае — смотря, что подразумевать под большим? Думаю потеря 10-15% аудитории — это несмертельно (в текущих конъюнкутурных реалиях) + еще парочка таких учений методом броска за борт в открытое море для экстренного обучения всех, кто это еще не сделал простым средствам обхода блокировки и Рутрекер добьется показателя в районе 5% и меньше.
Loki3000
16.12.2015 13:58Если после блокировки будет пересмотрена политика удаления раздач, то посещаемость может снова начать расти. Так что итоговую посещаемость пока предсказать тяжело.
betony
Если большой процент пользователей интернета смогут обходить блокировки, то могут запретить интернет совсем.
Just_Wah
Вы не поверите, но в интернете можно не только фильмы качать
vintage
Ну да, можно ещё стримить :-)
По статье — по графику чётко видно, что прогноз завышен. И страшные слова в духе «экспоненциального сглаживания с сезонной декомпозицией» доверия такими графикам не добавляют.
WhiteUnicorn
Посмотрите на эту картинку:
Красным пунктиром схематично выделил ожидаемую посещаемость. Синим — реальная посещаемость. Прогноз на самом деле не завышен. Просто при расчете используются значения предшествующих наблюдений с разными весами. И субботний взлет частично предопределил «завышенный» прогноз воскресения. Меня тоже вначале немного смутил полученный (достаточно высокий) результат, но понедельник-то предсказан моделью очень точно, а значит я не ошибся.
vintage
И что? Такая же картинка с завышенным ожиданием. А вот резкий провал 8 числа — неожиданность.
Serg046
Сразу пойдут волнения как бизнеса так и пользователей. Очень маловероятно и только с введенной альтернативой.
VolCh
Оставят только Рунет.
NickKolok
В Казахстане берут под контроль HTTPS: habrahabr.ru/post/272207
Всё возможно.
Serg046
Ну прослушка, не отключение. Мне пофиг, мне так даже наверное лучше.
Serg046
Кто-нибудь (можно со стороны) объясните что не так с моим комментом? :)
jok40
То есть Вас совершенно не напрягает, что неизвестные Вам люди получат в своё распоряжение Ваши логины и пароли?
Serg046
Не сильно. Возможный профит от этого меня радует больше.
Чем эта субъективная позиция кому-то вредит я не знаю.
Какие-то неизвестные мне люди и так владеют этой информацией. Почему я тогда должен бояться, что ею будут владеть контролирующие органы?
jok40
Ошибаетесь, любезный.
Неизвестные Вам люди не владеют этой информацией — в подавляющем большинстве случаев пароли доезжают до сервера в шифрованном виде по HTTPS-каналу и складируются на этом сервере опять-же в шифрованном виде. И если кто-то смог добыть Ваш пароль с сервера ему придётся весьма сильно попотеть, чтобы расшифровать. И совсем не факт — что удастся это сделать за разумное время.
В случае же прослушки в середине HTTPS-канала будет находиться слушатель, через которого вся информация будет идти в открытом виде. Вот ему-то и достанется Ваш пароль сразу готовенький к употреблению.
А теперь предположим, что это пароль от PayPal. Или, например, от аккаунта в банке. Всё ещё готовы им поделиться с окружающими?
Serg046
Я про владельцов ресурса. Это неизвестные мне люди и в теории они бед могут наделать не меньше, чем контролирующие органы.
jok40
ОК. Допустим, что «владельцы ресурса» — это банк. Вы храните там свои деньги. Исходя из Ваших слов можно подумать, что кому-то из «контролирующих органов» Вы доверяете больше чем банку. По-вашему в «контролирущих органах» работают исключительно роботы, свято соблюдающие все писанные и неписанные законы?
Когда-то очень давно я смотрел фильм «Враг государства» («Enemy of the State», 1998). Фантастика, конечно, ещё та. Но доля здравого смысла в нём есть. Рекомендую Вам посмотреть.
Serg046
Нет, однако и внутри банка бывают «чудеса», историй предостаточно. Я согласен, что риски повышаются, но ведь и профит повышается. В моем случае профита больше, чем риск иметь проблемы.
P.S. я вовсе не сторонник, просто не разделяю всеобщего страха.
jok40
Вы уже несколько раз упомянули про «профит». Могли бы конкретизировать — о чём речь? Я вот, например, как ни стараюсь, не могу придумать ни одного полезного для себя «профита» от прослушивания кем-то моего защищённого трафика.
Serg046
От сдачи отпечатков, наличия прописки и т.д. личностно тоже никакого профита.
Это интересно в рамках общества. Возможно это будет помогать контролировать соблюдение законов, особенно экстремистской части.
jok40
Вы наивны просто до невозможности :) Подобные карательные органы, слушающие всех и вся в государстве, были созданы исключительно для защиты власти, а вовсе не народа. И все эти сказочки о защите народа от экстремизма придумываются исключительно с целью проталкивания подобных законов о прослушке. Есть такая весёлая поговорка: «на%бка — друг чекиста» — так вот это истинная правда.
Serg046
Зачем же сразу вешать ярлыки. Я нигде не указывал истинную цель идей таких законов. Я указывал на возможный профит. Если у кого-то другая позиция, это не значит, что она единсвенно верная.
jok40
Да не обижайтесь — это я по-дружески :) Пытаюсь предупредить Вас о недремлющих силах зла :)
ctapnep
проблема в том, что «владелец ресурса» — это таки банк. А пароли могут получить работники банка. Которым я таки доверяю несколько (намного) меньше, чем банку как организации. И если кто-то из работников банка просто стащит деньги, то это будут не мои проблемы. А вот если кто-то впоспользуется моим паролем, то проблемы внезапно становятся моими.
Но таки увеличение количества людей знающих мои пароли (и, что особенно неприятно, знающие мои пароли от разных сервисов) таки радовать никак не может.
Serg046
Все верно. Это я подразумевал под «риски повышаются».
jok40
Работники банка не могут получить Ваш пароль — потому-что он зашифрован. У некоторых работников может быть свой пароль для доступа в том числе и к Вашим деньгам, но только у работников достаточно высокого уровня. Не доверять им — значит не доверять банку. В банке, которому Вы не доверяете, деньги лучше не хранить. А в случае прослушки Ваш пароль получит кто попало — со всеми вытекающими последствиями.
ctapnep
пароль шифруется уже после получения серверами банка. Так что админы веб-серверов вполне имеют возможность этот пароль получить еще до шифрования.
А в случае прослушки ваши данные попадают не кому попало, а работникам МВД или подобных структур. И, по вашему отношению, если вы не доверяете силовым структурам государства, то лучше в этом государстве не жить.
jok40
А если я не доверяю силовым структурам любого государства, так что-же мне — на земле не жить? :)
И про админов — да, эти люди в виду свего положения в банковской системе могут добраться до Ваших денег. Но, в отличие от «слушателя посередине», админ — не инкогнито. Это конкретный человек, которого в случае чего всегда можно найти.
Wesha
— Rudyard Kipling. The «Mary Gloster»
Пока КазКомНадзор придумает, как блокировать протокол, мы успеем придумать новый. :)