Исследование проводилось в целях создания корпуса слов сайтов, заблокированных государственными органами Российской Федерации.
Из открытых источников был получен список ссылок, находящихся в реестре на момент проведения исследования. Всего в списке 24515 ссылок.
По каждому url мы делали get-запрос из страны, не имеющей законодательных ограничений на подобные деяния.
Ответы серверов распределились следующим образом:
Большинство сайтов вполне себе функционируют и переоценивать собственные взгляды на жизнь не собираются. Многие используют фаерволы, отсекая потенциально опасных (по их мнению) посетителей. Значительное количество просто ставит редирект на свежий белый домен.
Пара слов об «абузоустойчивости». Взглянем на распределение по tld (только 200 OK):
Не менее интересно распределение по странам, в которых физически находятся заблокированные ресурсы:
Скачать полный частотный словарь (436898 элементов)
Статья не направлена на пропаганду чего-либо, а лишь отражает существующую реальность. Полученный материал, возможно, окажется полезным кому-либо для проведения собственных исследований.
Комментарии (30)
summeroff
29.03.2016 20:05+2Судя по тому что слова "соль" и "соли" присутствуют на первой картинке словоформы не объединялись?
Что означает gtgt?
В каком контексте слово "доска" используется так часто на запрещенных сайтах?
daocrawler
29.03.2016 20:39Стемминг не делался.
Контекст gtgt:
bigger boobs gtgt
biggest thing gtgt
bioshock gifs gtgt
Контекст доски:
board доска опознаний
dating доска объявлений
надежный поставщик доска
ComodoHacker
29.03.2016 20:25Что кодирует цвет на первой диаграмме?
daocrawler
29.03.2016 20:44Смещается по радуге от большего(фиолетовый) значения частоты употребления к меньшему(синий), аналогично размеру блоков.
daocrawler
29.03.2016 22:27+3Не удержался, посмотрел контекст "израиля", все-таки популярная тема, входит в топ-100. Вот что там происходит:
сверхдержавы вотчины израиля
светозарным сынам израиля
святости величию израиля
святые земли израиля
севере израиля так
силу сыны израиля
dm9
29.03.2016 23:07+3Распределение по странам не интересное. Это просто страны, в которых преставлен дешевый хостинг, часто с русской поддержкой.
shara
30.03.2016 04:57+1Великолепно. А теперь то же самое для образовательных учреждений. Правда дамп старый.
daocrawler
30.03.2016 05:35Интересный список. 16 миллионов можно обойти довольно оперативно. По возможности стараемся оказывать помощь людям, занимающимся исследованиями в образовательных/общественно полезных целях. Если вам требуется решить конкретную задачу — пишите в личку.
Xazzzi
30.03.2016 12:1446 доменов в зоне .ua должны бы иметь подтвержденных владельцев соответствующих торговых марок.
Если на этих 46 сайтах что-то достойное внесения в реестр, то найти виновника — не сверхзадача же.
forgotten
30.03.2016 12:16+4Таки не могу удержаться, простите.
Это что же получается, не навального блокируют с лурочкой, а самых что ни на есть наркобарыг, детское порно и юдофобскую пропаганду? Как же так!
Staruy
30.03.2016 15:00Скажите, столкнулись ли Вы с проблемой «странных» символов в URL? На чем парсили?
daocrawler
30.03.2016 16:27Что вы понимаете под «странными» символами? Покажите пример. Робот/парсер — всё своё.
Staruy
30.03.2016 16:38Заменил домен на другой, дабы не публиковать запрещенной ссылки, например такая
"http://site.com/6175/%E6%84%9B%E3%81%A1%E3%82%83%E3%82%93%E3%81%A8%E3%83%94%E3%83%B3%E3%82%AF%E3%83%AB%E3%83%BC%E3%83%A02%20a04-3%20(riding).swf.html"
Можете в дампе посмотреть примеры по следующим id: 111882, 110894
Так же прохожусь по дампу питоновским скриптом, с некоторыми ссылками есть проблемы.daocrawler
30.03.2016 16:48Парсер хабра подсказывает отличное решение.
Staruy
30.03.2016 16:53Это я изначально такую ссылку скинул, она так в дампе указана, в браузере это будет
http://site.com/6175/???????????2 a04-3 (riding).swf.html
Встречаются много других интересных сочетаний символов "|" и т.д. При работе многих библиотек питона на этом вываливается ошибка:
UnicodeEncodeError: 'ascii' codec can't encode character…
Потому и спросил чем Вы парсили, может каким то образом кодировали ссылки.
У меня итогом ошибок стало 404, хотя оригинальная ссылка жива.
Ayahuaska
Ну то есть, блокировать сильно выгоднее, чем пресекать деятельность другими, более действенными, способами. ЧТД.