Почему это актуально?
Вкратце, механизм работы Роскомнадзора таков: сайт попадает в базу, базу каждый день должен вытягивать к себе провайдер интернет-соединения, далее он должен не допустить попадания своих абонентов на эти сайты.
Главная проблема в том, что, попав в список, сайт может быть забанен на разных уровнях: по адресу конкретной страницы, по домену или по IP адресу. Провайдеру проще всего — забанить айпишник. Что, нередко, он и делает. Но на одном айпишнике может висеть много сайтов, и все они «попадают» из-за нерадивого соседа. Далее возможны разные пути: клиенты провайдера могут жаловаться на невозможность доступа к любимым сайтам, и он придумает другое решение (например, настроит нормально свое оборудование, или же купит новое); вы можете пожаловаться хостеру, и он перенесет ваш сайт на другой адрес, если это возможно. Но для этого нужно вовремя об этом узнать.
Наконец, ходят слухи о блокировании сайтов за не вовремя убранные комментарии или другие мелочи — таким образом, сайт подвергается угрозе, если предусмотрен хоть какой-то интерактив для посетителей. Поэтому своевременная информированность в этих вопросах очень важна.
Каково же решение?
Раз в сутки все сайты, поставленные на проверку, сверяются со свежей версией базы. Если сайт туда попал — присылается оповещение. Почему раз в сутки? Это требование Роскомнадзора — обновлять локальные базы ежесуточно. Сутки — время, за которое провайдер должен обновить список и начать фильтровать «новоприбывших». Поэтому, с большой вероятностью, воспользовавшись услугой ХостТрекера, вы узнаете о попадании в базу даже ранее, чем сайт собственно начнут банить.
Функция изначально появилась для мгновенных проверок, но буквально в течении недели нам написало несколько клиентов, что неплохо было бы и на постоянной основе иметь такую возможность. Что мы и сделали:
Желаем вам избежать подобной участи, но кто предупрежден — тот вооружен. Будем благодарны за все комментарии и пожелания.
Комментарии (23)
Mendel
04.11.2016 12:57+5все они «попадают» из-за нерадивого соседа
из-за нерадивого соседа страдаю я, когда захожу на редкий сайт живущий на российском хостинге и пострадавший от Роспозора. Роутинг к таким сайтам как правило идет через Ростелеком, а ему все равно что у соседей нет цензуры. А тут страдают не от соседа по хостингу, а от цензуры. Не пытайтесь обеим сторонам удружить)
Ну и заголовок статьи исправьте (знаю что надо в личку, но раз уж пишу коммент).
А так то что сказать? Молодцы. дело полезное.
FSA
05.11.2016 23:26По PHP ищу информацию. Часто натыкаюсь на заблокированные ресурсы, особенно в домене ua. Там точно не будут заниматься разблокировкой на территории РФ.
Mendel
05.11.2016 23:45+1Чего не будут? Будут. Сейчас перепланирую себе хостинг. Цель — для своих сайтов и для сайтов клиентов.
В идеале было бы сервер в Украине, потому что много клиентов в *.gov.ua. Но надежность у наших ДЦ несколько ниже даже чем у российских. Редкие хорошие ДЦ стоят сильно дороже западных. Так что вероятно возьму два сервера — в Украине и в Голландии. Но если решу таки брать один, то собираюсь брать два IP. Для всех, и для тех кто под Роспозор подпадет. Так то спама и всякой чернухи у меня не будет, это не публичный хостинг а «для своих», но в любом случае ни создавать проблем с трафиком у тех кто не нарывается, ни тем более устраивать цензуру — я не намерен. Когда будет мой блог со статейками по php, то будьте уверены — я таки буду следить чтобы он не попал в списки Роспозора. Если попадет, то пойду на переговоры с террористами и выйду из бана. А рядом может лежать и бложик с моей политической позицией — во всех красках :) Но на другом IP.
Erelecano
04.11.2016 13:58Как-как.
Клонируем репу https://github.com/zapret-info/z-i, а дальше по крону обновляем и грепаем по своим IPшникам(сетям) и своим доменам.
Дел на 10 минут, а потом все работает само.rPman
08.11.2016 00:48Какими готовыми решениями можно воспользоваться для автоматической подстановки своего SOCKS прокси для всех ip адресов/доменов в публикуемых в этом гите списке?
адекватным ли будет решением поднятие на своем вебсервере скрипта автоконфигурирования прокси браузера? как часто браузеры перечитывают эту конфигурацию или только при запуске?
vaxXxa
04.11.2016 19:18Таким образом вы получаете список всех сайтов, которые потенциально боятся, что их может заблокировать РКН. Где гарантии, что вы потом эти данные не сольете самому РКНу?
Лучше просто парсить самому весь список с github, как описано выше в комменте. Так безопаснее.
smiHT
04.11.2016 19:32+1Не совсем так. В большинстве своем это сайты, владельцы которых хотят избежать именно случайностей — блокировки IP адреса, что неоднократно случалось. Подробнее по гарантиям можем ответить, если напишете нам в поддержку. Если вкратце — мы не являемся резидентами РФ.
Alex023
04.11.2016 19:32А я то думал и гадал почему пространства IPv4 становится мало?
Оказывается их можно еще и бездарно из использования исключать!
А что, идея отменная: надо заблокировать от 0.0.0.0 до 255.255.255.255. И проблемы закончатся.smiHT
04.11.2016 22:28Возможно, это вас удивит, но этим действительно много кто злоупотребляет. Мы сталкивались со случаями, когда провайдеры или хостеры таким образом банили целые города или даже страны! Это если даже не брать политическую составляющую, а исключительно борьбу со спамом/ддос/мошенничеством. Зачем разбираться, если можно забанить всех? — такая логика, к сожалению, не редкость.
kenoma
05.11.2016 09:25+1Что же с нами стало то, а? Швабра в заднице теперь почти не чувствуется, выбираем позу поудобнее.
rPman
06.11.2016 02:13потому что лягушка варится медленно.
Поймите же наконец, революция в прямом ее виде уже невозможна, исключительно по тому что технологии анализа и контроля человеческого поведения уже очень хорошо развиты.
p.s. Глупо обвинять толпу в том что она побежала и затоптала кого то (например, убегая от человека с оружием)… у нее по сути нет выбора и ее поведение предрешено заранее, и человек с оружием это прекрасно понимает и действует соответственно.
придумайте что то такое же современное как и технологии, которыми нас всех контролируют.
GitKira
06.11.2016 19:30На бесплатном тарифе «Мониторинг базы Розкомнадзора» недоступен.
Что содержат в себе отчётность (еженедельная, ежемесячная)?smiHT
06.11.2016 19:32Мы еще думаем, на каких условиях предоставлять эту услугу. Сейчас есть бесплатный Триал, далее — можно списываться с нами и обсуждать. Отчетность содержит информацию о состоянии проверяемого сайта в течении месяца. В первую очередь — аптайм.
DrGluck
07.11.2016 14:31Привет всем, кто хочет поставить демо авиасимулятора X-Plane. Оно ставится через онлайн-установщик и пытается качать файлы с адреса 69.16.175.42. Помимо сервера X-Plane на этом адресе есть два никому неизвестных заблокированных сайта.
kemko
07.11.2016 16:49Нужно не только это делать. Нужно брать IP, на который резолвится "хороший" сайт, проходиться по всему списку заблокированных доменов, резовить их и проверять, не переметнулся ли кто-то из них на этот IP. Причина в том, что Роскомнадзор явно не все заблокированные домены оперетивно перерезолвит для обновления списка, но при этом есть несколько ретивых магистралов (на вскидку — ТТК и RUNNet), которые считают себя круче Роскомнадзора и могут обернуть в свой proxy-сервер тот или иной IP, если туда перейдёт какой-нибудь заблокированный сайт, ещё до того, как об этом узнает Роскомнадзор и вышлет соответствующее уведомление.
Мы не замечали, чтобы при этом блокировался HTTPS, видимо при проактивных блокировках эти магистралы отправляют в squid только трафик 80-го порта, но с точки зрения сайта внезапно появляется много запросов с нескольких (у ТТК 3, у RUNNet не проверял) IP-адресов и их влёт могут заблокировать всякие самописные и платные системы защиты от DDoS.
Даже если сайт ничего такого не использут и не боится такого вмешательства в свой трафик, вы всё равно сможете просигнализировать о надвигающейся беде быстрее, чем когда об этом узнает Роскомнадзор, поменяет IP в своих выгрузках и переносить сайт клиенту нужно будет уже "вчера".
Kenya-West
Ждите блокировки от Роскомнадзора за эпический деанон ?\_(?)_/?
smiHT
Почему же — базы открыты, мы просто предоставляем удобный инструмент для их чтения.
PEgorov
Открыты кем? Роскомнадзором? Это же не так — есть «пиратские» дампы, типа роскомсвободы и той выгрузки на гитхаб, но получать выгрузку именно от РКН напрямую можно только если у вас лицензия на телематику есть.