Сайт попал в запрещенный список ресурсов Роскомнадзора и его заблокировали? В данном материале поделюсь своими наблюдениями и тем, что было с проектом клиента, который попал под блок РКН.
Всем привет. На связи Толстенко Александр. В общих чертах принцип работы Роскомнадзора и инструкцию, что делать если сайт заблокировали, писал в статье: РКН: Что это такое, как работает ведомство, можно ли выйти из под блокировки.
P.S.: Материал вычитали и дополнили профессиональные сеошники.
Для того, чтобы выяснить, как блокировка происходит технически у хостинг провайдера, пришлось провести опрос по разным хостинг провайдерам. Результатами, поделился в статье: Блокировка сайтов по требованию РКН: Как работают хостинги - Опрос.
В данной статье, опишу как вообще происходит блокировка и свои наблюдения за клиентским проектом, который попал под блокировку РКН и что с ним происходило во время и после ее снятия.
P.S.: Рекомендую ознакомиться с первыми двумя ссылками выше, т.к. каждый текст является дополнением текущего. Из за большого объема и множество технической информации, пришлось разбить материал на части. Ниже, напишу только о том, что было с сайтом.
Что происходит с сайтом для поисковых систем, когда его заблокировали?
Ничего. Поисковые роботы Яндекс и Google продолжали индексировать сайт в обычном режиме.
Возможно, это было связано с тем, что на сайте было более 1кк страниц. С небольшими проектами, обычно все происходит не так: Яндекс и Гугл - практически моментально удаляют все страницы сайта из индекса и перестают сканировать новые, т.е. проиндексированных страниц будет ровно - 0.
Ниже, примерно по дням, напишу кратко свои наблюдения за проектом, который попал «под раздачу» РКН.
Почему примерно? Изначально, не планировал делиться наблюдениями за проектом. Хронологию событий восстанавливал по памяти и переписке с клиентом, в которой остались кое какие скрины.
P.S.: P.S.: На продвижении находился очень большой проект. Поэтому он долгое время не индексировался поисковыми системами, особенно Гугл (он упорно не хотел клеить старый домен к новому), в отличие от Яндекса.
День 1
Когда сайт перестал открываться в браузере, причину поняли сразу, как только проверили логи сервера и посмотрели почту на которую был зареган выделенный сервер. От хостинг провайдера, в почте было «письмо счастья» РКН, которое владелец сайта благополучно не прочитал (у меня доступов не было).
По логам сервера, сайт парсился ботами Яндекс и Гугл, как ни в чем, ни бывало.
Ключевые запросы по которым ранее были переходы на портал, по-прежнему держались в ТОП 10 поисковой выдачи, но при попытке перехода по ссылке из серча, проект не работал, т.к. уже был заблокирован хостингом из за выявленных нарушений РКН.
Интересная особенность, не знаю, то ли это особенности работы хостинга, то ли из-за решения РКН, но блокирнули только 443 порт, 80 - работал. Т.е. если убрать 301 редирект с версии сайта на https, сайт бы работал.
P.S.: Если важно сохранить трафик и быстро среагировать, рекомендую настраивать мониторинг минимум раз в сутки, на попадание сайта в список РКН.
День 2
После того, как в первый день погуглил и поизучал инфу, которой было с гулькин нос и она была раскидана по разным источникам, проконсультировались с юристом, опросили знакомых владельцев сайтов, обсудили свои догадки (в постановлении не было четкой причины, было указание только на домен), начали править тексты и убирать блоки за которые могли закрыть сайт.
Т.к. мы не знали, сколько бы длилась эпопея с разблокировкой домена, было принято решение купить домен-зеркало и склеить его через 301 редирект, чтобы можно было побыстрее вернуть трафик и заменить url неработающего домен на новые в результатах поисковой выдачи.
P.S.: Как разблокировать старый домен и какие еще действия еще можно предпринять, подробно написал в статье: РКН: Что это такое, как работает ведомство. (ссылка в самом начале).
День 4
Сайт по прежнему недоступен для пользователей по старому домену, только еще появилось сообщение о блокировки web-ресурса от интернет провайдера.
При попытке определить какие страницы домена остались в индексе поисковой системы посредством запроса в яндексе
https://yandex.ru/search/?lr=213&surl=site.ru&text=поисковой_запрос
увидел, что в выдаче начали появляться страницы нового домена, т.е. пошла склейка нового сайта.
День 5
Решил проверить, начал ли Гугл склеивать новый домен со старым. Для этого вбил в строку поиска выборочно несколько самых посещаемых страниц сайта. В индексе, по-прежнему были ссылки на старый домен.
Попытался ускорить попадание в индекс нескольких важных страниц нового домена закупкой ссылок с сайтов СМИ — особого результата не увидел, хотя ссылки были не с самых дешевых источников и посещаемость у них была 1000-3000 чел/сутки.
P.S.: При проверке на момент написания текста выяснил, что в ТОПе по старому домену еще есть очень много не склеенных страниц портала.
Когда делал выборочную проверку по ключам, которые были в ТОПе в Гугла и давали максимальный трафик, заметил конкурента, который попал под блок чуть раньше нас и по наблюдениям, точно не работал где то недели две, пока они не переехали на другой домен. Или сразу не заметили, или не знали что делать и как быстро решить проблему. У него тоже в ТОПе долго висели url от старого домена по некоторым страницам.
P.S.: В процессе работы увидел еще нескольких конкурентов, которые также попали в список РКН, но они быстро восстановили доступ к старому домену и переклеили информацию на новый.
День 7
После выходных, опять проверял сайт в результатах выдачи Гугла, чтобы посмотреть изменилось ли что-то от проделанных действий. Увидел забавную картину, о которой я бы и не узнал, если бы за выходные не переехал с Краснодара, в соседний небольшой городок.
Так вот, когда перешел по ссылке из результатов выдачи по старому домену и сайт открылся без vpn по новому, сразу не понял, что произошло. Спустя несколько минут, поймал себя на мысли, что домен у нового провайдера не блокируется и меня редиректит на новый.
Тогда пошел проверять блокировку ресурса с мобильного телефона и разных ip-адресов: МСК, Краснодара и смартфона с питерской симкой. Сайт был в блоке, а в соседнем городе нет. Почему так, не знаю, возможно дело в кэше DNS провайдера, а может в другом причина.
P.S.: Была у меня одна забавная история с кэшем dns у одного Севастопольского провайдера. Когда жил в Севастополе и делал сайт на одном хостинге, а потом перенес его на другой. Сайт с кабельного интернета был недоступен, а с мобильного телефона работал. Обратился к провайдеру, который ответил, что видимо закешировался dns. Хоть техподдержка и сказала, что кешь скинула и сайт должен был сразу заработать, через кабель он заработал только спустя 3-5 дней.
День 8
Нужно было каким-то образом возвращать старый домен, поскольку на нем растилась ссылочная масса, с которой на сайт могли совершить переход новые пользователи или пользователи у которых он был в закладках. Для этого решили повесить страницу-заглушку, с похожим контентом, убрать 301 и написать письмо о снятии блокировки в РКН.
P.S.: Пока ждали ответ, в панели Яндекс.Вебмастере сайты расклеились из за различного контента) Что делал, подробно написал в первой ссылке в начале статьи выше.
День 10
Обратную связь от РКН после подачи заявления получили примерно через 7 дней. Когда сняли ограничение, по старым url с поиска, при клике редиректило уже на новый домен без впн.
Что было с трафиком до/после?
После блокировки ресурса, трафик сократился примерно на 80-90%, т.е. откуда то, на сайт все же переходы были. Как выяснилось позже, когда анализировал метрику, остаточный трафик на сайт шел с «глубинки». Об этом бы никогда бы не узнал, не переехав за выходные в другой населенный пункт.
P.S.: На момент написания статьи трафик восстановился примерно на 80% из Гугла и Яндекса. Проблема в том, что портал очень большой и боты его не успевают быстро переиндексировать, хотя и был настроен Last-Modified.
Выводы
РНК - это не фильтр поисковых систем, как многие могут считать. Если у вас ресурс не из одной сотни страниц, для поисковых роботов он будет некоторое время работать в обычном режиме, но через время страницы вывалятся из индекса серча и новые не будут индексироваться.
Ограничение доступа к веб ресурсу и его поддоменам происходит в первую очередь на уровне хостинга, во вторую провайдером связи, где есть нарушения.
Новое зеркало вскоре после переезда будет заблокировано, если не устранены предписания Роскомнадзора.
Если вы хотите быстро восстановить трафик, нужно использовать только 301 редирект. От 302 в результатах выдачи поисковых систем будут url заблокированного домена, кликнув по которому, посетитель будет видеть неработающий сайт.
Если резко упал трафик почти до нуля, первым делом проверяйте блокировку на сайте РКН. Если блока нет, копайте дальше.
А ваш проект блокировал РКН? Наблюдали, что происходит с проектом? Можете поделиться полезной информацией?
P.S.: Зашел материал? Подписывайтесь на публикации. Будет еще много интересного
Комментарии (24)
Evengard
07.11.2021 00:43А за что могли заблокировать сайт, посвящённый выпискам из ЕГРН? Что там такого нелегального нашёл РКН?
laatoo
07.11.2021 15:25+1Частенько попадаются совершенно безобидные сайты, которые работают через cloudflare, и в итоге недоступны без зарубежной прокси (с прокси работает, без прокси выдаётся заглушка провайдера).
Причем "условно" недоступны: через какое-то время cloudflare выдаст сайту новый ip, и всё будет в порядке, или проблема будет наблюдаться только у части пользователей, или страница будет открываться через раз.
Вбиваешь адрес сайта в https://isitblockedinrussia.com/ — пишет что один из нескольких ip адресов забанен решением провинциального суда из-за того, что по этому ip несколько лет назад располагалось что-нибудь вроде azino777.
Каждый раз когда я об этом говорю, на меня смотрят как на идиота: ниче не ломается, cloudflare отлично работает, УМВР, итп.
Можете пояснить: мне всё это снится, и такой проблемы не существует? Как так получается, что люди, пользуясь какой-то
ненужнойуслугой cloudflare, попадают в ситуацию, что их домен ресолвится по забаненному в РФ ip?Правильно ли я понимаю, что происходит следующее: люди в своём домене прописывают ip'шники ns-серверов cloudflare, эти ns-сервера из соображений балансировки нагрузки, или ещё каких, выдают ip адреса из пула cloudflare, некоторые из которых забанены в РФ. Далее пользователь резолвит домен, получает этот самый забаненный ip, и в итоге не может зайти. Всё верно?
sanekk85 Автор
08.11.2021 11:24+1Да, такая проблема есть. Когда общался с ребятами сказали, что cloudflare и провайдеры могут даже не знать о блокировке своих ip
Imobile
07.11.2021 16:14+1Блокировка сайта РКН
Зашел с целью узнать зачем блокировать РКН, предположил что блокировка с целью что бы списки заблокированных не дошли до провайдеров. А здесь совсем другое. Это из то го же что хочу, то и вижу... Жду статью Блокировка РКН по ВСЕЙ РОССИИ!
aldrozd
08.11.2021 11:25Почему первым делом не было принято решение связаться с РКН, выяснить причины блокировки и их устранить?
sanekk85 Автор
08.11.2021 13:00Ох уж эти ограничения на хабре.... не дают даже отвечать в своей статье людям без задержки в 5 минут!
С долей вероятности 99%, они не чего не скажут. Особенно, если есть решение суда
sasmoney
08.11.2021 11:48Тоже попадали много раз под блокировку(15.1 по моему азарт), просто делали 301 редирект всех страниц и перенос в вебмастерах-поисковиков. Недавно ограничил контент, но всеравно банили но уже не так быстро, далее ещё несколько способов придумал ограничения, сейчас вот второй месяц по моему и траффик рос огромными темпами(обычно в эти моменты и блокируют), но блокировок пока нет, также переписал с нуля соглашения с помощью юриста, закрыл все лишние текста и ограничил их.
А ещё недавно пробовал разблокировать домен, но все как обычно, просто пишут что приняли информацию к учёту и все(контент изменён полностью, тоесть не нарушающий каких либо правил и чего либо), дальше никаких изменений спустя месяц, но была одна попытка уже с ресурсом соц.сети, и там отправил именную ссылку, так мне в ответ отправили что такой ресурс не блокировался, хотя он в реестре заблокирован и недоступен у всех провайдеров.
И ещё с помощью юриста пробуем разблокировать ещё один ресурс соц.сети, пока только в процессе(2 месяца).
sanekk85 Автор
08.11.2021 11:51Интересный опыт. Спасибо за обратную связь.
Да, без юристов в данном случае ни как. Мы всех опрашивали, кто сталкивался с этим, не только юриков.
Petkevi4
30.11.2021 01:31Свежая история. Личный опыт.
27.10.2021 ркн присылает письмо провайдеру хостинга о нарушениях на сайте. Основанием служит решение росалкогольрегулирования. Вменяют нарушения- на сайте размещено предложение о дистанционной покупке алкоголя, круглосуточная торговля алкоголем, работа без лицензии, торговля в нестационарных объектах. Полнейший бред.
Сайт принадлежит компании у которой сеть магазинов разливного пива. Ничего из перечисленных нарушений на сайте нет. Все магазины работают официально, в разрешенное время и на сайте это указано. На тот момент мы подумали, что ркн могло смутить наличие на сайте информации о пиве которое продается в магазинах. На сайте были карточки этих товаров, но никакой возможности приобрести на сайте не было.
На момент получения претензии мы готовились залить на сайт новый контент. Был переделан абсолютно весь сайт в новый дизайне. Информации о товарах на новом сайте не было. Просто сайт визитка, деятельность компании, новости, акции в магазинах, адреса магазинов и время их работы.
Мы написали в ркн, через форму обратной связи на их сайте. Сообщили, что поменяли контент. Залили новый сайт. Через пару три дня получили ответ, что наше обращение принято к сведению, будет проверено и если будут обнаружены нарушения, то нам сообщат. На основании этого ответа от ркн, хостер открыл доступ к сайту.
Через пару дней доступ к сайту снова был закрыт хостером. Они вновь получили письмо от ркн. В котором основанием числилось всё тоже решение росалкогольрегулирования от 27.10.2021.
16.11.2021 мы написали на почту zapret-info@rkn.gov.ru приложили к письму скрины нового контента сайта и просьбу проверить всё, так как запрещенной информации нет на сайте.
Через 3 дня не получив ответа, написали еще одно обращение на горячую линию через форму обратной связи на их сайте.
22.11.2021 получили ответ на обращение по горячей линии. На основании этого ответа хостер опять открыл доступ к сайту, но 24.11.2021 его снова закрыли. Снова письмо от РКН и всё тоже основание как и раньше, решение росалкогольрегулирования от 27.10.2021. То есть никто за это время даже не смотрел на изменения на сайте. Мы повторили отправку письма с приложением скринов сайта и повторили отправку сообщения на горячую линию через форму обратной связи на сайте ркн.
Еще 22-23 числа, понимая, что данная карусель может продолжаться еще долго было написано обращение через электронную приемную на сайте ркн и росалкогольрегулирования. Рекомендую делать это сразу так как срок рассмотрения у них 30 дней. Через день-два они присылают письмо с номером зарегистрированного обращения.
Как итог, сегодня 26.11.2021 на почту пришел ответ на наше письмо от 16.11.2021 и через пару часов ответ на обращение через форму ОС на сайте ркн. В ответе сказано, что данные приняты к учету и всё.
И о чудо сайт убрали из реестра сайтов с запрещенной информацией. И хостеру пришло письмо, что запрещенная информация на сайте отсутствует. Доступ к сайту открыт.
Не знаю точно, что именно привело к решению нас разблокировать, мне кажется это первое письмо на почту zapret-info@rkn.gov.ru от 16.11. То есть прошло 10 дней.
При подобных случаях рекомендую сразу начать активно действовать:
1) пишем письмо на почту zapret-info@rkn.gov.ru, прикладываем скрины сайта или страницы на которую жалоба.
2) на сайте ркн через форму обратной связи дублируем свое сообщение https://eais.rkn.gov.ru/feedbackForm/
3) Пишем официальное обращение в РКН через электронную приемную по ссылке из статьи выше. https://rkn.gov.ru/treatments/ask-question/
Боритесь за свои права! Всем удачи.
monane
Зашел, но
только поправьте ссылку, "неавтор" пользователи увидят: 404 Пожалуйста, проверьте адрес страницы и попробуйте еще раз
и тут
403 Хорошие новости, мы не забыли проверку на права доступа в этом месте
Вы вероятно вносили их в статью авторизованным.
sanekk85 Автор
Приветствую.
Да, есть такая проблема. На habr очень долго ждал одобрение, т.к. это первый пост мой тут. В тех поддержку писал, они повлиять не смогли на скорость. Статью опубликовали в итоге в выходные, когда был не за компом...
Статьи выложены на три разные площадки. На searchengines еще на модерации. Надеюсь, они быстро опубликуют. На vc материал уже тоже опубликован можно почитать. На searchengines когда пропустят, отпишусь.
sanekk85 Автор
Добрый день.
Статью: Блокировка сайтов по требованию РКН: Как работают хостинги - Опрос.
Опубликовали тут:
https://netpeak.net/ru/blog/blokirovka-saytov-po-trebovaniyu-rkn-kak-rabotayut-khostingi-opros/
В тексте ссылку поправил.