The Impact of War in Ukraine on Relocation and Availability of Web Resources

Делюсь личными наблюдениями о сложившейся ситуации с Интернет-ресурсами на Украине. Возможно, это первые имеющиеся данные о влиянии «военной операции» на то, каким образом это затронуло веб-ресурсы. Эта информация будет интересна или полезна, чтобы увидеть, как примерно складывается ситуация в цифрах, понять поведенческие модели, объемы и направления миграции.


Всё, что я хотел рассказать, находится на инфографике, ниже просто дополнительные комментарии о том, из чего сложились данные, о методе исследования, погрешностях и некоторых выводах.


Показатели

Исходная коллекция веб-ресурсов представлена 1571 доменом, которые хостились на территории Украины на момент января 2022 года и ещё 74634 доменами из 10 выбранных мною стран для сравнительного анализа. Конечно, это не исчерпывающий перечень для каждой страны, а только тот, который был в моём распоряжении до начала всех событий. В целом, он также отражает примерную долю каждой страны в общий вклад в «провайдинг» ресурсов, поскольку сбор вёлся на равных условиях.

Исходная коллекция была опрошена и разделена на 4 группы:

  1. Moved outside – число ресурсов, которые сменили страну хостинга (в сводке «moved outside» приведена краткая статистика перемещения);
  2. Unavailable – число ресурсов, для которых опрос завершился неудачей;
  3. Moved inside – число ресурсов, которые сменили ip адрес и расположение\город внутри страны;
  4. Stay – число ресурсов, которые не изменили значительно своего местоположения и состояния доступности (мог смениться ip адрес, а город расположения остаться прежним).

Дополнительная информация

  1. observation — отображает наблюдения (по неделям+-) в динамике с 8го марта по 8е мая 2022года (также эта информация выведена на графике, пара дат пропущена);
  2. countries comparison – для сравнительного анализа тех же ключевых показателей с показателями других стран;
  3. top sites – топ-60 сайтов для наглядности, с отображением одного из 4х состояний (доступности или наличия и направления релокации);
  4. hosted zones – сгруппированные доменные зоны 1го уровня, которыми представлена «исходная коллекция».

Подход к исследованию

  1. В запросах использовался метод .request() NodeJS (v.14.18.1) модуля “https” с таймаутом 40 секунд и браузерными заголовками уровня версии Chrome/96;
  2. Все запросы осуществлялись с серверов, расположенных в Великобритании;
  3. Все опросы производились +-в ночное время.

Возможные погрешности

  1. В целом, для показателя Unavailable есть погрешность, которую я не определял, сам метод машинного опроса (в частности https.request()) не имитирует обычного Пользователя — некоторые «ошибочные» сайты будут доступны при открытии обычным Пользователем через браузер.
    Факторы, которые могут ошибочно влиять на недоступность ресурса
    • могла быть подключена «защита от ботов» (машинного опроса);
    • могли устареть ssl сертификаты;
    • могли быть организованы перенаправления или прочие ограничения...
    Поэтому, «Unavailable» не стоит отождествлять с полной недоступностью ресурсов для Клиентов, метод был оставлен из-за простоты при массовой проверке ресурсов в условиях ограниченных ресурсов (более 76 тысяч ресурсов, если считать по всем странам которые были опрошены) и сохранения равных условий с исходным периодом опроса на начало года, где те же самые домены возвращали в 100% случаев корректный результат.
    Также сравнительный анализ с Норвегией, где показатель «недоступных» ресурсов в 1.5% при большем количестве ресурсов (5.2к), говорит, что погрешность в этом плане не должна быть сильно высокой.

Некоторые выводы

  • Сравнительный анализ показывает:
    1. В ~4.3 раз «миграция ресурсов» в другие страны превысила среднее значение;
    2. В ~1.7 раза «недоступность ресурсов» превысила среднее значение;
  • В целом, процесс релокации замедлился, за прошедший месяц набрав немного более 1%, против 8% за первый месяц с начала наблюдений;
  • 87% ресурсов расположены в столичном регионе (t={total resources}).
  • Прочие выводы делайте сами, исходя из предоставленных на изображении данных, делитесь ими в комментариях.

Дисклеймер

Конечно, хостинг-провайдеры, поисковые гиганты или крупные интернет-мониторинги, возможно, отразят ситуацию лучше, с большей выборкой и лучшей проверкой доступности, я лишь делюсь своим наблюдением, не претендуя на истинность в последней инстанции.


P.S.

Долго сам наблюдал за ситуацией и, возможно, не оформил и не опубликовал бы наблюдения, но подтолкнуло то, что продлевать машину в UK на европейском хостинге более не смогу (по известным причинам отключения карт), жаль было бы терять накопленную метрику, так что в динамике показатели закончились, возможно в будущем подведу ещё итог и выложу дополнительно (подписывайтесь).


Мои контакты

telegram: t.me/m_verhov (тут оригинал изображения и вариант упрощённой-мобильной версии результатов мониторинга)
linkedin: https://www.linkedin.com/in/verhov
twitter: https://twitter.com/michaelverhov


Может кто поделится своим наблюдением, инсайдерской информацией или ситуацией, связанной с вопросом вынужденной релокации?

Комментарии (10)


  1. Landgraf132
    08.05.2022 13:57

    Я тут заметил недоступность некоторых ресурсов с Украины из России, например cpp.mazurok.com. И мог бы понять, что заблокировали российские IP на сайте, если бы не столкнулся с такой же проблемой на одном тематическом сайте-чате, с администрацией которого общаюсь. Сейчас российские IP блокирует часть провайдеров из Украины?


    1. kAIST
      08.05.2022 15:15

      Я сейчас из РФ попробовал открыть этот сайт - не получилось.


      1. Ds02006
        08.05.2022 17:04

        У меня (Алма-Ата) этот же ресурс недоступен через Казахтелеком, но доступен через Beeline-Kazakhstan. Через Казахтелеком даже пинги не проходят.


    1. Javian
      09.05.2022 11:28

      Так и наоборот тоже. Тот же сайт Роскосмоса закрыт для не российских IP


  1. belch84
    08.05.2022 14:13

    Необычный набор городов на карте, Мена как-то выбивается из общей картины