Когда фермер возделывает свое ранчо, он рассчитывает, что на его участке буйно заколосятся помидоры черри, но ни в коем разе не состоится чемпионат по боулингу или слет адвентистов седьмого дня. Создатели многих онлайн-ресурсов похожи на такого фермера, как близнецы, – порой им и в голову не может прийти, каким образом будут использоваться их виртуальные детища. Несколько таких случаев на примере нашего сервиса мониторинга сайтов ХостТрекер мы уже описывали в соответствующей статье. И если земледелец может воткнуть в свой огород кол с чучелом (или достать из кобуры старый добрый кольт) и надолго отвадить непрошеных гостей, то хозяевам онлайн соток приходится действовать хитрей. Как именно? Об этом ниже.

Здесь следовало бы сказать пару слов о базовой функции сервиса мониторинга, конкретно — о проверке сайтов на регулярной основе с заданным интервалом. Такая проверка доступна по разным протоколам, среди которых: http, ICMP и другие. И в связи с этим возникает вопрос: а можно ли при помощи подобного сервиса организовать такой http-флуд или ddos, чтобы сайт «захлебнулся»?

Защита от флуда моментальными проверками

Самым простым способом подложить жирную свинью владельцу онлайн сервиса является мгновенная проверка, так как она доступна даже незарегистрированному анонимному пользователю. При моментальной проверке сайт проверяется со всех наших точек (а их уже около 50-ти). Это означает, что на выходе можно получить пол сотни запросов примерно за несколько секунд. А если запустить не одну, а сразу кучу проверок сразу и призвать в помощники ботов? Да, останется только запастись попкорном и под любимую увертюру Доктора Зло наблюдать, как истекает кровью сайт твоего недруга.

На самом деле, все мгновенные проверки подвергаются анализу и вносятся в нашу базу. Если кто-то производит несколько мгновенных проверок подряд, процесс усложняется — их приходится делать с капчей, и это не зависит от того, с одного адреса заходит клиент, или с разных адресов. Выходит, если мы имеем дело со слабым хостингом, который не держит более 50-100 запросов, то уложить такой ресурс на лопатки можно, особо не утруждаясь. В то же время сайты со средним и высоким потоком пользователей подобной «хакерской» атаки не заметят вообще.

Защита от несанкционированных регулярных проверок

А теперь хорошие новости! Во-первых, чтобы регулярно проверять какой-либо сайт, понадобится регистрация. Конечно, фантазеров, которые сутками генерируют фейковые никнеймы и регистрируются под ними, как карасей в период нереста. Тем не менее, невозможно создать две проверки одного URL из-под одной учетной записи. При минимальном интервале в 1 минуту это не несет никакой опасности.

Во-вторых, умельцев, создающих множество учетных записей и заводящих их на одни и те же сайты, администратор нашей системы пеленгует специальным анализатором учетных записей и заданий. Такие учетные записи беспощадно удаляются, а домены заносятся в запрещенный для проверки список до выяснения обстоятельств. Одним словом, серьезной нагрузки в течении сколько-нибудь длительного периода времени хакеру создать не удастся (сказано бодро и уверенно).

Время от времени в нашу «редакцию» с жалобами на несанкционированные проверки обращаются владельцы онлайн ресурсов, которые не являются клиентами нашего сервиса. Если познакомиться с ними ближе, почти всегда оказывается, что эти люди являются клиентами наших клиентов: разработчиков, дизайнеров, SEO-специалистов и других, использующих в своей работе наш сервис. Проанализировав все обращения, мы можем заявить: серьезных сбоев и ошибок, способных повлечь за собой какой-либо существенный ущерб, замечено не было.

Этот факт дает нам все основания гордиться своим алгоритмом отстрела несанкционированного использования нашей системы.

Можно ли заспамить кого нужно?


Вопрос, который иногда задают новые клиенты или те, которые внезапно обнаружили нераскрытый потенциал нашего сервиса.

Для того чтобы получать оповещения, необходимо зарегистрировать свой контакт при помощи кода подтверждения. То есть, как минимум, нужен доступ к почтовому ящику/учетке скайпа/телефону адресата «спама». Поэтому случайности здесь исключены.

Есть также функция «повторного оповещения», рекомендуемая для критически важных сайтов. В этом случае, оповещения высылаются периодически, пока сайт не заработает вновь. Бывает, что клиент автоматически ставит все галочки, а потом удивляется громадному количеству сообщений, которые накопились за ночь.

Также иногда случается, что в больших компаниях один сотрудник отвечает за мониторинг, настраивает сервис, добавляет контакты (с согласия всех пользователей), подписывает их на оповещения. А потом оказывается, что подписал он ошибочно, и коллеги получают СМС по чужим сайтам. А сам создатель в этот момент в отпуске/командировке/уволился. Но нашей вины в этом случае нет, и мы оперативно решаем подобные ситуации.

Проверки и статистика сайта

И напоследок хотим ответить на вопрос, который живо волнует многих клиентов: портят ли проверки статистику сайта»?

Дело в том, что наши агенты делают к проверяемым сайтам http-запросы, но при этом не исполняют JavaScript. То есть, на статистику внешних систем аналитики, таких, как Google Analytics и Яндекс Метрика, наши роботы не влияют. А вот если вы используете локальную систему аналитики, то здесь наши запросы, конечно же, появятся. Эта «фича» была замечена представителем одной азиатской страны, который написал об этом на каком-то локальном форуме, и после чего каждый уважаемый вебмастер из этой страны использовал ХостТрекер для накрутки счетчика посещений своих сайтов. Борьба длилась несколько лет, и в конце-концов закончилась нашей победой — либо же уровень образованности в этой стране вырос и люди поняли, что это ненастоящие посетители, либо же пост на том форуме устарел…

Для того чтобы исключить влияние, нужно немного подкрутить настройки вашей системы статистики — например, отфильтровать по полю user agent или же внести ІР-адреса наших серверов в список игнорируемых.

Комментарии (11)


  1. Areso
    13.05.2015 09:58
    +2

    Флуд для «самых маленьких»: sudo ping domain.com -f -i 0


    1. temaHT
      13.05.2015 14:00
      +1

      Способов флуда огромное количество. Но речь о том, что мы против использования нашего сервиса, как инструмента для причинения вреда кому бы то ни было.


  1. priv8v
    13.05.2015 10:02

    А «адвентисты седьмого дня» вашим сервисом пользуются или их «пеленгует специальным анализатором учетных записей и заданий. Такие учетные записи беспощадно удаляются»?


  1. ddem
    13.05.2015 10:39
    +2

    В марте 2 сайта клиентов ддосили одновременно, один зловред. Параллельно с этим появились запросы с хосттрекера на оба этих сайта. Т.е. получается, что тот кто нас ддосил он же мониторил доступность сайта помощью сервиса. С помощью техподдержки остановили эти проверки. Вопрос: почему остается возможность мониторить не свой сайт? Не сложно ведь сделать проверку владения сайтом.


    1. temaHT
      13.05.2015 10:59
      +3

      А Вы не думали что проверяли ваш сайт клиенты которые не могли попасть на ваш ресурс? Это очень распространенный случай, когда, по каким либо причинам, падает популярный сайт. То сразу вырастает количество моментальных проверок этого сайта у нас. Если у пользователя не открывается страница, то он использует наш сервис чтобы выяснить, это проблема на его стороне или на стороне вебсервера.

      Веб открытая среда. И мониторинг в принципе один из способов получения информации о сайте. Вот скажем можно получить информацию о домене, кому принадлежит, когда заканчивается срок регистрации, и т.д. И мы считаем что информация о аптайме, тоже открытая информация. И если, к примеру, клиент хочет получить информацию о том насколько стабилен сервис которым он пользуется, то он вправе это сделать.

      Но мы категорически против чтобы наш сервис использовали для целей которые выходят за рамки обычного мониторинга. И стараемся всячески исключить злонамеренное использование.

      Кроме того, если уж хозяин ресурса категорически против мониторинга, то он может написать нам и мы добавляем его ресурс в стоп лист, и тогда только он может мониторить и проверять свой ресурс.


  1. gluck59
    13.05.2015 11:39
    +3

    Кстати спасибо за сервис. Вы быстрее и адекватнее Метрики.


    1. smiHT Автор
      13.05.2015 14:38

      Метрика использует пассивный мониторинг. То есть, скрипт находится на вашем сайте, когда клиент на него заходит — исполняется. Если долго не выполнялся — Метрика решает, что сайт не доступен. У нас же мониторинг активный, мы сами генерируем запросы для проверок.


      1. priv8v
        13.05.2015 15:25

        А надпись на картинке что за идеолог делал? Либо там ошибка, либо я как-то модный сленг не понимаю.


      1. catanfa
        13.05.2015 22:27

        Вы уверены насчёт алгоритма проверки метрики? Что значит «если долго не выполняется»? Просто на моих сайтах метрика мне шлёт смску практически сразу, когда что-то отваливается и сайт начинает возвращать 500 ошибки. А вот если посетителей ноль, но сайт работает, метрика ничего не шлёт.


        1. smiHT Автор
          13.05.2015 22:38

          Если быть точным, то у них гибридный мониторинг. Активная компонента так же присутствует, но учитываются и заходы пользователей. У них прямо в объяснении к мониторингу написано, что при небольшом количестве посетителей (они называют цифру 100 в неделю) результаты мониторинга не являются релевантными. При активном мониторинге количество посетителей вообще не имеет значения.


          1. temaHT
            14.05.2015 16:32

            Если посетителей нет, то в принципе и сайт можно не мониторить :-)