DDoS-атаки остаются одной из наиболее обсуждаемых тем в сфере информационной безопасности. При этом далеко не все знают, что ботовый трафик, который и является инструментом для таких атак, влечет множество других опасностей для онлайн-бизнеса. С помощью ботов злоумышленники могут не только вывести сайт из строя, но и украсть данные, исказить бизнес-метрики, увеличить рекламные расходы, испортить репутацию площадки. Разберем угрозы более детально, а также напомним про базовые способы защиты.
Парсинг
Боты парсят (то есть собирают) данные на сторонних сайтах постоянно. Они крадут контент, чтобы потом публиковать его без ссылок на источник. При этом размещение скопированного контента на сторонних площадках опускает ресурс-источник в поисковой выдаче, что означает сокращение аудитории, продаж и рекламных доходов сайта. Боты также отслеживают цены, чтобы продавать товары дешевле и уводить клиентов. Покупают различные вещи, чтобы перепродать дороже. Могут создавать ложные заказы, чтобы загрузить логистические ресурсы и сделать товары недоступными для пользователей.
Парсинг значительно сказывается на работе онлайн-магазинов, особенно тех, у кого основной трафик поступает с площадок-агрегаторов. Злоумышленники после парсинга цен устанавливают стоимость товара незначительно ниже исходной, и это позволяет им заметно подняться в поисковой выдаче. Туристические порталы тоже часто подвергаются ботовым атакам: у них крадут сведения о билетах, турах и гостиницах.
В общем, мораль проста: если на вашем ресурсе есть уникальный контент, боты уже выехали к вам.
Заметить парсинг можно по внезапным всплескам трафика, а также отслеживая ценовую политику конкурентов. Если другие сайты мгновенно копируют у себя ваши изменения в стоимости — значит, тут скорее всего замешаны боты.
Накрутки
Накрутки показателей — это сопутствующий эффект от присутствия ботов на сайте. Каждое действие ботов отражается на бизнес-метриках. Поскольку доля нелегитимного трафика ощутима, решения, основанные на аналитике ресурса, часто бывают ошибочными.
Маркетологи изучают, как посетители используют ресурс и делают покупки. Смотрят на показатель конверсии и лиды и определяют ключевые воронки продаж. Компании также проводят A/B тесты и в зависимости от результатов пишут стратегии для работы сайта. Боты же влияют на все эти показатели, что ведет к нерациональным решениям и излишним маркетинговым затратам.
Злоумышленники могут использовать ботов и для того, чтобы повлиять на репутацию площадок, в том числе соцсетей. Такая же ситуация и с сайтами для онлайн-голосований, где боты часто накручивают показатели, чтобы победил нужный злоумышленникам вариант.
Как можно обнаружить накрутки:
- Проверяйте аналитику. Резкий и неожиданный рост какого-либо показателя, например, попыток логина, часто означает ботовую атаку.
- Отслеживайте изменения в происхождении трафика. Бывает, что на сайт приходит необычно большое количество запросов из необычных стран — это странно, если вы не таргетировали на них кампании.
DDoS-атаки
Многие слышали о DDoS-атаках или даже сталкивались с ними. Стоит отметить, что ресурс не всегда выводится из строя с помощью высокого трафика. Атаки на API часто низкочастотны, и в то время как приложение отказывает, firewall и балансировщик нагрузки работают как ни в чем не бывало.
Утроение трафика на главную страницу может никак не сказаться на работоспособности сайта, но такая же нагрузка напрямую на страницу с корзиной приводит к проблемам, поскольку приложение начинает посылать множественные запросы ко всем компонентам, задействованным в транзакциях.
Как обнаружить атаки (первые два пункта могут показаться очевидными, но не стоит ими пренебрегать):
- Покупатели жалуются, что сайт не работает.
- Сайт или отдельные страницы работают медленно.
- Резко растет трафик на отдельных страницах, появляется большое количество запросов в корзину или на страницу оплаты.
Взлом личных кабинетов
BruteForce, или перебор паролей, организуется с помощью ботов. Для взлома используются утекшие базы данных. В среднем, пользователи придумывают не более пяти вариантов паролей для всех онлайн-аккаунтов — и варианты легко подбираются ботами, которые проверяют миллионы комбинаций в кратчайшее время. Затем злоумышленники могут перепродать актуальные комбинации логинов и паролей.
Также хакеры могут завладеть личными кабинетами и затем использовать их в своих интересах. Например, вывести накопленные бонусы, украсть купленные билеты на мероприятия — в общем, вариантов дальнейших действий множество.
Распознать BruteForce не слишком сложно: о том, что хакеры пытаются взломать аккаунт, говорит необычно высокое количество неуспешных попыток логина. Хотя бывает, что злоумышленники отправляют и небольшое количество запросов.
Скликивание
Скликивание рекламных объявлений ботами может привести к значительным убыткам компаний, если его не заметить. Во время атаки боты переходят по размещенным на сайте объявлениям и тем самым ощутимо влияют на метрики.
Рекламодатели, очевидно, рассчитывают, что размещенные на площадках баннеры и видеоролики увидят реальные пользователи. Но поскольку число показов ограничено, реклама, из-за ботов, демонстрируется все меньшему числу людей.
Сами же сайты хотят за счет показов рекламы увеличить свою прибыль. А рекламодатели, если видят ботовый трафик, снижают объем размещений на площадке, что ведет и к убыткам, и к ухудшению репутации площадки.
Эксперты выделяют следующие типы рекламного фрода:
- Ложные просмотры. Боты посещают множество страниц сайта и генерируют нелегитимные просмотры рекламы.
- Кликфрод. Боты переходят по рекламным ссылкам в поиске, что ведет к росту расходов на поисковую рекламу.
- Ретаргетинг. Боты перед скликиванием посещают множество легитимных площадок, чтобы создать cookie-файл, который стоит дороже для рекламодателей.
Как обнаружить скликивание? Обычно после очистки трафика от фрода показатель конверсии снижается. Если вы видите, что объем переходов по баннерам выше ожидаемого, то это говорит о присутствии ботов на сайте. Другими показателями нелегитимного трафика могут быть:
- Рост кликов по рекламным объявлениям при минимальной конверсии.
- Конверсия снижается, хотя содержание рекламы не менялось.
- Множественные клики с одного IP-адреса.
- Низкая доля вовлечения пользователей (в том числе большое количество отказов) при росте кликов.
Поиск уязвимостей
Тестирование на уязвимости выполняется автоматическими программами, которые ищут слабые места сайта и API. Среди популярных инструментов — Metasploit, Burp Suite, Grendel Scan и Nmap. Сканировать сайт могут как специально нанятые компанией сервисы, так и злоумышленники. Площадки договариваются со специалистами по взлому, чтобы проверить свою защиту. IP-адреса аудиторов в таком случае заносятся в white-листы.
Злоумышленники же тестируют сайты без предварительной договоренности. В дальнейшем хакеры используют результаты проверок для своих целей: к примеру, они могут перепродать информацию о слабых местах площадки. Бывает, что ресурсы сканируются не целенаправленно, а в рамках эксплуатирования уязвимости сторонних ресурсов. Возьмем WordPress: если в какой-либо версии обнаружен баг, боты ищут все площадки, которые используют эту версию. Если ваш ресурс попал в такой список, можно ждать визита хакеров.
Как обнаружить ботов?
Для поиска слабых мест сайта злоумышленники сначала проводят разведку, что ведет к росту подозрительной активности на площадке. Фильтрация ботов на этом этапе поможет избежать последующих атак. Хотя ботов и сложно обнаружить, тревожным сигналом могут стать отправляемые с одного IP-адреса запросы ко всем страницам сайта. Стоит обратить внимание и на рост запросов к несуществующим страницам.
Спам
Боты могут заполнять формы сайта «мусорным» контентом без вашего ведома. Спамеры оставляют комментарии и отзывы, создают фейковые регистрации и заказы. Классический метод борьбы с ботами, CAPTCHA, в этом случае неэффективен, поскольку раздражает реальных пользователей. К тому же, боты научились обходить такие инструменты.
Чаще всего спам безвреден, однако бывает, что боты предлагают сомнительные услуги: размещают объявления о продаже поддельных вещей и лекарств, продвигают ссылки на порносайты и уводят пользователей на мошеннические ресурсы.
Как обнаружить ботов-спамеров:
- Если на вашем сайте появился спам, то скорее всего его собственно боты и размещают.
- В вашей почтовой рассылке много недействительных адресов. Боты часто оставляют несуществующие е-мейлы.
- Ваши партнеры и рекламодатели жалуются, что с вашего сайта приходят спам-лиды.
Из этой статьи может показаться, что бороться с ботами своими силами сложно. На самом деле, так оно и есть, и лучше доверить защиту сайта профессионалам. Даже крупные компании часто не в силах самостоятельно отслеживать нелегитимный трафик и тем более фильтровать его, поскольку это требует значительной экспертизы и больших расходов на IT-команду.
Variti защищает сайты и API от всех видов ботовых атак, включая фрод, DDoS, скликивание и парсинг. Собственная технология Active Bot Protection позволяет без CAPTCHA и блокировки IP-адресов выявлять и отсекать ботов.
Комментарии (13)
sentyaev
24.06.2019 00:27Сбор и анализ информации о конкурентах всегда был конкурентным преимуществом, в наше время боты в этом помогают. Вывод простой, разводите ботов сами, и не тратьте свои ресурсы на борьбу с ботами конкурентов.
Nikolay9292
24.06.2019 17:43разводите ботов сами и уничтожайте бюджет конкурентов! люди что с вами? что за нездоровая конкуренция? меня атаковали конкуренты, значит я их атакую в ответ. это же не эффективно! лучше защитить свой сайт с помощью того же botfaqtor и вести честную игру!
Temmokan
24.06.2019 08:14+1и варианты легко подбираются ботами, которые проверяют миллионы комбинаций в кратчайшее время
Вы это всерьёз написали?
Если сайт (Web-приложение) допускает саму возможность этого миллиона переборов безо всяких мер противодействия — сайт не должен вообще дойти до реального использования.barabanof Автор
24.06.2019 12:49С точки зрения идеального устройства мира так наверное и должно быть. К сожалению есть большое число сайтов, которые написаны неидеально или начинающими разработчиками. Или просто при разработке решили сэкономить и добавить все это «потом».
m0ze
24.06.2019 17:46Резать подобные атаки должен хотя бы WAF или какая-то аналогичная мера, а сам сайт/CMS лишь «страховать».
есть большое число сайтов, которые написаны неидеально или начинающими разработчиками
Звучит так, будто вместо код-ревью и вообще «работы над ошибками» вы предлагаете приделать какие-то «решения по защите от...», в итоге получая, по сути, костыли, да ещё и по ежемесячному тарифу.
Или просто при разработке решили сэкономить и
… и уже потом начать платить сторонним конторам для обеспечения того функционала, за который они сначала не хотели платить нанятому разработчику?barabanof Автор
24.06.2019 17:55Резать подобные атаки должен хотя бы WAF или какая-то аналогичная мера, а сам сайт/CMS лишь «страховать».
WAF, как правило, не лучшее решение в таком случае. Он хорошо фильтрует некорректные и «необычные» запросы к сайту, мы же тут говорим про абсолютно легитимные с точки зрения структуры и сессии запросы.
Звучит так, будто вместо код-ревью и вообще «работы над ошибками» вы предлагаете приделать какие-то «решения по защите от...», в итоге получая, по сути, костыли, да ещё и по ежемесячному тарифу.
… и уже потом начать платить сторонним конторам для обеспечения того функционала, за который они сначала не хотели платить нанятому разработчику?
Решения по защите разумно подключать в любом случае — своей инфраструктурой вы от атак не отобьетесь. В случае подбора логина-пароля, достаточно частотной и неприятной атакой является следующая: в интернет утекает очередная база со взломанного сайта и далее она проверяется на сайте с распределенного ботнета. Каждый раз у вас уникальный логин, пароль и IP — защититься средствами CMS/WAF вряд ли получится.m0ze
24.06.2019 18:41WAF, как правило, не лучшее решение в таком случае.
Ну так мы и говорим, по сути, про абсурдную ситуацию с «проверяют миллионы комбинаций в кратчайшее время». Но даже при этом, современный вменяемый WAF (не говоря про другие решения) должен предотвращать подобные атаки. Вопрос легитимности тут, скажем так, под большим вопросом.
Решения по защите разумно подключать в любом случае
Кто-то спорит? В рамках этого обсуждения вопрос стоит в том, что предлагается, грубо говоря, к говнокоду приделывать какие-то костыли с ежемесячной оплатой. Причём это уже не первый раз, когда вы рассуждаете/отвечаете в духе «вода, газ, электричество», то есть прописными истинами и абстракцией.
В первом абзаце упоминается:
а также напомним про базовые способы защиты
из которых [способов защиты] я увидел только вот этот:
Из этой статьи может показаться, что бороться с ботами своими силами сложно. На самом деле, так оно и есть, и лучше доверить защиту сайта профессионалам. Даже крупные компании часто не в силах самостоятельно отслеживать нелегитимный трафик и тем более фильтровать его, поскольку это требует значительной экспертизы и больших расходов на IT-команду.
Во всех остальных случаях в одном-двух предложениях говорится о выявлении, а точнее о поверхностных признаках той или иной атаки/действия бота, которые не дают 100% гарантии, что это оно и есть, а не, скажем, технический сбой или что-то ещё.
Variti защищает сайты и API от всех видов ботовых атак, включая фрод, DDoS, скликивание и парсинг. Собственная технология Active Bot Protection позволяет без CAPTCHA и блокировки IP-адресов выявлять и отсекать ботов.
Причём в этом же абзаце вы обобщаете всё в «нелегитимный трафик», хотя в своём комментарии выше это же, по сути, опровергаете.
Короче, я это всё к тому, что материал является явно рекламным, весьма скудным по технической части и весьма абстрактным по своей сути. Да, есть разные виды атак, да, есть риски и угрозы, да, надо как-то с этим бороться. Никаких кейсов компании, никаких технических деталей и реальных примеров, даже никакой статистики успешных отражений атак. Что-то новое и интересное есть для сообщества? Думаю, нет. Материал показал сервис компании с лучшей стороны, показал явные плюсы, преимущества и отличия от аналогов в цифрах для потенциальных клиентов? Что-то не похоже. Это не придирки, а показатель того, что материал написан явно «пяткой», только не совсем понятно для кого именно.
200sx_Pilot
24.06.2019 16:43Variti защищает сайты и API от всех видов ботовых атак, включая фрод, DDoS, скликивание и парсинг. Собственная технология Active Bot Protection позволяет без CAPTCHA и блокировки IP-адресов выявлять и отсекать ботов.
Добавьте, пожалуйста, тег «реклама».
Спасибо.
apapacy
Недавно была на Хабре публикация также о фирмы только которая занимается не защито а парсинга о том что защита от парсинга неэффективна. И с точки зрения обычного обывателя если есть возможность запускать безголовый хром с произвольных неповторяющихся адресов то действительно нет способа защититься. Вы обеспечивает защиту и в этих случаях?
barabanof Автор
Да, мы стремимся к тому, чтобы уметь отрезать 100% ботовых запросов. И да, у нас есть успешные примеры фильтрации как раз таких массовых обращений к ресурсу с помощью headless chrome через ботнет.
m0ze
Почему об этом мы узнаём не из материала, а в комментариях, и то, по сути, по запросу?
apapacy
Интересно было бы посмотреть. Ваш сайт variti.com под защитой?
Variti_Sales
Сейчас нет, на нем есть разметка пикселем и мы размечаем обращения в форму обратной связи.