Кто генерирует клики ботов? Каким софтом? Сколько таких кликов во всём объеме трафика? Как эти клики отделить? Обо всем этом, и даже больше, пойдет речь в сегодняшней статье.
Я, Григорий Мельников, автор онлайн сервиса по выявлению ботов KillBot, продолжаю цикл из 5-ти статей посвященных качеству трафика в РСЯ. Это вторая статья из цикла.
После прочтения, не забудьте о кейсе: "Кейс: Как боты из Директа накликали 10тр. по скрытым ссылкам": https://habr.com/ru/articles/813593/
Исторический экскурс
До 2015 года Яндекс использовал ссылочное ранжирование для формирования поисковой выдачи. С 2015 года Яндекс стал учитывать поведенческие факторы, что открыло новый рынок - рынок ботов, которые кликают в поиске: Если клик в поисковой выдаче последний - значит пользователь достиг цели - сайт растёт, иначе - сайт падает.
Для того, чтобы Антифрод Яндекса учел клик от бота, бота нужно нагулять - чтобы у него была история навигации по интернету. Именно это решение и породило огромное количество грязного трафика: боты сначала гуляют по интернету кликая куда попало (включая рекламу РСЯ), а потом бот используется для повышения позиций сайта в поисковой выдаче.
Софт для написания ботов
До 2016-2018 года проблемы огромного количества ботов не было, так как не было удобного и популярного инструмента для их написания.
Но появился фреймворк браузерной автоматизации: Browser Automation Studio (BAS): https://bablosoft.com/shop/BrowserAutomationStudio - именно на нём пишут большинство ботов, что сейчас гуляют по интернету.
Создать бота на BAS может любой пользователь - программировать не нужно - достаточно просто переносить блоки: какой url ввести, куда двигать мышку, куда кликнуть, какой ip (прокси) использовать.
Именно с этого момента начались гонки BAS и Яндекс, в которой последний позорно проигрывает.
Есть и другой софт для генерации ботов, это и ZennoPoster, и устаревший Human Emulator и ряд других. Но по функционалу, и ряду других причин, BAS на несколько порядков круче.
Зачем ботам прямые заходы, регистрации и заявки?
Как я упоминал ранее, антифрод Яндекса примитивный - в одной из следующих статей я расскажу как он работает и дам инструкции, как именно он должен работать.
Антифрод основан лишь на том, как пользователь ведет себя в интернете - соответственно обмануть антифрод просто.
Если бот просто просматривает страницы и не заполняет формы, то он, по мнению Яндекса, "подозрительный", так как реальные пользователи регистрируются и оставляют заявки. Поэтому боты заполняют формы: отсюда и фейковые регистрации и заявки.
Ваш сайт может быть в базе из 400 000 сайтов для нагула ботов
Яндекс запрещает рекламу по ключу "Поведенческие факторы", поэтому те, кто ими занимаются уходят в группы ВК, телеграмм каналы и личные сайты.
Список ресурсов где можно нагулять ботов, скликать рекламу или заказать ПФ:
https://api.pfbaza.website/ - база из 400000 сайтов для нагула ботов. Если ваш сайт в этой базе - значит у вас много прямых ботовских заходов.
https://t.me/pfbaza_chat - чат где парни обсуждают накрутку ПФ
https://bablosoft.com/shop/Sphere - вот можно купить программу - в ней есть опция "скликивать конкурентов"
https://t.me/sphereABC - еще один чат
https://vk.com/berzsserk - вот группа ВК - там можно купить еще один такой софт
https://docs.google.com/document/d/1AxjjCQolk7XcYfElzZqkzrMkxfPQAhtCHonPrAajWhA/edit?usp=sharing - это документация к одной из таких программ
Ресурсов, какие не вошли в список, - очень много - я лично знаю еще штук 10, и сколько еще не знаю.
Сколько ботов генерируют все эти бот-программы?
Объем генерируемого трафика можно спрогнозировать скрином личного кабинета одного из пользователей:
Раскрою, что на скрине (это скрин одного из софтов):
Боты работают в 22959 потоков (почти двадцать три тысячи) - т.е. одновременно кликает целый провинциальный город в Российской глубинке;
7З1100 - кликов сделано за час. Скорее всего, здесь не рекламные клики, а просто общее число просмотров страниц.
Только один софт за сутки делает семнадцать миллионов просмотров: 17 546 400 кликов = 7З1100 * 24. Т.е. суммарно, если взять 10 популярных софтов, то все вместе они сделают более 100 миллионов просмотров в сутки. С такими объемами трафик реальных пользователей затеряется среди трафика ботов.
Следующий мой пост будет пост-кейс: я покажу как Яндекс Директ учитывает конверсии от ботов - конверсии которые бот сможет сделать, а пользователь нет.
Я создал новый телеграмм канал: https://t.me/KillBotRus - подписывайтесь на него. В первую очередь результаты кейса я опубликую там.
Комментарии (35)
andnotor
11.05.2024 06:15Не пойму, что мне теперь делать :) то ли идти настраивать ботов что бы они в итоге привели к повышению сайта в органическом выводе, а в статистике их отсеивать. То ли идти бороться с чужими ботами (и кстати получается они тоже повышают мой рейтинг в поисковике?). Видимо надо и то и другое :) :) А к гуглу это всё тоже относится? Порекламировал сайт на гугле получил какой то бездарный результат и кроме ботов ни чем объяснить не мог, спасибо за ваши статьи теперь я понимаю чуть больше :)
vikarti
11.05.2024 06:15+4Вот кстати хоть как то выглядящее внятным объяснение зачем ботам спамить полный бред.
UserAd
11.05.2024 06:15+2Думаю если убрать метрику с сайта, то и поток прекратится. Если надо a-b тестирование, то можно hotjar подключить.
iShkval
11.05.2024 06:15+4Как я упоминал ранее, антифрод Яндекса примитивный - в одной из следующих статей я расскажу как он работает и дам инструкции, как именно он должен работать.
Вот это будет очень интересно почитать
dron88
11.05.2024 06:15В Google за накрутка ПФ в лучшем случае пессимизация, а в худшем бан. Гугл, это не Яндекс там шутки плохи...
vDyDHp8
11.05.2024 06:15Вроде как бота легко отфильтровать? Капчи, всякие разные светофоры в процессе. Анализ графа пользовательского пути , может он еще и ямузыку слушает (?), какие-то еще данные тянутые от пользователя дополнят картину, чтобы сматчить бот или не бот.
Мне кажется, автор слегка лукавит, когда говорит про 3 клика.
urvanov
11.05.2024 06:15+1Боты вполне неплохо разгадывают капчу, просто делегируя это реальным людям за копейки на специальных сервисах.
Adeloyd
11.05.2024 06:15Таким образом убиваются массовые решения. Индивидуальные могут музыку слушать, новости читать, в корзину на маркете добавлять и вести переписку по почте. В том числе эмулировать группы по интересам, устройства и т.д.. Но опять же, индивидуальные сервисы составляют маленький процент и с ними нет смысла бороться.
mr_kani
11.05.2024 06:15Что скажете про решения для защиты от скликивания? Например, clickfraud.ru. Они вроде как помогают задетектить и вернуть деньги у яндекса
urvanov
11.05.2024 06:15+2Скоро весь интернет будет состоять из ботов, которые лазают по сайтам, сгенерированными нейросетями, кликают по ссылками и заполняют формы.
GospodinKolhoznik
11.05.2024 06:15Поэтому интернет и выродился до тесных размеров нескольких сотен сайтов, где идёт жёсткая модерация, хотя и она не сильно спасает от ботов, ну хоть как то.
JDJ
11.05.2024 06:15автор стоит даже не напротив айсберга. а на его вершине. и рассуждает о размерах айсберга. Яндекс BAS задушил примерно уже год как.
la0
11.05.2024 06:15+2Задушил только профили которые нагуливались по тупой схеме 24*7 если я правильно помню. В остальном если нагуливать с прокси-ферм поверх операторов сотовой связи по адекватному расписанию, то всё в целом также.
(нахожусь с другой стороны баррикады, выборочно отключая метрику стопроцентным ботам которые используют ввереный мне ресурс для нагуливания)
JDJ
11.05.2024 06:1524 часа, это прям пожилой бот. :)
la0
11.05.2024 06:15+1около 6 дней средний возраст бота. похоже, именно это в яндексе (по косвенным признакам) и изменилось. Вероятно, первые N дней жизни профиля онный считается "новичком" и не учитывается в расчёте ПФ. Нагуливать просто приходится по более хитрому расписанию и подольше, что собственно и стало делать процентов 75 ботоводов. Выкинул 25% динозавров это не "задушил". просто было у ботовода полсервера на китайских б/у ксенонах, станет два или три.
JDJ
11.05.2024 06:15а вот тот условный BASовод которого вы в пример приводите, с хитрым нагулом и возрастом до 6 дней на китайских ксенонах, у него есть 6 нулей в чеке, или около того?
la0
11.05.2024 06:15Я хз, у меня оборонительная функция. Ботовод спалил систему мониторинга и реальный IP "фермы", я зашел посмотрел как там всё устроено(почему-то всё без авторизации, включая БД). Судя по кол-ву мобильных проксей, затрат нулей на пять.
Возраст не "до", возраст средний . А к нам ходит далеко не один ботовод.
JDJ
11.05.2024 06:15я баррикаду видел всегда так. одна сторона это рекламодатели и их деньги, а с другой стороны яндекс и все остальные, фродеры, антифродеры, оборонители и прочие, которые эти деньги стараются окультурить. без негатива к вашей обороне :).
la0
11.05.2024 06:15моя задача ботов пометить таким способом, чтобы они не искажали картину по метрикам. К примеру, по конверсии. Боты метятся, затем по этой метке как минимум отключается счётчик яндекса. В некоторых случаях еще и цена отдаётся кривая и если наши цены автоматически использует конкурент, то можно манипулировать ценами конкурента как своими.
Adeloyd
11.05.2024 06:15Вот не надо про то, что у Yandex слабая защита от ботов. Как минимум, там делается fingerprint пользователя и его устройства, и это было с самого начала появления ПФ. Пользователи без регистрации влияют на ПФ весьма посредственно, и выявляются довольно просто. Далее писать не буду, т.к. статья чисто рекламная, заточенная на людей, которые ничего в этом вопросе не понимают.
grigoriy-melnikov Автор
11.05.2024 06:15Повторите кейс: Как Директ учитываете клики ботов: https://habr.com/ru/articles/813593/
Adeloyd
11.05.2024 06:15Я вам про поисковую выдачу, а вы мне про метрику директа. Это вообще разные сервисы с разными алгоритмами, в том числе и борьбы с ботами.
grigoriy-melnikov Автор
11.05.2024 06:15Поиск так же не устойчив к ботам. Поспрашивайте в чатах выше - вы найдёте контакты того, кто реально делает это. Или обзванивайте сео компании списком - вы найдете тех, кто предложит тест, и через. 1-3 дня увидите ваш сайт в топах (если сайт качественный). А так, Директ и Поиск сервисы разные, согласен.
Adeloyd
11.05.2024 06:15Я не говорил, что поиск устойчив к ботам. Просто не все так плохо, как описано в статье. Мне не надо никого искать :)
VitoArzi
11.05.2024 06:15+1Спасибо за разъяснение! Я на собственном сайте заметил, что где-то с 19 года РСЯ "сломался", сколько денег не лей прироста заказов нет, хотя трафик рос прямо пропорционально деньгам. Интересно сделает ли я яндекс что-то, чтобы преодолеть эту проблему? Или он теперь государственный? И будет ждать введения идентификации ботов через Госуслуги при входе в Интерyет? Но я больше ни рубля в РСЯ не отнесу.
Breathe_the_pressure
По моему этих программ всегда была куча, начиная со всяких Winautomation до Human Emulator, в котором аж на PHP можно было скрипты писать.
Fahrain
Раньше надо было писать - а теперь настраивается в 3 клика или вообще через посредника заказываешь готовое решение. 80% трафика сети сейчас - боты