По официальным данным, активная аудитория Twitter превышает 313 млн человек. Точнее будет сказать, 313 млн пользователей, потому что какую часть пользователей составляют живые люди — достоверно неизвестно. Ежедневно в Twitter генерируется около 500 млн сообщений, и очень трудно следить и анализировать такой огромный поток информации на предмет подозрительной активности.Много лет Twitter является предметом внимания учёных. Ранее исследователи изучили граф пользователей Twitter и попытались создать модель влияния отдельного пользователя. Очень перспективным направлением исследований считается анализ потока твитов в реальном времени — для предсказания трендов, настроений общества, результатов выборов, оперативного выявления важных событий, очагов вирусных инфекций, землетрясений и тайфунов.
Твиттер-бот — пользовательский аккаунт Twitter, который действует с минимальным участием человека или без него. Ботнет — группа аккаунтов, созданных и управляемых одним лицом, именуемого бот-мастером. Это неплохой бизнес, поскольку бот-мастер может продавать свои услуги для распространения спама, продажи фолловеров и манипуляции общественным мнением. В предыдущие годы исследователи подробно изучили, как повышается влияние бота (раскрутка перед работой), как происходит проникновение в твиттер-окружение для установки связей с живыми пользователями и слияния с общей массой юзеров, как боты используются для пропаганды. Торговля твиттер-ботами происходит на чёрном рынке, также как аккаунтами в Facebook, YouTube, Gmail, Linkedin и проч. Тысяча аккаунтов в Twitter (подтверждённые по почте, с аватарами, изменённой темой и биографией — то есть со всем «фаршем»), у российского брокера buyaccs.com стоят $60.
Для чего нужны твиттер-боты?
Спам. Рассылка другим пользователям большого количества рекламных ссылок, распространение вредоносного программного обеспечения.
Распространие фейковых «трендинговых» новостей. Поскольку боты расцениваются к реальные аккаунты живых людей алгоритмами Twitter, то точно так же они расцениваются при вычислении «трендинговых» тем и хэштегов. Это позволяет создавать фейковые трендинговые темы, которые изначально не были популярны в твиттере, но попадают в список трендов, а оттуда — к настоящим блогерам и в СМИ.
Манипуляция общественным мнением. Если сеть ботов вовремя не выявлена, то бот-мастер может опубликовать большое количество положительных/негативных сообщений на определённую тему, которые исказят результаты исследований общественного мнения, проводимых в Twitter исследователями, коммерческими и государственными организациями.
Астротурфинг. Технология искусственного создания общественного мнения путём размещения многочисленных твитов, оформленных как совершенно независимые мнения частных лиц, маскируя спонсора астротурфинга.
Фальшивые фолловеры. За определённую плату тысячи ботов по команде бот-мастера могут подписаться на твиты клиента для придания его аккаунту большей значимости из-за большего числа подписчиков.
Загрязнение Twitter Streaming API. Есть подозрения, что сообщения ботов можно организовать таким образом, чтобы они попадали в отфильтрованную выборку Twitter Streaming API, которая используется многими для дата-мйнинга, с вероятностью до 82% вместо ожидаемой 1%.
Сеть из более 350 000 ботов в Twitter
Сама компания Twitter и независимые исследователи разработали ряд продвинутых технологий для определения ботов в социальной сети, в том числе с помощью машинного обучения по вычислению расстояния Левенштейна между твитами и т.д.
В большинстве исследований ботнетов Twitter для изучения использовали выборочные наборы данных, составленные случайным прохождением по графу или на основе Twitter Streaming API. В обоих случаях такие выборки будут искажёнными. В первом случае — в сторону пользователей с большим количеством друзей/фолловеров. Во втором случае — в пользу более активных пользователей.
Вместо этого исследователи с кафедры информатики Университетского колледжа Лондона составили выборочный набор данных по идентификаторам (ID) твиттер-аккаунтов (pdf). Для изучения они взяли 1% пользователей Twitter, то есть каждого сотого. Для всех были извлечены профили через API, затем отфильтрованы неанглоязычные профили. В итоге осталась выборка из 6 млн англоязычных аккаунтов.
Изучение этого набора данных дало очень интересный результат. Аккаунты из этой выборки опубликовали 843 млн твитов, из которых примерно 20 млн с геотегами. Выяснилось, что географическое расположение геотегов в целом коррелирует с плотностью населения, кроме двух больших областей в Европе/Африке и Северной Америке, равномерно заполненных ненулевым количеством твитов с геотегами в этом районе, включая моря, пустыни и районы вечной мерзлоты. Распределение твитов с геотегами по обоим прямоугольникам абсолютно равномерное, 50% твитов опубликовано в Северной Америке, 50% твитов в Европе.
Цвет соответствует количеству твитов. Географическое расположение геотегов в Twitter в целом коррелирует с плотностью населения в мире, кроме двух больших прямоугольных областей в Европе/Африке и Северной Америке, равномерно заполненных ненулевым количеством твитов, включая моря, пустыни и районы вечной мерзлоты
Причём все эти твиты принадлежат конкретному диапазону идентификаторов Twitter ID, как показано на графике.
Этот ботнет получил название Star Wars, поскольку боты активно публиковали цитаты из фильма «Звёздные войны».
Ещё одна характерная особенность ботнета — публикация твитов только со смартфонов под Windows (или библиотека/софт для публикации определяется как смартфон под Windows).
Для дальнейшего изучения этого и других ботнетов исследователи просят пользователей Twitter сообщать о выявленных ботах на сайте thatisabot.com.
Комментарии (37)
rPman
25.01.2017 23:49+2я думал что помимо регистрации для ботов нужны еще и сетевые соединения, с которых идут подключения клиентов, как минимум один из паттернов определения бот/человек можно использовать ip адрес, сети, их геолокация и динамика их изменения.
отсюда я считал что пачка ботов это не только логины с паролями прокачанных аккаунтов, но и доступ к зараженных смартфонов/компьютеров, с которых будет осуществляться их работа.
shifttstas
26.01.2017 00:26-2Ну есть же Ольгино/Савушкина, я не думаю, что они используют какие-либо системы подмены IP — и ничего их
хабртвиттер не банит же
artemev
26.01.2017 00:49+6Вот, если бы Вы точно знали, что не используют, то да. А так это просто домыслы…
shifttstas
27.01.2017 00:40Вы правы, я — не могу знать точно, но владельцы крупных плозадок могут помочь. (ну либо изнутри попросить открыть 2ip)
icetinte
26.01.2017 23:21Сейчас тучи компаний занимаются похожими задачами( том числе и политикой) для них продают системы ботов. Там все весьма грамотно реализовано в плане имитации живых людей.
FlameArt
26.01.2017 10:45Со взломанных серверов тех-же. Ботнет сделать сложно и управлять им сложно, а вот накопать пачку хостов с вордпрессом, который обвешан плагинами, не обновлявшихся годами — проще простого. На некоторых будет к тому же и несколько ип-адресов.
alff31
26.01.2017 00:57+5> публикация твитов только со смартфонов под Windows
Ну или библиотека/софт для публикации определяется как смарфон под Windows
nochkin
26.01.2017 01:42+12Это яркое ущемление прав ботов! Они хуже людей? Вот соберёмся мы как-нибудь и покажем вам людишкам что и как…
nochkin
26.01.2017 01:46+1Сообщение выше написал не я. Сам не понимаю откуда и как оно появилось. Похоже, НЛО в сговоре.
impetus
26.01.2017 13:06Дык собралиь же уже? вон, полна Дума
иди..ботов.., а нам по тем законам жить.
xtala
26.01.2017 08:57-2Интересно, а если бы поставили капчу на каждое сообщение, это убило бы большую часть ботов?
jex
26.01.2017 09:12+8Это убило бы большую часть клиентов
LeoRicK
26.01.2017 10:49-1Ну можно отключить капчу на мобильных софтах, а юзать капчу в веб версии либо придумать хитроумную фишку, типа перетяни ползунок для отправки.
hjp92423
26.01.2017 11:59Боту абсолютно несложно будет перетянуть ползунок, а куча народу не захочет вбивать путанные символы или искать речные массивы на странных картинках. Отдел маркетинга порвёт идею на собрании.
kvaps
26.01.2017 09:22+1Похоже что администрацию twitter совем не волнует наличие ботов и левых аккаунтов в их сети.
Я достаточно долго не пользовался своим старым ящиком на mail.ru и похоже что он самоудалился, потом его зарегал какой-то бот и теперь он же шлет спам от моего именни в twitter (его я тоже зарегал на старую почту и так и не стал использовать)
На все просьбы удалить мой аккаунт в саппорт twitter: смотрите, с него же рассылают спам, что прямо нарушает правила сервиса — отмахнулись, мол недостаточно данных для удаления аккаунта.
Neuromantix
26.01.2017 10:38-1Мне вообще непонятно, почему руководства соцсетей не уничтожают ботов на корню.
JDBiber
26.01.2017 11:59И как объяснить инвесторам почему ушло 30% пользователей?
Neuromantix
26.01.2017 18:53Так по методу чичикова можно обеспечить прирост +100500% пользователей в день. Только кому это нужно? На некоторых сайтах один человек на тысячу ботов…
AFakeman
26.01.2017 12:21-1Возможно потому что определенную часть ботов могут «крышевать» в чьих-то интересах.
hjp92423
26.01.2017 13:07Всё просто: деньги. При продаже рекламы можно сильнее надувать щёки, показывая статистику, а при продаже сервиса в дальнейшем они смогут выручить больше.
barker
26.01.2017 10:32Примерно вот так)
DmitryMry
27.01.2017 16:13Пробовал примерно с десяток раз отправлять им жалобы на бот-сети (насколько помню, от 5 тыс. до 30-50 тыс. аккаунтов), с абсолютно нулевым результатом. Даже в очевидных случаях, когда постятся твиты круглосуточно ровно каждые два часа и т.п. В общем, вычищают ботов как-то неохотно.
ivansmith
26.01.2017 10:45А дальше что с этими аккаунтами делать будут? Удалят к такой-то матери?
У меня возникает в связи с этим вопрос, а как управляют этими 300000 аккаунтами?
Допустим, я заплатил денег, что бы у меня было 100500 подписчиков. Как я понимаю, это должен каждый бот зайти под своим именем/паролем и подписаться на мой аккаунт?
saboteur_kiev
26.01.2017 14:45Я не очень понимаю, как ботнет в твиттере (с его ограничением в символах), может так долго жить.
Допустим хочу создать мнение и кинуть какой-то твит.
Боты просто делают ретвит?
Или каждый генерит уникальную фразу, но 350 тысяч уникальных фраз на ту же тематику — перестановкой слов не вылечится и синонимов не хватит. IMHO администрации твиттера это тупо выгодно, иначе давно бы закрыли.
roller
26.01.2017 16:07Есть вариант проще — на яндекс толока или механикал турк попросить пользователя за пару центов разместить объявление в твиттере (не обязательно своем основном)
freylis
26.01.2017 17:38Простите, но приминим ли термин «случайно», если такие ресурсы тратятся, что бы выявить ботов?
NoRegrets
27.01.2017 19:55Да это один из собственных рекламных ботнетов самого твиттера. Иначе бы вычислили они его давным давно. Можно подумать там олухи работают, которые не знают как ботнеты выявлять.
artemev
27.01.2017 22:031. Если бы это был «собственный» ботнет, то его бы никто и не вычислил. Твиттер просто не дал бы этого сделать.
2. В чем смысл «собственного» рекламного ботнета? Они и так на своем сайте имеют право публиковать любую рекламу.NoRegrets
27.01.2017 22:18Во первых, это на правах шутки. Но в каждой шутке есть доля шутки.
1. Они тоже могли накосячить с геодатой, почему нет? Вот не заметить, что в квартире, помимо хозяина, живет еще кто-то — это уже сложнее.
2. Они отличаются как отличается лектор от подсадной утки.
Aquahawk
Т.е. если 1000 ботов стоит $60 то 350000 стоит всего $21K? Я думал такое подороже стоит.
artemev
Ботнет в 350 тыс. акков приносит владельцам очень-очень не хилую прибыль. Никто в здравом уме по такой цене его продавать не будет.
SLY_G
Ну, если владельцу ботнета срочно понадобились деньги как раз из-за такой деятельности…
artemev
Ну, разве что только в таком исключительном случае… А, вообще, думаю что этот ботнет будет стоит существенно дороже.
zagayevskiy
Если 1 бот стоит $0, то 1000000 ботов стоит всего $0. Я думаю, стоимость растёт нелинейно.
lolhunter
Да. Только после покупки 10-20 тысяч ботов цены начнут ползти вверх очень даже быстро.