Не разрешайте плохим ботам захватывать ваш сайт и влиять на бизнес-решения.

Посетители сайта не всегда люди, сделанные из плоти и мяса: иногда это боты. Боты в основном просматривают веб-сайты для сбора статистики для поисковых систем, таких как Google и Yahoo. Но также существуют боты, которые собирают информацию, создают поддельные учетные записи, распространяют вирусы или автоматически спамят в разделах комментариев — и это те боты, которые могут нанести наибольший ущерб.

Внезапный захват сайта ботами может быть подавляющим, и это потенциальный кошмар для администратора сайта, который предпочитает управлять чистым кораблем. Вот как определить, какие боты что делают и несколько практических способов изгнать их с вашего сайта.

Поисковые боты против спам-ботов

Некоторые боты - хорошие, поисковые боты посещают ваш сайт, чтобы внести в каталог новую информацию для поисковых систем, и обычно вы хотите, чтобы эти типы ботов прошли через 
ваш сайт. Это то, что помогает поисковым системам индексировать ваш сайт среди его 
результатов.

Что важно для администратора сайта, так это выявить поисковых роботов по сравнению с 
истинным трафиком, чтобы собрать точную картину того, сколько посетителей и смотрящих 
являются людьми. Если у вас есть Google Analytics, посмотрите в разделе «Дополнительные 
настройки», и вы можете разделить поисковых ботов и человеческий трафик, чтобы увидеть, 
как поисковые системы и люди просматривают сайт.

Помимо вашего стандартного бота поисковой системы, вы также можете столкнуться с 
множеством различных спам-ботов. Это опасные боты, от которых вы должны избавиться, 
когда они появятся. Иногда они распространяют вирусы; в других случаях спамят или 
заполняют сайт ложными учетными записями.

Обнаружение спам-бота

Если у вас есть спам-боты, активные на вашем сайте, скорее всего, будут…

• Увеличение числа новых учетных записей, как правило, таких, которые либо напишут 
  несколько сообщений спама или ничего.
• Увеличение количества комментариев, которые не имеют ничего общего с комментариями, 
  иногда со ссылками или без них.
• Жалобы пользователей на спам в почтовом ящике электронной почты.
• Увеличение количества спама, который попадает в почтовый ящик электронной почты, 
  подключенный к сайту.
• Иногда неразумно высокий рост посетителей сайта без увеличения активности может 
  указывать на ботов, которые собирают информацию.

Присутствие плохих ботов — это кошмар, особенно когда их работа заключается в спаме вашего
сайта со ссылками на вирусы или незаконными изображениями. Как только вы заметили 
признаки того, что бот делает что-то другое, кроме индексации для поисковых систем, 
попробуйте выполнить некоторые из следующих шагов.

1. Аутентификация зарегистрированного пользователя

Если сайт включает в себя использование учетных записей пользователей, аутентификация зарегистрированного пользователя может сократить количество учетных записей ботов, 
которые могут зарегистрироваться.

Аутентификация при регистрации использует номер телефона или адрес электронной почты, 
прикрепленный к учетной записи для «проверочного кода», прежде чем пользователь сможет 
зарегистрироваться. 

Аутентификация позволяет администратору сайта знать, что новые учетные записи имеют 
законный адрес электронной почты или номер телефона, прикрепленный к нему: большинство 
поддельных учетных записей «спама» этого не делают.

2. Использование бана

Используйте функции запрета и удаления учетных записей вашего сайта, чтобы отсеять все
новые и старые учетные записи пользователей, которые могут быть ботами.

Помимо прекращения регистрации новых ботов на вашем сайте, вы также должны убедиться, 
что вы избавляетесь от старых ботов или неактивных учетных записей, которые не должны быть там. Вы будете удивлены, как быстро спам-боты могут засорить сайт или учетную запись в 
социальных сетях -и пока вы не просмотрите список пользователей, вы можете даже не знать,
что они там были.

3. Включение капчи

Система Captcha была разработана, чтобы остановить спам-ботов с незначительными 
сложными задачами, которые путают в представлении среднего бота.

Если вы заметили слишком много спам-комментариев, проходящих через фильтр
комментариев, возможно, пришло время дополнительно включить Captcha в раздел
комментариев вашего сайта. Вы будете сокращать спам-ботов и комментарии почти
мгновенно, гарантировано.

Для сайтов WordPress вы можете рассмотреть возможность использования решения для 
защиты от спама, такое как CleanTalk.

4. Модерация комментариев

Регулярно проверяйте раздел комментариев вашего сайта. Здесь вы можете удалить спам-комментарии, которые прошли автоматической модерацию файлов-и, как правило, забанить этих пользователей.

Установите ручную модерацию комментариев, если у вас есть серьезные проблемы с 
комментариями ботов и спамом. Таким образом, каждый комментарий, размещенный на сайте, 
означает, что вы получаете электронное письмо и должны одобрить эти комментарии вручную. 
Иногда это единственный способ убедиться, что ваш раздел комментариев полностью свободен 
от ботов и спама.

5. Изменение тегов

Обилие спама в почтовом ящике сайта может означать, что боты зацепились за тег, который 
позволяет это сделать. Проблема обычно заключается в странице сайта о сайте или скрывается где-то в контактной форме сайта.

Выберите контактную форму, скрывающую адрес электронной почты, на который отправляются сообщения электронной почты. Если вы этого не сделаете, все, что должен сделать бот, чтобы 
найти правильный адрес электронной почты — это сканировать исходный код, где адрес 
электронной почты виден в тексте, а не во внешнем скрипте, который сложнее получить.

Если на странице «о программе» указан адрес электронной почты в формате, легко 
определяемом спам-ботом («adress@domain.com»), измените его на что-то другое
(«address[at]domain[dot]com») или для дополнительной безопасности переключитесь на более 
безопасную встроенную контактную форму, как описано выше.

6. Удаление неактивных пользователей и ботов

Точно так же, как комментарии должны быть вручную и регулярно проверяться 
администратором сайта, список подписчиков электронной почты и неактивных пользователей 
должен быть проверен, и все, что не должно быть там, должно быть удалено. Пользователи 
ботов, которым удалось проникнуть через цепочку аутентификации регистрации, легко 
идентифицируются и удаляются, хотя неактивные учетные записи пользователей с несколькими сообщениями также должны быть удалены.

Неактивные учетные записи пользователей — это либо боты, либо учетные записи, которые 
рискуют быть захваченными ботами: боты не всегда создают новые учетные записи, но также 
могут иногда захватывать старые и неактивные для одного и того же использования.

Вывод

Надеюсь, что, осуществляя написанное выше, вы остановите плохих ботов на своем сайте. 
Если вы используете CMS, такие, как WordPress, Joomla, Drupal и т. д. также вы можете
рассмотреть возможность использования облачной защиты безопасности, такой как SUCURI, 
не только для предотвращения спама, но и многих других онлайн-угроз.