Всем привет! Хочу поделиться с вами небольшой инструкцией, как настроить свой мониторинг простой дроп-доменов определенной тематики в зоне ru и рф.
Зачем нужно мониторить освобождающиеся домены?
Если кто-то не знает, что такое дроп домены, обязательно посмотрите это видео. Такой способ продвижения давно используют SEO специалисты для продвижения доменов на западе, но и для СНГ сайтов в Google он хорошо работает.
Что нужно, чтобы настроить мониторинг?
Есть специальные сервисы, которые предоставляют данные об освобождающихся доменах. Я написал небольшой скрипт, который фильтрует домены и присылает в ТГ. Что нужно, чтобы его настроить:
Сервер, где будет работать скрип мониторинга. Подойдет самый дешевый. Я купил себе за 169 рублей в месяц в timeweb;
Настроенный на нем Docker Compose и GIT. Это несложно. Я дам ссылки на инструкции;
Создать своего ТГ бот. Это тоже несложно сделать по инструкции;
Настроить на сервере мой скрипт мониторинга.
Что делает скрипт:
Скрипт выгружает домены backorder.ru, которые освобождаются завтра и имеют минимум одного донора;
Фильтрует их, чтобы не было доменов в реестре РКН, судебных разбирательств и не в стоп-листе на передачу прав;
Составляет список доменов с вхождением ключей в домен;
Список доменов с вхождением ключей в контент сайта. Контент берется из веб-архива;
Присылает эти списки сообщением в ТГ.
Вот как выглядит сообщение от бота:
Ключевые слова для фильтрации доменов задаются с помощью регулярных выражений. Одна регулярка для поиска ключей в домене, вторая для поиска ключей. Это нужно, чтобы найти домн определенной тематики. Можно сгенерить регулярные выражения под тематику с помощью chatGPT. Я оставил в скрипте свои регулярки для мед тематики для примера.
Контент домена выгружается из archive.org по API. Это довольно ресурсозатратная операция в плане количества запросов, т.к. нужно отправлять запросы к API по каждому домену. Поэтому я ограничил количество доменов на 1000. Но домены отсортированы по количеству доноров, поэтому скрипт проверить первую тысячу с самым хорошим ссылочным. Скрипт загружает html из снапшота сайта и просто проверяет соответствие регулярному выражению. Т.е. нет никакой лемматизации или проверки, где находится ключ (в контенте или в ссылке, или в title и т.д.). Но по моему опыту, этого достаточно если правильно составить регулярное выражение.
Инструкция по настройке мониторинга:
1) Покупаем сервер;
2) Заходит на сервер и устанавливаем Docker Compose по инструкции;
3) Устанавливаем GIT по инструкции. Клонируем мой репозиторий:cd ~
git clone https://gitlab.com/AlexanderRahmanin/hive-backorder-bot
4) Вам необходимо создать Telegram бота. Вот ссылка на инструкцию (только пункт 1. Регистрация). Прописать данные бота в .env файл.
TELEGRAM_API_TOKEN - токен, который вам выдал @botfather.
TELEGRAM_CHAT_ID - id чата, куда будет писать бот (можно узнать с помощью бота);
6) Добавить ваши регулярные выражения для фильтрации доменов в .env файл.
FILTER_REGEX_FOR_DOMAIN - регулярка для вхождения в домен. FILTER_REGEX_FOR_WAYBACK - регулярка для вхождения в контент сайта;
7) Запускаем скрипт:docker-compose up
8) Если скрипт заработал и вам пришло сообщение, значит у вас все получилось. Теперь осталось настроить выполнения скрипта по расписанию, т.е. поставить его на cron:
crontab -e
И прописываем строку45 10 * * * node “папка скрипта”/app/index.js
Подробнее про выполнение скриптов с помощью cron можно почитать тут. Но если кратко, 45 10 в строке для крон означают 10 часов и 45 минут по времени вашего сервера. Так вы можете сами настроить удобное для вас время выполнения скрипта.
Профит от скрипта и мониторинга
В результате получаем ежедневный мониторинг тематичных доменов. Далее домены, которые прислал бот, нужно проверить на ссылочные метрики. Для этого можно использовать сервис, где есть пакетная проверка, например, Ahrefs, checktrust.ru или какой-то другой. Доноров с хорошими показателями будет совсем немного, и их уже можно проверить руками, каждый отдельно.
Сразу скажу, что скрипт не сделает за вас всю работу. Вам нужно хорошо проработать регулярное выражение для поиска нужных доменов. И даже в таком случае вам будет попадаться много доменов без ссылочного. Но доменов очень много, и скрипт помогает существенно сузить круг. А за счет того, что с мониторингом эту работу можно легко вести ежедневно, есть возможность находить хорошие домен.
Сам использую данный скрипт. Недавно нашел классный домен мед домен, но об этому расскажу в отдельном кейсе. Я хочу поддерживать и дорабатывать этот скрип, поэтому если у вас есть идеи или пожелания, не стесняйтесь их писать в комментариях или мне в ЛС.
Спасибо за прочтение! Буду благодарен за подписку на мой ТГ-канал. В нем я делаю обзоры дорогих доменов, делюсь SEO-кейсами и аналитикой, которые меня заинтересовали.