Я спросил у пары чат-ботов, кто ведёт мой блог, и получил ответы про трёх разных людей с похожими никами. У одного из них аккаунт в соцсети, и его ник отличается от моего только подчёркиванием. Сайт у меня статический: лендинг на Next.js с output: export и блог, который собирает из markdown питоновский скрипт build-blog.py. 10 ноября я за вечер переделал разметку автора, переписал страницу «об авторе» и выложил llms.txt. Через два дня полез в журнал nginx посмотреть, кто это всё прочитал. Почти все ИИ-боты в журнале оказались одним сканером, который ищет .env.
Домен везде заменён на example.com, ники на заглушки, IP-адреса в журнале на адреса из документационных диапазонов. Остальной код взят из рабочих файлов.
Как было до 10 ноября
Страница автора и разметка Person появились в блоге ещё 11 сентября, коммит назывался «блок автора, страница автора, Person в разметке». На главной, которую собирает Next, лежала разметка ProfessionalService, и в её sameAs стояла одна ссылка, на личку в Телеграме:
sameAs: [TELEGRAM_URL],
В блоге sameAs у автора выглядел так:
"jobTitle": "AI-автоматизация для бизнеса", "sameAs": ["https://t.me/<канал>", "https://t.me/<личка>", "https://dzen.ru/<канал>"],
Получалось, что главная и блог описывают одного человека двумя разными наборами ссылок и друг на друга не ссылаются. Хабр, TenChat и аккаунт с видео в разметку не попали совсем. Да и «Эмиль Изи», как меня на самом деле ищут, нигде не было записано: в name стояло просто «Эмиль».
sameAs в двух местах
Главная и блог собираются разными инструментами, общего конфига у них нет. Я завёл список площадок в TypeScript, продублировал его в Python и в обоих местах оставил комментарий, где лежит вторая копия. Криво, но работает без общей сборки. В next-site/src/content/seo.ts:
// Все официальные площадки — для `sameAs` в разметке: по ним поисковики и // нейросети склеивают упоминания в один бренд. Та же пятёрка — в build-blog.py (AUTHOR_LD). // instagram.com/<похожий-ник> — ЧУЖОЙ аккаунт, не ставить. export const BRAND_PROFILES = [ "https://t.me/<канал>", "https://www.instagram.com/<ник_с_подчёркиванием>/", "https://habr.com/ru/users/<ник>/", "https://tenchat.ru/<ник>", "https://dzen.ru/<канал>", ];
Строчку про чужой аккаунт я писал для себя же через полгода. Ник без подчёркивания выглядит «правильнее», рука сама тянется поправить, а он принадлежит другому человеку, и в sameAs разметка склеила бы нас в одного.
Разметка на главной, next-site/src/components/json-ld.tsx, после правки:
const PROFESSIONAL_SERVICE_JSON_LD = { "@context": "https://schema.org", "@type": "ProfessionalService", name: "Emil Easy", url: `${SITE_URL}/`, image: OG_IMAGE.url, // description, areaServed, address без изменений sameAs: [TELEGRAM_URL, ...BRAND_PROFILES], founder: { "@type": "Person", "@id": `${SITE_URL}/blog/author.html#person`, name: "Эмиль", alternateName: ["Эмиль Изи", "Emil Easy"], url: `${SITE_URL}/blog/author.html`, }, };
Ради @id всё и затевалось. У founder на главной и у author в каждой статье блога теперь один идентификатор, https://example.com/blog/author.html#person, и парсер JSON-LD может сложить всё, что про этот узел написано на разных страницах. До правки у главной и блога были два разных Person с одинаковым именем.
В alternateName оба написания. Кириллицей меня ищут транслитом на слух, «Эмиль Изи», и этой строки на сайте раньше не было ни разу.
Блоговая половина, build-blog.py:
AUTHOR_URL = f"{SITE_URL}/blog/author.html" AUTHOR_LD = { "@type": "Person", "@id": f"{AUTHOR_URL}#person", "name": "Эмиль", "alternateName": ["Эмиль Изи", "Emil Easy"], "url": AUTHOR_URL, "image": f"{SITE_URL}/assets/<аватар>.jpg", "jobTitle": "Нейросети и ИИ-агенты для предпринимателей", # Та же пятёрка площадок — в next-site/src/content/seo.ts (BRAND_PROFILES). "sameAs": ["https://t.me/<канал>", "https://t.me/<личка>", "https://www.instagram.com/<ник_с_подчёркиванием>/", "https://habr.com/ru/users/<ник>/", "https://tenchat.ru/<ник>", "https://dzen.ru/<канал>"], }
Словарь уходит в author у BlogPosting каждой статьи ("author": AUTHOR_LD) и целиком на страницу автора. Под статьёй ещё есть видимый блок с фото и ссылкой на author.html. Я стараюсь, чтобы всё, что лежит в JSON-LD, было и словами на странице: разметка, у которой нет видимого текста, выглядит подозрительно для любого парсера.
Страница автора под запрос «кто это»
author.html я переписал так, чтобы она прямо отвечала на вопрос, который задают поиску и чат-ботам. <title> был «Эмиль — автор блога», стал «Эмиль Изи (Emil Easy): кто это и чем занимается». В <h1> оба написания, первый подзаголовок «Кто такой Эмиль Изи», и в первом абзаце одной фразой сказано, что это бренд, где сайт и где канал.
Страницу генерирует тот же сборщик, разметка на ней чуть богаче, чем у статей:
def render_author(): desc = ("Эмиль Изи (Emil Easy) из <город>: нейросети и ИИ-агенты для предпринимателей, " "сайты, Telegram-боты и автоматизация под ключ. Что сделал, где читать и как связаться.") person_ld = json.dumps({"@context": "https://schema.org", **AUTHOR_LD, "description": desc, "worksFor": {"@type": "Organization", "name": "Emil Easy", "url": f"{SITE_URL}/"}}, ensure_ascii=False, indent=2) ld = f' <script type="application/ld+json">\n{person_ld}\n </script>\n'
Без ensure_ascii=False кириллица в разметке превращается в \u042d\u043c.... Парсеру всё равно, а мне потом через curl это читать.
Внизу страницы те же площадки обычными ссылками, у соцсети звёздочка и сноска про Meta. Проектов на странице пять строк с цифрами.
llms.txt
Лежит в next-site/public/llms.txt, Next при экспорте копирует его в корень сборки. Формат markdown: заголовок, цитата-описание в одну фразу, разделы со ссылками. Ниже начало файла, дальше в разделе площадок идут Хабр, TenChat и Дзен, те же ссылки, что в sameAs:
# Emil Easy (Эмиль Изи) > Эмиль из <город>, бренд Emil Easy (Эмиль Изи), сайт example.com. Нейросети и ИИ-агенты > для предпринимателей: <чем занимается>. Работает по всей России. ## Главное - [Главная](https://example.com/): кто такой Эмиль, <что на главной>. - [Об авторе](https://example.com/blog/author.html): кто он, какие проекты сделал, где его читать. - [Блог](https://example.com/blog/): статьи про <темы> с ценами, сроками и разбором ошибок. ## Официальные площадки - Telegram-канал: https://t.me/<канал> - Instagram: https://www.instagram.com/<ник_с_подчёркиванием>/ (аккаунт instagram.com/<похожий-ник> автору не принадлежит)
Про чужой аккаунт здесь написано прямым текстом, в разметке такое не выразишь.
Читает ли llms.txt хоть кто-то, я не знал. Формат только предложен, стандартом его никто не утверждал. Файл меньше двух килобайт и на сборку не влияет, так что выложил и решил проверить по журналу.
Выложил вечером 10 ноября и сразу отправил главную, страницу автора и llms.txt в IndexNow. В журнале это выглядело так (время UTC):
192.0.2.10 - - [10/Nov/2026:16:39:35 +0000] "GET /llms.txt HTTP/2.0" 404 11112 "-" "curl/8.7.1" 192.0.2.10 - - [10/Nov/2026:17:16:58 +0000] "GET /llms.txt HTTP/2.0" 200 1926 "-" "curl/8.7.1" 198.51.100.229 - - [10/Nov/2026:17:17:52 +0000] "GET /blog/author.html HTTP/2.0" 200 3975 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 203.0.113.51 - - [10/Nov/2026:18:04:06 +0000] "GET /llms.txt HTTP/2.0" 200 1926 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
Первые две строки — мой curl до выкладки и после. Через минуту YandexBot забрал страницу автора, это IndexNow. Через 47 минут за llms.txt пришёл AhrefsBot. И всё: за двое суток ни один ИИ-бот llms.txt не запросил. Остальные запросы к нему — опять я и сканеры, которые получали 404 и 410 на других доменах этого сервера.
Журнал nginx
Сразу о том, что мешало. На сервере несколько сайтов, журнал общий, формат стандартный combined, без $host. По строке не понять, к какому домену был запрос, свой я узнаю только по путям, которые есть только у меня: /blog/author.html, /llms.txt, адреса статей. С /robots.txt и /sitemap.xml так не получится.
Ротация хранит 14 дней. Склеил всё в один файл и посчитал подписи ботов:
zcat -f access.log.*.gz access.log.1 access.log > /tmp/all.log grep -oiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|DeepSeek|DuckAssistBot|cohere-ai|Meta-ExternalAgent|YandexBot" /tmp/all.log | sort | uniq -c | sort -rn
1825 ClaudeBot 1640 GPTBot 1489 OAI-SearchBot 1392 ChatGPT-User 1376 Claude-SearchBot 1367 DeepSeek 1336 DuckAssistBot 1319 Claude-User 1314 cohere-ai 1305 PerplexityBot 1293 Meta-ExternalAgent 301 YandexBot
Первая реакция была «ого, ИИ-краулеров впятеро больше, чем Яндекса». Потом бросилось в глаза, что у совершенно разных компаний цифры почти одинаковые, от 1290 до 1400. Посмотрел адреса:
for b in GPTBot OAI-SearchBot ClaudeBot Claude-SearchBot PerplexityBot; do echo "== $b"; grep "$b" /tmp/all.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -4 done
У каждой подписи наверху один и тот же адрес, около тысячи запросов на подпись. За 1 и 2 ноября с него пришло 36 066 запросов под 34 разными User-Agent. Обратная зона googleusercontent.com, то есть арендованная машина в Google Cloud. Вот что этот «cohere-ai» спрашивал:
203.0.113.21 - - [02/Nov/2026:00:08:01 +0000] "GET /sitemap_index.xml HTTP/1.1" 200 219 "-" "Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)" 203.0.113.21 - - [02/Nov/2026:00:08:03 +0000] "GET /api/system/fileView?file=/proc/self/environ HTTP/1.1" 200 213 "-" "Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)" 203.0.113.21 - - [02/Nov/2026:00:08:04 +0000] "GET /docker-compose.yaml HTTP/1.1" 200 213 "-" "Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)"
Самые частые пути с этого адреса:
328 /login 181 /graphql 93 /console 92 //.env 91 /.zshrc 91 /wrangler.toml 91 /.vercel/project.json 91 /var/run/secrets/kubernetes.io/serviceaccount/token 91 /v2/.env
Обычный сканер секретов, который перебирает подписи известных ботов в расчёте, что кто-то пускает ИИ-краулеры мимо фильтров. На ответ 200 с телом в 213 байт я сначала напрягся, потом вспомнил, что для неизвестных путей на этом сервере стоит заглушка. Кроме этого адреса, те же подписи приходили ещё с 18 адресов Google Cloud, по несколько десятков запросов с каждого.
Как отличить настоящего
OpenAI публикует свои сети в JSON, с ними просто. Прогнал адреса из журнала по спискам:
for u in https://openai.com/gptbot.json https://openai.com/searchbot.json; do echo "== $u" curl -s "$u" | python3 -c " import sys, json, ipaddress as I d = json.load(sys.stdin) p = [x.get('ipv4Prefix') for x in d['prefixes'] if x.get('ipv4Prefix')] print(d.get('creationTime'), len(p)) for ip in ['198.51.100.44', '203.0.113.21']: print(ip, any(I.ip_address(ip) in I.ip_network(n) for n in p))" done
== https://openai.com/gptbot.json 2026-09-22T02:00:07.000000 18 198.51.100.44 True 203.0.113.21 False
С ClaudeBot сначала попробовал как с Googlebot, через обратную зону, и упёрся: у настоящих адресов её просто нет, host ничего не находит. whois показывает Amazon, а такого же JSON со списком сетей, как у OpenAI, я у Anthropic не нашёл. В итоге настоящими посчитал запросы из одной подсети, которые ведут себя как краулер: сначала robots.txt, потом карта сайта, потом страницы.
После сверки картина такая. У GPTBot из 1640 запросов в опубликованные сети OpenAI попали 333, остальные 1307 пришли из Google Cloud. У OAI-SearchBot настоящих 90 из 1489. У ClaudeBot по моему подсетевому критерию 484 из 1825, ещё 1340 из облака. А Claude-SearchBot, Claude-User и PerplexityBot за две недели вообще ни разу не пришли ни с одного адреса, кроме облачных машин сканеров.
Настоящий GPTBot ходил по статьям блога 11 и 12 ноября, вместе со стилями и картинками, как браузер:
198.51.100.44 - - [11/Nov/2026:13:26:51 +0000] "GET /blog/<статья>.html HTTP/2.0" 200 6685 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)" 198.51.100.44 - - [11/Nov/2026:13:26:57 +0000] "GET /blog/blog.css?v=20261110b HTTP/2.0" 200 3065 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"
Настоящий ClaudeBot за 14 дней сделал 352 запроса к /robots.txt, 82 к /sitemap.xml, 10 к главной и 11 к страницам блога. Робот и карту он мог брать и у соседних доменов, журнал без $host этого не различает. YandexBot за то же время запросил /blog/ 215 раз.
Если считать ИИ-трафик просто по User-Agent, у меня выходило примерно впятеро больше, чем после сверки адресов.
Кто пришёл на страницу автора
Больше всего меня интересовал author.html. За две недели его запросили:
192.0.2.72 [01/Nov/2026:16:03:05 GET /blog/author.html ... Googlebot/2.1 192.0.2.88 [03/Nov/2026:09:46:58 GET /blog/author.html ... PetalBot 192.0.2.17 [06/Nov/2026:04:04:03 GET /blog/author.html ... Applebot/0.1 192.0.2.143 [06/Nov/2026:12:51:14 GET /blog/author.html ... ExaSearchBot/1.0 198.51.100.229 [10/Nov/2026:17:17:52 GET /blog/author.html ... YandexBot/3.0 192.0.2.225 [10/Nov/2026:18:33:02 GET /blog/author.html ... YandexBot/3.0 192.0.2.9 [11/Nov/2026:17:38:24 GET /blog/author.html ... YandexBot/3.0
Плюс SEO-краулеры (Semrush, Serpstat, SE Ranking) и пара ботов поменьше, Reflectionbot и ElevenlabsCrawler. Из ИИ-поисковиков, ради которых я всё это затевал, на страницу автора дошёл только Exa, и то 6 ноября, до правок. GPTBot и ClaudeBot её пока не запрашивали, так что прочитал ли кто-то из них новую разметку, по двум дням журнала не скажешь. В начале декабря снова спрошу у чат-ботов, кто я такой, и сравню с ответами до 10 ноября, а $host в log_format добавлю раньше.
predpremi
Ожидал высоких материй, а пришел обычный парсер за .env - классика.