Публикации с тегом robots.txt
Почему ИИ для программирования выбирает одни и те же библиотеки: я просканировал 30 сайтов документации +4
ChatGPT не открывает страницу в 93% быстрых ответов: что видит модель и что чинить на сайте
Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude +3
Я устал проверять сайты постранично и сделал свой сайт проверок HeadInspect +14
Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают +3
SEO трафик на сайте есть, а заявок нет. Я полез в серверные логи и посмотрел, кто на самом деле «ходит» на сайт +7
Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты +5
Карго-культы технического SEO: что robots.txt и sitemap.xml делают на самом деле -1
AI-краулеры в 2026: кого пускать в robots.txt, чтобы попадать в ответы ИИ +3
GEO — техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3 +5
Cloudflare стал из «трубы» вахтёром и кассиром Интернета +6
Почему Google не индексирует страницы, хотя технически всё в порядке +7
Маленький файл robots.txt и большие последствия одной строки +3
Спор про llms.txt не сходится: и критики, и хайп меряют не тот слой +1
