Вопрос один и тот же. Город тот же. Нейросеть та же. Между попытками — минуты.

Первый раз она называет 9 сайтов. Второй — 12. Третий — 7. Во всех трёх попытках совпали пять названий из пятнадцати. Почти половина сайтов мелькнула ровно один раз и больше не появилась.

Это станет важным для вас, если вам когда-нибудь предложат «продвижение в нейросетях» и покажут отчёт с процентами.

Ниже — проверка на десять минут, которая отличает настоящий замер от красивой картинки. Она бесплатная, делается руками, без единого сервиса. И да, первым на ней попался я сам: две недели назад я опубликовал здесь цифру, которая оказалась моим же случайным разбросом. Разбор своей ошибки — дальше по тексту, вместе с деньгами, которые эта ошибка могла стоить клиенту.

Зачем вам это вообще

Люди перестали формулировать запросы как раньше. Вместо «сантехник Иркутск цены» человек пишет ассистенту: «у меня течёт труба, кому позвонить». В ответ приходит не десять синих ссылок, а готовый текст: вот кому звонить, вот эти компании.

Если в этом тексте вас нет — клиент к вам не придёт и даже не узнает, что вы существовали. Он не увидит второй страницы выдачи, потому что второй страницы больше нет.

Отсюда выросла целая услуга: замерить, называют ли вас нейросети, и сделать так, чтобы называли. Цены на рынке — от 20 тысяч рублей в месяц. Услуга нормальная, я сам ей занимаюсь. Проблема в том, что проверить её качество заказчику нечем: отчёт выглядит убедительно в любом случае.

Что на самом деле происходит внутри

Простыми словами: нейросеть не хранит список «лучших сантехников Иркутска». Каждый раз, получив вопрос, она заново решает — идти ли ей в интернет вообще, что именно там спросить, какие из найденных страниц взять в ответ.

Каждый из этих выборов может пойти по-разному. Поэтому один вопрос, заданный трижды, — это три отдельных решения, а не три копии одного.

Сравнение, которое всё объясняет: это как спросить трёх разных консультантов в трёх разных магазинах. Каждый назовёт то, что вспомнил и что было под рукой. Списки будут разными, и ни один из них не будет враньём.

Теперь представьте, что подрядчик спросил один раз и принёс вам этот единственный список как «вот кого рекомендует нейросеть». Или, того хуже, сравнил два таких списка между собой и объявил разницу результатом своей работы.

Мой замер, на цифрах

Я спрашивал про бытовые услуги в Иркутске: сантехник на дом, электрик, муж на час, сборка мебели. Одна и та же нейросеть с доступом в интернет, город задан жёстко, три захода подряд.

Всего за три попытки прозвучало 15 разных сайтов. Из них:

• 5 назывались во всех трёх попытках;

• 3 — в двух из трёх;

• 7 — ровно один раз.

По одному запросу — «вызвать электрика на дом» — первая и третья попытки не совпали вообще ни одним сайтом. Три разных ответа на один вопрос за десять минут.

Вот что это значит на практике. Допустим, вы заказали замер, вам сказали «вас упоминают в 20% ответов». Через месяц вы заплатили за работу, замерили снова — стало 25%. Похоже на рост? На моих цифрах разброс между двумя попытками в один и тот же день доходит до половины списка. Такой «рост» мог случиться сам, без единого действия подрядчика. И падение — тоже.

Как я попался на этом сам

Две недели назад я опубликовал здесь статью про то, как разные нейросети отвечают на вопрос о мастере в Иркутске. Там была цифра, которой я гордился: при смене версии нейросети список сайтов обновляется на три четверти. Вывод звучал внушительно — замер устаревает вместе с моделью, вчерашние данные показывают картину, которой уже нет.

Цифру я получил так: снял список старой версией, снял новой, сравнил. По одному разу каждой.

А потом померил то, что должен был померить сначала: насколько список меняется, если вообще ничего не менять. Оказалось — примерно на столько же. Мой «эффект новой версии» был неотличим от обычного разброса. Я сравнил два случайных списка и объявил разницу законом природы.

Цифру отзываю. Не потому что кто-то поймал, а потому что проверил сам и она не подтвердилась.

Стоило это признание того, чтобы писать отдельную статью? Да, и вот почему. Замер, который нельзя перепроверить, — это не измерение, а мнение в табличке. Если я продаю проверяемость, мне придётся показывать и те проверки, которые бьют по мне.

Что при этом всё-таки измеряется надёжно

Иначе получится «всё врут, ничего мерить нельзя» — а это неправда.

Проверку повторами пережили вещи простые, без процентов.

Называют вас или нет. Мой собственный сайт, правда ещё новорожденный, не назвали ни разу — во всех сорока вопросах пяти замеров за полтора месяца. Это устойчивый ноль, и это факт, а не колебание.

Местные вас или не местные. В том же иркутском замере одна нейросеть находила местные компании во всех трёх попытках, а другая на вопрос про Иркутск советовала фирмы из Одессы, Киева и Минска — тоже во всех попытках. Разница не в процентах, а «да» против «нет».

Кто держится в ответах постоянно. Пять сайтов из пятнадцати были во всех трёх попытках. Вот это ваши настоящие конкуренты в ответах нейросети. Остальные десять — случайные попутчики, и гоняться за ними бессмысленно.

Правило, к которому всё сводится: надёжно измеряется «есть или нет», подтверждённое повторами. Точные проценты и позиции в списке — нет.

Три вопроса тому, кто продаёт вам замер

Задайте их до оплаты. Ответы занимают минуту, а стоят они вам десятков тысяч рублей в год.

1. Сколько раз вы задавали каждый вопрос? Если один — вам покажут одну попытку из многих возможных. Не обязательно неверную. Просто непроверенную. Нормальный ответ — «минимум два, при расхождении третий».

2. В скольких ответах нейросеть вообще ходила в интернет? Она может ответить и по памяти, вообще никуда не заглянув. Такой ответ не говорит о вашей видимости ничего — а в отчёт он попадает как «вас не упомянули». Это разные вещи, и подрядчик обязан их разделять.

3. Отдадите ли сырые ответы? То есть сами тексты, которые выдала нейросеть, а не только сводку с процентами. Если нет — проверить отчёт вам будет сложнее.

Проверка за десять минут, своими руками

Не нужен ни сервис, ни подрядчик.

1. Откройте любой ИИ-поиск: Алису, ChatGPT, DeepSeek — что угодно, где есть доступ в интернет.

2. Задайте вопрос словами вашего клиента. Не обязательно: «ремонт квартир Москва», а «нужно поменять проводку в двушке, кому звонить».

3. Выпишите компании и сайты из ответа.

4. Задайте тот же самый вопрос ещё два раза. Новый чат, ничего не меняя в формулировке.

5. Сравните три списка.

Что вы увидите и что с этим делать:

• Вас нет ни разу. Это самый частый и самый честный результат. Значит, задача не «поднять процент», а появиться в принципе.

• Вы есть во всех трёх. Отлично, и теперь вы знаете, что это не случайность.

• Вы есть в одном из трёх. Вот эта ситуация и есть ловушка. Подрядчик, который спросит один раз и попадёт на удачную попытку, покажет вам красивый отчёт. А клиент, который спросит в другой момент, вас не увидит.

• Списки разъезжаются сильно. Значит, любые проценты в отчётах по вашей нише надо делить на разброс, а разговаривать имеет смысл только про «есть или нет».

Десять минут. Ноль рублей. После этого с вами будет сложно разговаривать на языке красивых процентов — и это ровно то, чего я хотел.

Что здесь может быть не так

Разбираю слабости сам, иначе это будет такой же отчёт с процентами.

Проверка небольшая: четыре вопроса, три попытки, один город, одна нейросеть. Этого достаточно, чтобы показать разброс, и недостаточно, чтобы называть точные числа свойством всех нейросетей сразу.

Часть разброса — не «капризы нейросети», а живой интернет: поисковая выдача под капотом меняется сама. Для вас как заказчика разницы нет — цифра в отчёте пляшет в любом случае, — но для диагноза «виновата модель» у меня доказательств нет.

Бытовые услуги — самая забитая ниша, там сотни похожих сайтов, и нейросети есть из чего выбирать. В узкой профессиональной теме, где подходящих страниц пять штук, разброс наверняка будет меньше. Проверьте на своей — за десять минут и ноль рублей это теперь умеет каждый читатель.

Что меня переубедит. Если кто-то покажет серию из десяти попыток, где списки совпадают почти полностью, — значит проблема не в самой технологии, а в конкретном инструменте, которым мерил я. Напишите, если у вас так получилось: интересен и обратный результат с вашей позиции.

Дисклеймер. Замеры видимости в ИИ-поиске — то, чем я занимаюсь в проекте neuro_leads. Это разбор собственной ошибки и инструкция, как проверить любого подрядчика, включая меня.