Добавление функционала, который позволяет пользователям выбирать определенные категории и полностью исключать другие при поиске, может стимулировать продавцов и владельцев сайтов к честному описанию категорий и свойств товаров или ресурсов без необходимости проверок модераторами или рассмотрения жалоб от пользователей.

Уровень взаимного доверия может сильно различаться в разных сообществах. На доверие влияют не только развитые социальные связи, но и полезные практики и протоколы общения. В сетевом сообществе уровень доверия между поисковиками, владельцами ресурсов и пользователями с начала века только падает. Владельцы ресурса стараются накручивать ранг в выдаче поисковой системы, а владельцы поисковой системы с этом борются, изменяя алгоритмы работы поисковика скрытым образом. В данной статье описывается возможность создания протоколов взаимодействия между поисковиком, владельцами ресурсов и пользователями, при которых ранг поискового запроса повышается при наличии корректных метаданных, предоставляемых владельцем ресурса поисковой системе, и снижается при наличии некорректных или избыточных метаданных исключительно благодаря структуре поискового запроса, а не благодаря проверке модераторами или скрытыми механизмами проверки поисковой системой.

В обсуждении статьи про угрозу поиску Google со стороны ChatGPT ссылаются на список компаний Killed by Google, но место под могилу Google давно определил себе сам, его коммерческая модель несовместима с качественным поиском и с качественным представлением информации. Чтобы приносить прибыль, результат поиска должен позволять незаметно подмешивать рекламу, «Если Google даст вам идеальный ответ на запрос, вы не нажмёте ни на одну рекламную ссылку». Применение ChatGPT и других систем искусственного интеллекта не влияет на модель монетаризации. Для повышения качества нужны не только новые механизмы, но и модель монетаризации стимулирующая улучшения. Такая модель есть у больших платформ электронной коммерции: AliExpress, Amazon, Озона, Яндекс Маркета, Wildberries и подобных.

При поиске в интернете пользователи используют ключевые слова, а иногда исключают некоторые из них. В больших платформах электронной коммерции поиск происходит по ключевым словам и категориям товаров. Обычно исключение ключевых слов не применяется, за исключением Яндекс Маркета. Поисковики стараются упростить интерфейс и обеспечить естественность поисковых запросов со стороны пользователя, включая возможность задавать вопросы на естественном языке. Однако, такие запросы и симуляция «разумного ответа человека» со стороны ИИ могут противоречить реальной практике общения покупателя с живым продавцом. Живой продавец может служить переводчиком с технического языка по просьбе покупателя. Однако, если покупатель и продавец хорошо разбираются в теме, то их язык общения будет «менее естественным». Например, на запрос покупателя найти болт с резьбой М12 и отверстием под шплинт, продавец сразу исключит ненужные категории из своего поиска и не будет обсуждать болты без отверстия или шплинты, как Google или ChatGPT. Продавец имеет преимущество перед поисковиком еще и в том, что каталог его магазина для внутреннего использования не засорен лишними ключевыми словами и категориями товаров. Аналогично «честными» бывают электронные каталоги на сайтах отдельных магазинов и навигация по отдельному магазину на платформе, например, на AliExpress, где нет необходимости присваивать товару лишние ключевые слова и категории ради продвижения его в поиске против других товаров того же магазина.

Реализация алгоритма поиска живым продавцом в «честном» интернет-каталоге может быть организована следующим образом. Первый шаг поиска – поиск по ключевым словам. Второй шаг – не переход по полезным результатам или уточнение выбора категорий по результатам поиска, а полное исключение некоторых категорий, которым принадлежат бесполезные результаты первого шага поиска[1]. Например, в списке категорий в левом столбце у каждой категорий должно быть две взаимоисключающие галочки – одна для выбора этой категории, вторая для полного исключения всех объектов, принадлежащих к данной категории из результатов поиска. Возможность выбора, поиска и навигации по категориям стимулирует владельцев ресурса присваивать категории. Возможность исключать ненужные категории стимулирует владельцев ресурса честно присваивать только необходимые категории, чтобы избежать ошибочного исключения из результатов поиска при исключении ненужных, хотя и близких категорий. Категории можно также отображать на отдельной картинке в виде пересекающихся множеств, а не только в виде списка с изображением типового представителя. Каждый домен на картинке может выбираться или исключатся. Реализация алгоритма поиска живым продавцом в «честном» интернет-каталоге

Метод исключения категорий работает только если владелец ресурса действительно продвигает свой ресурс для заинтересованных пользователей, например, продает реальные товары, а не пытается спамить определенные поисковые запросы. Метод сам по себе работает в электронной коммерции, но требует каких-то дополнительных механизмов борьбы со спамом в остальной сети, например механизмов разобранных в Манифесте В++. Метод исключения категорий таже может применяться при навигации в соцсетях, где можно применять категории к постам пользователей или авторам.

Примеры: сочетание поиска по ключевым словам с выбором категорий работает плохо

Попытаемся найти на Яндекс-Маркете женский кардиган из кашемира. Результат содержит не кардиганы и кардиганы не из кашемира. Исключение ключевых слов для уточнения результата бесполезно. Навигация по категориям тоже плохо работает: выбираем «Одежда и обувь / Женщинам / Джемперы, свитеры, кардиганы», а затем Тип = кардиган, Состав = кашемир. После этого остается крайне небольшой выбор первые позиции в котором на момент написания статьи занимают кардиганы с составом «акрил 50%, шерсть 50%», но кардиганы из 100% кашемира тоже есть. Кардиган «вискоза 52%, полиамид 21%, полиэстер 27%», занимавший первую позицию в поиске по ключевым словам, был справедливо исключен из результатов поиска по категориям. Яндекс-маркет, либо неэффективно обрабатывает поле «Состав», либо продвигает товары, не относящиеся к категории поиска, либо позволяет продавцам самим выбирать категории и злоупотреблять этим выбором, не учитывая фактическое значение поля «Состав» в описании товара.

Если пользователь или продавцы плохо представляют к какой категории принадлежит и как называется товар, который он ищет, то поиск проводить ещё сложнее. Приведём простой пример на английском[2]: поиск услуги на Alibaba integrated circuit packaging, то есть корпусированию кремниевых кристаллов в корпуса интегральных схем методом wire bonding. При таком поиске необходимо исключить услуги продавцов «integrated circuit», а также услуги по упаковке товаров в ящики и коробки «packaging», включая упаковку с обвязыванием проволокой, хотя поиск по картинкам в Google wire bonding указывает преимущественно на метод разварки контактов при корпусировании микросхем. При открытом запросе на сервис integrated circuit packaging на Alibaba или поиске по терминам большая часть результатов будет от оптовых продавцов микросхем и электронных компонент, какая-то доля результатов от производителей и сборщиков печатных плат, какая-то доля от услуг по упаковке и от производителей упаковки. Для эффективного запроса на платформе нельзя исключать термины integrated circuit и packaging, так как исключение любого из этих терминов исключит integrated circuit packaging целиком. Решением проблемы о необходимо исключать категории товаров и поставщиков услуг, то есть категории integrated circuit, packaging и другие не относящиеся к поисковому запросу категории по мере их обнаружения, но не ключевые слова.

Послесловие

Данная статья написана в рамках развития идей Торонтской школы коммуникации и приложения этих идей к решению практических задач интернета. Торонтская школа коммуникации изучает существующие технологии общения людей и предлагает новые технологии (протоколы) общения.  В рамках критики протоколов общения я разбирал как существующие протоколы общения приводят к провалам научных теорий. Подход Торонтской школы коммуникации предполагает, что новые технологии общения большого количества людей способны воздействовать на мышление людей и развивать «коллективные разумы» на базе новых протоколов, например В++. Протоколы одноранговых сетей «коллективного разума» следует считать альтернативой платформам с серверами и ИИ.


[1] Уточнение запроса с исключением ключевых слов не может заменить исключение категорий, так одни и те же ключевые слова могут присутствовать в описании взаимоисключающих категорий, а описание товара может содержать слова, используемые в описании категорий, не относящихся к данному товару. Вместо исключения ключевых слов необходимо исключать категории, но механизм исключения категорий не представлен в поисковых системах. Платформы электронной коммерции показывают список категорий или позволяют навигацию по категориям, относящихся к найденным товарам, что позволяет снять выбор с некоторые из них, но оставляет проблему избыточного или неаккуратного присвоения категорий.

[2] Данный пример плохо переводится на русский из-за более узкого термина «корпусирование» применяемого в русском языке, вместо более широкого термина «packaging», «упаковка» при прямом переводе на английский.

Комментарии (8)


  1. Maximov_psy
    00.00.0000 00:00

    Возможно, я не совсем понял идею статьи, но чем это отличается от интерфейса условного Авито?


    1. vignatovic Автор
      00.00.0000 00:00

      Возможностью исключать категорию В, то есть все товары в какой-то категории В полностью из поиска.

      Выбор категории А и исключение категории В это А\В.

      Если А и В пересекаются, то А\В != выбор А и не выбор В, что всегда просто А.

      См. заглавную картинку поста.


  1. VladimirFarshatov
    00.00.0000 00:00

    Сам по себе подход "категорирования товаров" в группы и подгруппы - кмк, сильно ущербен. Попробуйте для развлечения совместить каталог хотя бы 3-4 продавцов из одной и той же ниши - повеселитесь.

    Давно (2006-2011) занимался этой проблемой, начав как раз с попытки совместить 3 рубрикатора от разных рекламных изданий (ещё печатные СМИ).. проблемы:

    1. Во главу угла (верхний уровень) также как у Вас в статье ставится свойство товара "назначение" (Одежда обувь). Начать с того, что это несколько разное назначение (применение) т.к. никто ботинки не одевает на голову как шапку, и продолжить тем, что товар часто имеет множественное назначение.

    2. Для дальнейшего внесения путаницы авторы вводят "подкатегории", которые зачастую или а) уточняют назначение "женская одежда" или делят множественную категорию, а бывает что в подкатегорию попадают товары .. по иному признаку "из кашемира".

      Ещё тогда родилась простая как мычание идея: нет никаких "категорий" и "рубрикаторов". Есть товар (услуга, понятие) как имя Существительное (брал словарь Зализняка) и его описание свойств. Назначение - одно из. Да, свойство может быть коллекцией и часто выражается Прилагательным.

      Второй момент - "наборы товаров".. в целом, любой товар является "набором" - свойство "состав".

      Типовые свойства, мало интересные покупателю, но часто сильно влияющие на его выбор и цену: фасовка, упаковка, гарантия (как Услуга) - сопутствующие товары.

      Создайте БД имен существительных, с возможностью дополнять описание прилагательными и составом(комплектом, набором). Разберите свои прилагательные (они иногда забавны) по принадлежности к существительным, которые станут вашим "каталогизатором" и придайте им "веса" - получите "рубрики" и "подкатегории", которые и станут вашим поисковым фильтром.

      Собственно это фсё. Когда-то пробовал крутить такое на Сфинксе.. но железо оказалось "слабовато". Сейчас времена иные и ресурсов у многих в достатке.


    1. vignatovic Автор
      00.00.0000 00:00

      Задача классификации и кодирования не решается однозначно и всегда будет иметь противоречия. Я не предлагаю полной однозначности при назначении категорий товара. Возможность исключать категории может стимулировать избегать явного спама при назначении категорий, но прямо не решает проблемы избыточности.

      Если категории могут исключаться при поиске, то у продавцов товара из одной и той же ниши появится стимул более тщательно и единообразно задавать категории сходных товаров, чтобы не быть случайно исключенными. Есть шанс что единообразие каталогов появится со временем.


      1. vorphalack
        00.00.0000 00:00

        на авито еще свои хохмы вылезают, одна и та же штука может быть в бытовой электронике, каком-нить "оборудовании для" или вообще в коллекционировании. модераторы? им пофиг, и они друг с другом не согласны.
        (вдогонку замечу, что по некоторым категориям там надо сажать предметных спецов, к сожалению)


  1. Autodrom
    00.00.0000 00:00

    Как по мне так начать нужно с женских требований к продавцу по заполнению карточек товара !!! А если продаван пишет всякую ересь в надежде, что товар отдуплится по поиску то искусственно обрезать лишний хлам в карточке!

    Поиск то сразу улучшится но вряд ли это будет интересно владельцу площадки да и продавцу, а о пользователях думают точно в самую последнюю очередь!

    За последние 10-15 лет инет превратился с сплошную помойку, где что-то найти это надо потратить почти столько же времени, как решить задачу самому (ГДЗ не в счет)


    1. vignatovic Автор
      00.00.0000 00:00

      Если есть возможность исключения категорий в поиске и это исключение используется пользователями, то товар с лишними категориями будет просто исчезать из результатов поиска. Жесткие требования к продавцу становятся ненужными, так как продавец сам себя будет наказывать за всякую ересь в карточке.


    1. Autodrom
      00.00.0000 00:00

      ЖЕСТКИХ)))