Я Майя Шуралева, UX-исследователь в Экстерне. Сегодня расскажу вам, как устроен RAG-поиск по архиву UX-исследований в Контуре.

За много лет работы в разных продуктах Контура накопилась большая база проведенных качественных и количественных исследований.

Огромное знание распределено между людьми и разрозненными местами хранения артефактов. Чтобы ответить на простой вопрос «что мы уже знаем?», нужно вспомнить, были ли уже исследования на эту тему, найти нужный файл и вычитать имеющиеся материалы в поисках ответа. Если исследователь, обладающий контекстом по проведенным исследованиям, ушёл в другой проект — поиск ответа на вопрос может надолго затянуться. В итоге команда рискует повторить уже проведенное исследование, либо принять некачественное решение «по памяти».

Мы попробовали закрыть эту проблему RAG-поиском по архиву документов исследований всего Контура. В статье расскажу, что оказалось важным при внедрении инструмента, какие задачи он уже позволяет закрывать, а где мы до сих пор не готовы ему доверять.

Что делает RAG-поиск

RAG (retrieval-augmented generation) ищет в вашем архиве исследований релевантные источники и выдает их ответом на ваш запрос.

Качество ответа такого ассистента определяется двумя факторами:
- Структура организации архива исследований
- Насколько подробно составлен вопрос к ассистенту.

Корпус важнее модели

Первое, что мы сделали — договорились о структуре артефактов исследований. Каждое исследование — папка с набором файлов:
- вводные по исследованию (контекст, цели, гипотезы, аудитория, метод, сроки),
- ключевые выводы,
- рекомендации для команды разработки,
- ссылки и артефакты.

Мы решили остановиться именно на такой структуре, чтобы во всех продуктах Контура была единая система хранения файлов исследования. Так RAG-поиск может проще и быстрее находить требуемые данные по ключевым словам в каждом исследовании.

Составление запроса RAG-поиску

В запросе должны быть указаны: продукт, тема, сегмент, период и что именно нужно узнать. Запрос должен быть конкретным: при слишком общем запросе ассистент принесет много лишней информации. Вот примеры формулировок, которые дают хороший ответ:

  • перед запуском нового исследования: «Что мы уже узнавали у ИП, которые сами сдают отчётность, про продление в 2024–2026 годах: какие выводы, с какой выборкой работали и какие вопросы остались открытыми?»;

  • проверка «не спрашивали ли мы это у пользователей»: «Были ли исследования, где спрашивали про фильтр по коду ИФНС? Если да — что выяснили?»;

  • сборка контекста по сегменту: «Собери все исследования по аутсорсерам за 2025–2026 годы: тема, метод, выборка, ключевые выводы, ссылки»;

Что получается хорошо

Там, где вопрос звучит как «найди и покажи», ассистент справляется хорошо. Инструмент помогает искать ответы на вопросы как исследователям, так и другим ролям в продуктовой команде. В каких сценариях RAG-поиск особенно полезен:

  • перед запуском нового исследования — что уже узнавали у пользователей по этой теме, с какой выборкой работали, что выяснили и какие вопросы остались открытыми;

  • сборка контекста по сегменту или сценарию — вместо ручного поиска материалов в разных источниках можно получить полный список исследований по теме и выводы к ним;

  • проверка «не спрашивали ли мы это у пользователей»;

  • онбординг — новый человек в команде может быстро получить контекст по основным сценариям и сегментам продукта без необходимости самостоятельного поиска материалов;

  • сверка лет — похожие исследования разных лет хранятся и анализируются вместе; сразу видно, что изменилось, а что осталось прежним.

Что пока получается слабо

  • Есть ограничение на чтение таблиц и изображений RAG-поиском,

  • Свежесть исследований нужно проверять. RAG-поиск не учитывает, что какие-то выводы могли уже стать неактуальными.

  • Артефакты некоторых исследований могут храниться с закрытым доступом. Необходимо переносить материалы в другое пространство или искать авторов исследования и запрашивать доступ к файлам.

Заключение

RAG-поиск по архиву исследований — это способ наконец воспользоваться тем, что мы уже знаем. Его внедрение требует определенной подготовки, так как качество ответа во многом определяется грамотной организацией архива исследований. Пока каждое исследование — это папка с вводными, выводами, рекомендациями и артефактами, ассистент находит нужное и честно ссылается на источник, не искажая результаты. 

Однако у текущего инструмента есть и ограничения. Ассистент слабо читает таблицы и изображения, а самое ценное в отчётах часто лежит именно в них. Он не знает, что какие-то выводы уже устарели: свежесть и применимость результата по-прежнему проверяет человек. 

Поэтому мы относимся к инструменту как к хорошему навигатору, а не как к источнику истины: он быстро показывает, где и какую информацию стоит искать, а решение остаётся за автором запроса. 


Больше интересного про UX-исследования в телеграм-канале «Сдоба»?

Комментарии (0)