Допустим, у вашей организации есть внутренний сервис с большим объемом накопленных документов, тикетов и комментариев, и все это ведется в Jira. Представьте, если при клиентском запросе или взаимодействии с контрагентом, можно было бы обращаться к AI-ассистенту и получать максимально релевантные ответы, дополняя существующую в вашей системе информацию данными из внешних источников. Очевидно, что это позитивно отразилось бы на конверсии в продажи за счет персонализированного подхода, увеличило бы уровень удовлетворенности сервисом у клиентов, да и менеджерам бы облегчило жизнь!

Если вы руководитель отдела или ведете собственный бизнес, вы наверняка подумаете «наверное, это дорогая технология, которая требует больших затрат и найма техспециалистов для разработки». Когда-то это было так, но теперь нет.

В этой статье я опишу короткую инструкцию, как реализовать что-то похожее на описанный функционал без особых навыков. Лучшие умы человечества могут уличить меня в том, что моя предлагаемая реализация максимально проста и наивна. И да, это так. Целью я ставил — показать массовому читателю прикольную штуку, а не задушнить;) 

Вот пример реализации похожего проекта на Python, без user-friendly интерфейса, но там все серьезно.

Если же у вас небольшое (или большое) предприятие, где такой инструмент может пригодиться, но его по каким-то причинам еще нет, вы можете попробовать сделать пилот по данной инструкции. А если понравится, отдать задачу компетентным людям))

Для начала я нагенерил эпиков и задач в Jira. Легенда следующая: эта информационная система является инструментом отдела взаимодействия с клиентами некоторой фирмы, которая занимается поставками строительных материалов. Придумали несуществующие компании и описания к ним. Суммарно в районе 30 задач с разрозненной информацией.

Необходимо установить n8n, ведь пользуясь его функционалом мы можем удобно запросить и распарсить json, который получим с Jira и засунуть все в один файлик. В инструкции по установке — пункты 1-5 + 7.

А вот готовый шаблон, которым тоже можно воспользоваться. Итак:

В WorkFlow нажмите «Import from File»:

Затем:

1. Create workflow.

2. Add first step.

3. Trigger manually.

4. Теперь добавляем форму HTTP Request.

Method - GET

URL - http://<ip вашей Jira>/rest/api/2/search?jql=&maxResults=1000

Authentication - Authentication

Generic Auth Type - Basic Auth

Добавляете credentials - (логин и пароль от аккаунта в Jira)

5. Добавьте справа ноду Code:

Language — JavaScript (тут нам надо распарсить JSON, который вернется после реквеста, можете сделать это так, как удобно вам, просто вводите код в ячейку и наслаждаетесь результатом, забирая только искомые поля).

Например так, прошу экспертов в JS не судить строго:

let rows = [];

for (const item of items) {

  if (!item.json || !Array.isArray(item.json.issues)) continue;

  for (const issue of item.json.issues) {

    let id = issue.id ?? '';

    let key = issue.key ?? '';

    let desc = issue.fields?.description ?? '';

    let creator = issue.fields?.creator?.name ?? '';

    rows.push([id, key, desc, creator].join(','));

  }

}
return [{ json: { text: rows.join('\n\n') } }];

6. Добавляем справа ноду Aggregate:

7. Добавляем ноду Convert to File:

• Operation — Convert to Text File;

• Text Input Field — text;

• Put Output File in Field — data;

В итоге получаем файл, в котором лежит текстовая выжимка из полей description, id, key, creator. Скачайте и на этом парсинг окончен. Это максимально прямолинейный подход и здесь огромная зона для доработки, но пока мы просто прототипируем)

Слабый скажет, что такая реализация просто ужасна, сильный напишет об этом огромный коммент — я готов ко всему)

Ну а мы перейдем к целевому действию. Заходим в ЛК Cloud.ru, забираем стартовый грант на 4 000 рублей и приступаем к тестам.

1. Убеждаемся, что мы находимся на платформе Cloud.ru Evolution.

2. Переходим в сервис Object Storage.

3. Создаем бакет rag-test, в бакете создаем папку rag-test, в папку загружаем файл, скачанный на предыдущем шаге.

Создаем базу знаний — пошаговая инструкция

Итак, что нужно сделать:

1. Перейдем в сервис Managed RAG, кстати, до конца сентября он бесплатный.

2. Перейдем в AI Factory → Managed RAG.

3. Нажмем Создать базу знаний.

4. Введем название и, если необходимо, описание базы знаний.

5. В поле «Путь к папке с документами» на S3 выберем папку rag-test в бакете Object Storage, куда вы загрузили файл file.txt.

6. В поле «Расширения документов» введем txt — расширение файла, который будет обработан и сохранен в базе знаний.

7. Выберем опцию Вручную настроить обработку документов и модель.

8. Нажмем Продолжить.

9. Splitter — RecursiveCharacterTextSplitter. 

Splitter в RAG (Retrieval-Augmented Generation) — это компонент, который разбивает (делит) большой текст на небольшие фрагменты (чанки). Эти чанки потом легче индексировать, искать по ним релевантную информацию и подавать в модель для генерации ответа.

Пример: книга делится на абзацы или страницы — это и есть «сплиттинг» с помощью сплиттера.

10. Chunk size — 400.

Chunk size — это размер текстового фрагмента (чанка), на который сплиттер делит текст в RAG. Маленький chunk size — меньше контекста в чанке, большой — больше контекста, но может быть сложнее найти точный ответ.

В случае выгрузки из Jira мы имеем множество коротких и не связанных между собой предложений, поэтому берез маленьких размер чанка, поскольку контекст мы не потеряем. Если в вашей системе большие описания задач, берите размер больше. Вообще данный параметр подбирается экспериментально.

11. Chunk overlap — 50.

Chunk overlap — это количество символов (или слов), которыми два соседних чанка пересекаются. Если предложения короткие и не связаны — overlap можно не делать (0). Если есть шанс потерять смысл на границе, делайте overlap 10-20% от Chunk Size.

12. Параметр separator оставьте по умолчанию.

13. Нажимаем Продолжить.

14. Модель-эмбеддер — intfloat/multilingual-e5-large.

Модель-эмбеддер — это нейросеть, которая преобразует текст в числовой вектор (эмбеддинг) для поиска и сопоставления смыслов в RAG.

BAAI/bge-m3

— мультиязычная модель, хорошо подходит для поиска и сопоставления смыслов на разных языках, эффективна для коротких и длинных текстов, популярна в RAG.

intfloat/multilingual-e5-large

— тоже мультиязычная, одна из самых сильных по качеству поиска по смыслу, поддерживает "инструкции" в запросах (лучший результат для задач retrieval).

Обе модели подходят для задач эмбеддинга в RAG, поддерживают несколько языков, но e5-large часто показывает лучшие результаты по качеству семантического поиска. Модель эмбеддер тоже зачастую подбирают опытным путем, под конкретную задачу.

15. Кликаем Создать.

Дождемся, когда завершится индексация и версия базы знаний перейдет в статус «Активная». Теперь нажимаем на версию базы знаний и переходим на вкладку Чат. Вы попадете в следующий интерфейс:

Здесь можно настраивать модель-реранкер, модель-LLM, изменять системный промпт. Раскрою этот момент подробнее.

Теперь вы готовы к использованию RAG, который работает на ваших данных!)

Если пропустить этап с парсингом условной Jira, что сделано просто для демонстрации потенциала, вы можете сразу загрузить в базу знаний необходимые документы, если вдруг они есть у вас на руках и получать супер релевантные ответы, конечно, если вы грамотно настроите параметры. В общеv Managed RAG снимает много головной боли связанной с реализацией всех промежуточных этапов, кодинга и прочего, что круто.

Если заморочиться, можно парсить в цикле, раз в час например, обновленные данные грузить по API в S3 хранилище Cloud.ru, и также по API обращаться к Managed RAG из условного телеграмма, при этом база знаний будет постоянно актуализироваться.

Зададим следующий вопрос в чат-интерфейсе сервиса: ‎Какая компания из наших контрагентов имеет сертификат ISO 9001?. И вот ответы:

Как видим, это правильная информация и вывод действительно сделан на основе выгрузки из Jira:

Также сервис позволяет посмотреть на источники, что зачастую может быть полезным. 

И еще обращу внимание на то, что не всегда ответ будет содержать всю релевантную информацию, такое может произойти, если выбран неоптимальный размер чанка или overlap, но даже в таком случае, например, с инструментом для работы с базой Jira, неполный ответ лучше, чем отсутствие ответа))

Очень надеюсь, что статья кому-то поможет и откроет глаза на полезную технологию. Если это правда так, то буду рад обратной связи в комментариях!