1. Введение
В вакансиях и туториалах вокруг RAG и AI-агентов чаще всего фигурирует Python. На JVM экосистема тоже есть — LangChain4j, Spring AI и другие, — но живых разборов «как это выглядит в продукте» заметно меньше.
Я создал B2B-систему Смысл.ИИ (smysl.ai): сотрудник задаёт вопрос по внутренним документам компании и получает ответ с опорой на корпоративные материалы — с указанием источников.
Ниже — обзор архитектуры. Исходники закрыты; в серии статей — схемы и код. Публичный логин к демо не раздаётся; по тексту — скриншоты и при необходимости короткое видео. Документы в библиотеке — из вымышленной демо-компании, не данные реального заказчика.
В этой серии упор на AI-часть: обработка документов, индекс, поиск по корпусу, агент и ответ с указанием, из каких материалов взяты факты. Бэкенд-обвязка — PostgreSQL, структура таблиц, авторизация и аутентификация, REST API, задачи по расписанию, ретраи и прочее — почти не разбирается.
Библиотека материалов — загруженный корпус, по которому идёт поиск:

Вопрос в чате:

Финальный вид ответа:

2. Задача продукта и границы
В средних и крупных компаниях обычно накапливается большой объём внутренних документов и других материалов. Но когда нужно получить из них ответ на конкретный вопрос, это часто занимает много времени: обход папок и различных файловых хранилищ, уточнения у коллег.
Отдельная проблема — изоляция: фрагменты или целые файлы уходят во внешний чат вроде ChatGPT «просто проанализировать», корпус оказывается вне контура компании. В Смысл.ИИ библиотека хранится в инфраструктуре системы; для ответа в LLM уходят найденные фрагменты (чанки или страницы), а не весь корпус. LLM подключается по API: в текущем демо — внешний провайдер; тот же контур можно нацелить на модель в своём облаке или on-prem, если развёрнута совместимая точка доступа.
Узкая задача продукта: вопрос по корпоративному корпусу → ответ с опорой на ваши файлы (не «знания модели из интернета»), с источниками. За рамками — LMS, замена всей базы знаний и платформа агентов.
Под капотом: поиск → при необходимости уточняющие раунды агента → в контекст LLM уходят найденные фрагменты документов — чанки или целые страницы — и уже по ним формулируется ответ.
Обычный RAG часто = один проход retrieval → всё в контекст → ответ. Здесь у LLM есть tools: поиск по материалам может идти в несколько раундов (уточнил запрос / добрал фрагменты), потом ответ.
Ниже — как устроена эта система: документы → индекс → агент с инструментами → ответ и источники. Это разбор работающего продукта.
3. Загрузка и чат
Загрузка / индексация
Сейчас система умеет обрабатывать: PDF, DOCX, TXT, MD, HTML.

На схеме — путь файла от загрузки до индекса: парсинг, нарезка, запись фрагментов.
Чат

В чате вопрос уходит в агент; при необходимости вызывается tool (поиск по материалам), затем ответ со ссылкой на найденное. Это цикл с инструментами, а не один вызов LLM «в лоб».
4. Архитектура системы
Система состоит из:
-
Бэкенд — два сервиса с крупным разграничением: обработка документов и чат / ответы LLM
data-processor(Kotlin / Spring Boot) — загрузка и обработка документовassistant(Kotlin / Spring Boot, LangChain4j) — чат, агент, поиск
Фронтенд — пользовательский интерфейс (React)
-
Инфраструктура
Docling — парсинг и нарезка на чанки в конвейере обработки документов (
data-processor)Apache Doris, PostgreSQL
Auth (Keycloak)
Прокси (Caddy)
-
Внешние зависимости
LLM API
Объектное хранилище файлов (S3-совместимое)
VK Cloud — хостинг демо-контура
Два сервиса — не ради «микросервисов как моды», а из‑за разной ответственности и характера нагрузки: data-processor тянет загрузку и тяжёлую обработку файлов, assistant — диалог, tool calls и генерацию ответа. Так проще независимо развивать и выкатывать AI-контур и конвейер обработки документов. Сотню сервисов с нуля не делал — граница одна: документы отдельно, диалог отдельно.
Ниже — упрощённая схема контейнеров.

Ключевые решения по стеку
Apache Doris — full-text и semantic-поиск плюс хранение чанков в одном контуре, без связки «отдельный поисковик + vector DB». Qdrant сильнее как специализированный vector DB; для продукта важнее один движок под текст и semantic (и запас по нагрузке на общем хранилище), а не максимальный QPS на чистом ANN.
Valkey Streams — генерацию ответа LLM крутит один инстанс
assistant, а SSE-подключение клиента может прийти на другой. Токены уходят в Valkey и читаются с инстанса, который держит соединение, а не только «вживую» с процесса, где крутится модель.GraalVM Native Image — сервисы в native: быстрее старт и ниже overhead относительно обычного JVM на том же контуре; плата — дольше сборка.
5. Стек технологий
Технология |
Назначение |
|---|---|
Бэкенд |
|
Язык программирования |
|
Фреймворк |
|
Создание native-образа |
|
AI и агент |
|
Вызов LLM, tools и цикл агента |
|
Конвейер обработки документов |
|
Парсинг загружаемых файлов и нарезка на чанки |
|
Хранение и поиск |
|
Хранение фрагментов документов и поиск по корпусу |
|
Реляционная БД сущностей системы (метаданные файлов, чаты и др.) |
|
S3-совместимое хранилище |
Объектное хранилище файлов |
Фронтенд |
|
Веб-интерфейс |
|
Инфраструктура |
|
Аутентификация (OIDC) |
|
Valkey (Redis Streams) |
Потоковая передача ответа LLM в чат |
Обратный прокси |
|
Контейнеризация и локальный/демо-контур |
6. Вклад в open source
По ходу реализации находил ограничения и баги зависимостей. Это вылилось в issues и PR:
7. Что будет дальше
Серия из трёх статей:
Обзор (эта статья)
Конвейер обработки документов: стадии, Docling и Apache Doris
Агент: tools, поиск по корпусу, ответ с указанием источников в материалах; потоковая передача токенов