
Матчасть по BM25 уже много и подробно разбиралась в различных статьях: от Эвана Шварца на Хабре, где он объяснял вывод IDF из вероятностной модели Робертсона и Спарк-Джонс, в курсе Claude Academy на примере инцидента INC-2023-Q4-011 показали, почему семантический поиск теряет точные идентификаторы, а репозиторий Michael-JB/bm25 демонстрирует представление BM25 в виде разреженных эмбеддингов на Rust. Повторять смысла нет - источники выше.
В этой статье посмотрим на BM25 со стороны продакшена как на структуру данных, разберём расхождения между популярными библиотеками, изучим по бенчмаркам его преимущества и ограничения, а также соберём пайплайн гибридизации и валидации. Примеры будут из поиска по юридическим документам (ака НейроЮрист).
Из вводных стоит сразу зафиксировать четыре неочевидных свойства, которые напрямую влияют на продакшен. Скор BM25 - это не вероятность: он не нормирован и не сопоставим ни между разными коллекциями, ни внутри одной коллекции в разные моменты времени. При этом представление алгоритма в виде разреженного вектора с предвычисленными весами позволяет перенести расчёты на этап индексации. Обратная сторона такого подхода - чувствительность к глобальной статистике: при вставке и удалении документов средняя длина avgdl дрейфует, точность падает, поэтому при приблизительной оценке avgdl параметр b нужно снижать, а при полном отсутствии статистики — обнулять (b = 0).
TL;DR
BM25 заранее считает «ценность» каждого слова в каждом документе, поэтому поиск получается очень быстрым. Обратная сторона в том, что эти оценки зависят от всей коллекции. Когда вы добавляете или удаляете документы, оценки «плывут», и индекс приходится обновлять.
Оценки BM25 из разных библиотек нельзя сравнивать между собой. У каждой своя формула, и одни и те же документы получат разные числа. Тестируйте и настраивайте пороги внутри одной библиотеки и одной версии.
Нейросетевой поиск плохо находит редкое: фамилии, номера дел, артикулы. На тесте EntityQuestions BM25 находил нужный ответ в 72% случаев, а нейросеть только в 49,7%. С длинными текстами у нейросетей тоже проблемы: они «любят» короткие фрагменты.
Смешивать BM25 и нейросеть лучше взвешенной суммой оценок, а не по рангам (RRF). Но если вы дообучили нейросеть под свои данные, смесь может стать хуже, пока вы не подберёте веса заново.
Качество поиска больше всего зависит от подготовки текста: морфологии, токенизации и нарезки на куски. Экзотические варианты формулы вроде BM25L и BM25+ дают гораздо меньше.
1. BM25 как структура данных

Представьте, что для каждого слова в каждом документе мы заранее выставили оценку «насколько это слово важно для этого текста». Тогда поиск сводится к тому, чтобы сложить готовые оценки слов из запроса, и поэтому BM25 работает так быстро.
Вклад терма t в оценку документа D зависит от частоты терма в документе, длины документа и глобальных счётчиков корпуса (N, df(t), avgdl), но никак не зависит от самого запроса. Следовательно, вес каждой пары (документ, терм) можно вычислить заранее при индексации и сложить в разреженную матрицу. Тогда поиск превращается в выборку столбцов по токенам запроса и их суммирование.
Эту идею довела до быстрой реализации команда BM25S (arXiv:2407.03618). По замерам авторов на датасете ArguAna однопоточная пропускная способность BM25S достигла 573,9 QPS против 13,7 QPS у Elasticsearch, 110,5 QPS у BM25-PT и 2,0 QPS у популярной Python-библиотеки rank-bm25. В минимальном виде весь механизм (с вариантом IDF из Lucene) собирается на scipy.sparse:
import math import numpy as np from collections import Counter from scipy import sparse as sp def build(docs, k1=1.2, b=0.75): # docs: список списков токенов N = len(docs) dl = np.array([len(d) for d in docs], dtype=np.float32) avgdl = float(dl.mean()) tfs = [Counter(d) for d in docs] df = Counter(t for tf in tfs for t in tf) vocab, rows, cols, vals = {}, [], [], [] for i, tf in enumerate(tfs): norm = k1 * (1 - b + b * dl[i] / avgdl) for t, f in tf.items(): j = vocab.setdefault(t, len(vocab)) idf = math.log(1 + (N - df[t] + 0.5) / (df[t] + 0.5)) rows.append(i) cols.append(j) vals.append(idf * f * (k1 + 1) / (f + norm)) M = sp.csc_matrix((vals, (rows, cols)), shape=(N, len(vocab)), dtype=np.float32) return M, vocab def search(M, vocab, query_tokens, top_k=10): ids = [vocab[t] for t in set(query_tokens) if t in vocab] if not ids: return [] scores = np.asarray(M[:, ids].sum(axis=1)).ravel() k = min(top_k, len(scores) - 1) top = np.argpartition(-scores, k)[:top_k] return [(int(i), float(scores[i])) for i in sorted(top, key=lambda i: -scores[i])]
Стоит помнить, что в Lucene начиная с 8-й версии множитель (k1 + 1) в числителе убрали. На порядок документов внутри одного запроса это не влияет, но абсолютные значения оценок меняются — это важно учитывать, если вы сравниваете скоры между разными системами или версиями.
Из такой структуры данных вытекают вполне конкретные эксплуатационные ограничения. Поскольку IDF и avgdl глобальны, любое добавление или удаление документа формально меняет веса всех остальных документов в индексе: eager-матрицу приходится либо пересобирать, либо сознательно жить с дрейфом статистик. В распределённой среде добавляется проблема шардирования — локальный IDF на одном шарде отличается от IDF по всей коллекции, и оценки с разных узлов смешиваются некорректно. Elasticsearch решает это режимом search_type=dfs_query_then_fetch ценой дополнительного сетевого раунда, но для корпусов, влезающих на одну ноду, проще и точнее держать один шард.
Ещё две проблемы связаны с масштабом оценок и словаря. Скор BM25 не ограничен сверху и растёт с длиной запроса, поэтому жёсткие пороги вроде «оценка выше 12 считается релевантной» неизбежно ломаются — их заменяют на относительные (доля от top-1 или скор после нормализации). А при использовании sparse-эмбеддеров вроде Rust-крейта bm25, которые переводят токены в целочисленные индексы через хэширование (по умолчанию u32), на крупных словарях с номерами дел и реквизитами возникают коллизии, склеивающие разные слова в одну координату; в таких доменах нужно сразу переключаться на u64.
2. Под вывеской «BM25» скрываются разные формулы

Слово «BM25» не обозначает одну формулу: в каждой библиотеке она немного отличается, как рецепт борща в разных семьях. Поэтому одинаковые документы получают разные оценки, и сравнивать их между системами бессмысленно.
Единого стандарта BM25 не существует. Kamphuis и др. (ECIR 2020) сравнили восемь распространённых вариантов: классический Робертсона, Lucene, ATIRE, BM25L, BM25+ и другие. Они расходятся в расчёте IDF, в нормализации частоты терма и в отношении к отрицательным значениям IDF (возникающим, если слово встречается более чем в половине документов корпуса). Библиотека BM25S воспроизводит пять из них — robertson, atire, bm25l, bm25+ и lucene (по умолчанию).
Что сравниваем |
Чем рискуем на практике |
|---|---|
|
Разные варианты IDF: числа не совпадут, а ранжирование на части запросов разойдётся. Совпадения с |
Lucene / ES разных версий |
Менялся числитель (множитель |
BM25L, BM25+ и Lucene |
У первых двух есть параметр |
Чужие |
Дефолты в литературе гуляют от |
Идея BM25L и BM25+ (Lv и Zhai, CIKM/SIGIR 2011) заключалась в том, чтобы побороть слишком сильный штраф за длину: в очень длинных документах нормировка способна занизить вклад терма так, что документ с совпадением получит балл ниже документа без него, поэтому вводится нижняя граница вклада. На практике независимый тест Kamphuis и др. на новостных коллекциях значимой разницы между вариантами не нашёл. Внутренние прогоны на русскоязычном юридическом корпусе и RuBQ показывают то же самое: разброс укладывается в 0,003–0,009 nDCG@10 без подтверждённой статзначимости. Менять формулу стоит разве что в самом конце тюнинга на корпусах со сверхдлинными документами — как ещё один гиперпараметр сетки, а не как архитектурное решение.
3. Выбор стека под задачу

Реализация |
Механика |
Сильные стороны |
Ограничения |
|---|---|---|---|
Elasticsearch / OpenSearch |
Инвертированный индекс, динамика |
Продакшен-зрелость, фильтрация метаданных, шардирование, плагины морфологии |
Стоимость кластера, JVM, сложная настройка анализаторов |
Pyserini (Anserini) |
Обёртка над Lucene для Python |
Воспроизводимые академические бейзлайны |
Java в зависимостях |
BM25S |
Eager-матрица в |
Высокий throughput, без JVM, 5 вариантов формулы |
Обновление индекса требует пересчёта, нет встроенных фильтров |
rank-bm25 |
Пересчёт на лету в Python |
Прототипирование в ноутбуке за пару минут |
Медленный, нестандартный IDF |
Rust-крейт |
Sparse-эмбеддер и in-memory скорер |
Генерация sparse-векторов для векторных БД |
Хэш-коллизии при большом словаре, только in-memory |
Если в продакшене речь идёт о миллионах чанков и критичны фильтры по юрисдикции, дате редакции, ACL или типу документа, разумнее сразу брать инвертированный индекс в OpenSearch или Elasticsearch — обновления и pre-filtering там решены из коробки. Для оффлайн-экспериментов, быстрой прогонки golden set и статичных справочников без частых апдейтов лучшим стендом остаётся BM25S. Выносить BM25 в виде разреженных векторов внутрь векторной БД оправдано тогда, когда есть жёсткое требование держать один поисковый сервис вместо двух и сама БД умеет нативно сливать dense и sparse на своей стороне.
4. Победы и поражения: прогоны по бенчмаркам

Нейросети хорошо понимают смысл, но слабо запоминают редкие названия и номера, а BM25 ищет по точному совпадению слов. Поэтому для фамилий, артикулов и номеров документов он надёжнее.
Для архитектуры важны не столько абсолютные проценты на публичных датасетах, сколько механизмы, из-за которых алгоритмы выигрывают или ломаются.
Бенчмарк BEIR (arXiv:2104.08663), собранный для проверки zero-shot переноса на разнородных доменах, закрепил простое правило: BM25 остаётся сильным базовым уровнем, а стабильно обходить его удаётся в основном кросс-энкодерам и моделям с поздним взаимодействием (late interaction) ценой заметно более тяжёлых вычислений. Поэтому любой новый ретривер в R&D имеет смысл сравнивать не с нулём, а с нормально настроенным BM25.
Плотные ретриверы и редкие сущности
Причины, по которым плотные би-энкодеры до сих пор уступают лексике, хорошо вскрыли авторы EntityQuestions (arXiv:2109.08535, EMNLP 2021). На простых фактоидных вопросах вида «Где родился [E]?» DPR, обученный на Natural Questions, набрал 49,7% точности в top-20, DPR на смеси датасетов — 56,7%, а BM25 — 72,0%. На вопросе «С кем состоит в браке [E]?» разрыв оказался ещё жёстче: 35,6% и 48,1% против 89,7% у BM25. Плотные модели обобщаются только на частотные сущности из обучающей выборки, и аугментация данных эту проблему не снимает. В праве, медицине или поддержке это прямая аналогия для номеров дел, редакций статей, артикулов и редких фамилий — токенов с высоким IDF, где BM25 силён по построению.
Touché 2020: длина документа и неполная разметка
Показательна и диагностика подмножества Touché 2020 (arXiv:2407.07790, SIGIR 2024), где нейросети проигрывали BM25. Выяснилось, что нейросетевые ретриверы систематически вытягивают наверх короткие фрагменты, которые в этом датасете часто оказываются неаргументативными. После очистки корпуса от текстов короче 20 слов и доразметки качество нейросетей поднялось до 0,52 nDCG@10, но BM25 (компенсирующий этот перекос нормализацией по длине) всё равно остался впереди. Попутно вскрылась вторая проблема — методологическая: не менее половины результатов и у нейросетей, и у BM25 изначально не имели оценок в разметке и считались нерелевантными. Если золотой набор размечен только по top-10 одной текущей системы, вы будете систематически занижать метрики любой новой архитектуры.
Расширение запросов через LLM
Попытки компенсировать лексический разрыв через LLM описаны в Query2doc (arXiv:2303.07678): few-shot-промптом генерируется псевдодокумент и приклеивается к запросу, причём сам запрос повторяется n=5 раз, чтобы не утонуть в длинном тексте. На английских MS MARCO dev (где базовый BM25 даёт MRR@10 = 18,4) и TREC DL 19/20 (nDCG@10 = 51,2 и 47,7) прирост составляет от 3% до 15%, но только при использовании сильной модели уровня text-davinci-003 — малые LLM дают незначительный эффект. В проде за это приходится платить добавленной задержкой (>2 секунд на запрос) и риском галлюцинаций: выдуманный моделью номер статьи или код ошибки становится высоко-IDF токеном и уводит выдачу в чужие документы, поэтому псевдодокумент приходится либо чистить от цифр и реквизитов, либо выносить в отдельную низковесовую ветку.
BM25 в многостадийных пайплайнах
Границы применимости BM25 в современных многостадийных пайплайнах хорошо видны по двум работам 2026 года. Исследование двухстадийного реранкинга multi-vector моделями (arXiv:2601.05200) показывает, что BM25 на первой стадии обеспечивает высокий recall только при очень большом числе кандидатов, а итоговый MRR@10 после реранкера у него заметно ниже, чем у learned-sparse моделей — слабая первая стадия удорожает вторую. В свою очередь, сравнение SAE-SPLADE и ColBERTv2 (arXiv:2604.21511) на MS MARCO v1 иллюстрирует цену альтернативы: индекс позднего взаимодействия занимает около 20 GiB против ~3 GiB у разреженного, а задержка у PLAID составляет ~58 мс против <10 мс у sparse. Пока бюджет на RAM и latency ограничен, разреженные представления никуда не уходят.
Структурные слабости
При этом структурные слабости BM25 никуда не исчезают. Он бессилен при лексическом разрыве («уволить» против «расторжение трудового договора»), слеп к порядку слов и отрицаниям («не подлежит» и «подлежит» в мешке слов почти неразличимы, а удаление стоп-слов вовсе стирает «не»), завышает вес сверхкоротких шумных чанков с одним редким словом и критически зависит от качества токенизации.
5. Гибридный поиск: когда RRF не спасает

Лучше всего работает связка из двух поисков, но важно, как именно их результаты объединяют. Взвешенная сумма оценок, как правило, точнее простого слияния по местам в выдаче, но веса нужно подбирать под свои данные.
При слиянии sparse и dense чаще всего ставят Reciprocal Rank Fusion (RRF), однако математический анализ функций слияния в работе Bruch, Gai, Ingber — An Analysis of Fusion Functions for Hybrid Retrieval (arXiv:2210.11934) — показывает, что выпуклая комбинация нормализованных оценок (Convex Combination, CC) обыгрывает RRF и внутри домена, и при переносе. RRF отбрасывает величину скоров, оставляя только ранги, и при этом сам чувствителен к константе k, тогда как вес α в CC уверенно подбирается по небольшому числу размеченных запросов, а выбор способа нормализации оказывается менее критичным, чем принято считать.
Ещё важнее вывод из исследования Louis, van Dijck, Spanakis на французском праве — Know When to Fuse (arXiv:2409.01357, COLING 2025). В zero-shot режиме слияние разных моделей стабильно выигрывает у любой одиночной модели независимо от способа агрегации. Но когда dense-модель дообучена на парах «вопрос → норма» конкретной предметной области, наивное слияние обычно ухудшает качество относительно лучшей одиночной системы, если тщательно не переподобрать веса. Гибрид перестаёт быть бесплатным бонусом.
def minmax(scores): # scores: dict[doc_id, float] по top-K одной ветки if not scores: return {} lo, hi = min(scores.values()), max(scores.values()) if hi == lo: return {k: 1.0 for k in scores} return {k: (v - lo) / (hi - lo) for k, v in scores.items()} def convex_fusion(bm25, dense, alpha=0.5, top_n=50): a, b = minmax(bm25), minmax(dense) ids = set(a) | set(b) fused = {i: alpha * a.get(i, 0.0) + (1 - alpha) * b.get(i, 0.0) for i in ids} return sorted(fused, key=fused.get, reverse=True)[:top_n]
В этой реализации скрыты два нюанса. Во-первых, minmax по top-K привязан к самой глубине K: при изменении глубины выдачи между валидацией и продакшеном те же документы получат другие нормированные оценки, поэтому K нужно жёстко фиксировать. Во-вторых, документ, найденный только одной веткой, получает от второй 0.0 — иногда на тестовой выборке лучше работает подстановка минимума по этой ветке.
На практике разумно выстраивать гибридизацию поэтапно. Пока нет разметки, берите RRF (k=60) как безопасный дефолт; затем соберите 50–100 размеченных запросов, подберите α перебором по сетке от 0.0 до 1.0 с шагом 0.1 и сравните CC с RRF через парный bootstrap. Если разница статистически не значима, оставляйте RRF — он проще и устойчивее к замене моделей, а если используете CC и дообучаете dense-энкодер, переподбирайте α после каждой итерации обучения.
6. Модификации BM25

Из экстеншенов самой формулы выделяется BMX (arXiv:2408.06643), добавляющий взвешивание по энтропии сходства и взвешенное дополнение запроса через LLM (WQA). По данным авторов он обходит классический BM25 и на части длинноконтекстных бенчмарков конкурирует с плотными моделями. Поскольку независимых воспроизведений на русском языке пока нет, рассматривать его стоит лишь как кандидата на эксперимент в ситуации, когда вы уже готовы платить за LLM на этапе запроса.
Намного предсказуемее на практике работают подходы, меняющие не формулу, а входные данные BM25. Расширение документов при индексации (doc2query и контекстный BM25 в духе Anthropic) дописывает к чанкам сгенерированные вопросы или контекст всего документа, перенося стоимость LLM с критического пути запроса на этап индексации, где её можно амортизировать и кэшировать. Второй рабочий инструмент — взвешивание полей (BM25F или combined_fields в Elasticsearch), позволяющее отделить заголовок статьи или раздела от тела пункта: в нормативных актах совпадение в заголовке почти всегда весомее случайного повтора фразы в тексте.
7. Русский язык и сложный домен: тянет или не тянет

На практике выигрыш даёт не «умная» формула, а аккуратная подготовка текста. Правильно приведённые к начальной форме слова, сохранённые цифры и частица «не» и разумная нарезка на фрагменты влияют сильнее, чем любые доработки алгоритма.
На русскоязычном бенчмарке RuBQ при одной и той же формуле BM25 качество менялось от 0,282 nDCG@10 (сырые словоформы без нормализации) до 0,384 nDCG@10 (усечение до префикса из пяти символов) — прирост составил +0,10. При этом перебор вариантов самой формулы давал разброс около 0,005. Анализатор влияет на метрики примерно в двадцать раз сильнее самой формулы, поэтому до фиксации токенизации и морфологии сравнивать BM25L с Lucene бессмысленно.
Подбирать нормализацию — Snowball-стеммер, лемматизацию (например, pymorphy3), морфологические плагины или усечение до N символов — нужно на конкретном корпусе: грубое усечение до пяти символов сработало на RuBQ, но в юридических текстах с длинными канцеляризмами оптимум N может быть другим. При этом критично не удалять из индекса частицу «не», союзы «или», «либо», предлог «кроме» и цифры. BM25 не понимает логику фразы «не подлежит», но сохранение этих токенов гарантирует доставку документа на этап реранкинга, а в запросах вроде «ст. 395» именно 395 несёт основную нагрузку.
Идентификаторы и ссылки на нормы
Стандартный токенизатор обычно режет ссылки вида «ст. 395», «п. 1.1» или «№ 14-ФЗ» на обломки, поэтому надёжнее вытаскивать доменные идентификаторы регулярными выражениями при индексации и складывать в отдельное keyword-поле (например, gk_rf_395), а аббревиатуры и полные названия («ГК РФ» и «Гражданский кодекс Российской Федерации») сводить synonym-фильтром в один терм:
import re ART = re.compile(r'ст(?:атья|атьи|атье|\.)?\s*(\d+(?:\.\d+)*)', re.IGNORECASE) def extract_refs(text, code_alias): # code_alias: 'gk_rf', 'tk_rf' и т. д., определяется метаданными документа return [f'{code_alias}_{m.group(1)}' for m in ART.finditer(text)]
Редакции документов и отравление IDF
При работе с документами, у которых есть история изменений, важно не допустить отравления IDF. Если в один индекс попадают все редакции кодекса, текст статей дублируется десятки раз, df растёт, а IDF ключевых терминов падает. Выход — либо считать статистику только по коллекции актуальных редакций, вынеся исторические в отдельный индекс, либо дедуплицировать идентичные чанки перед расчётом статистик, применяя фильтр по дате действия в обеих ветках гибрида.
Длинные документы и чанкинг
Наконец, для длинных документов (в юридическом корпусе медиана длины — 1 396 слов, максимум — 505 809) нарезка на короткие фрагменты с агрегацией по лучшему чанку работает намного лучше смены формулы на BM25L: в тестах на трудных запросах фрагменты по 100 слов дали +0,022 nDCG@10 против +0,004 и +0,003 у фрагментов по 200 и 400 слов. Это же подтверждает контекст по RusBEIR (arXiv:2504.12879): в среднем по русским задачам BM25 набрал 52,16 nDCG@10 против 60,12 у mE5-large, 61,13 у BGE-M3 и 59,87 у BM25 с реранкером, но на подзадаче с полными текстами статей BM25 обогнал BGE-M3 примерно на 13 пунктов, так как у нейросети ограничено контекстное окно, а у BM25 — нет.
8. Как вписать в архитектуру

Все перечисленные выводы складываются в следующий пайплайн:
запрос -> нормализация (лемматизация / стемминг) -> дорожка идентификаторов: regex -> exact match по gk_rf_395, номерам дел -> BM25 (ru_legal, k1/b подобраны) top-100 --\ -> dense (BGE-M3 или mE5) top-100 ---> CC или RRF -> реранкер -> top-8 -> LLM (фильтры по юрисдикции и дате действия применяются в обеих ветках)
Стартовый шаблон настроек Elasticsearch в виде словаря для Python-клиента (стеммер и коэффициенты k1=1.2, b=0.5 здесь служат каркасом до замеров на dev-выборке):
settings = { 'index': {'similarity': {'legal_bm25': {'type': 'BM25', 'k1': 1.2, 'b': 0.5}}}, 'analysis': { 'filter': { 'legal_syn': { 'type': 'synonym', 'synonyms': ['гк рф, гражданский кодекс российской федерации'], }, 'ru_stem': {'type': 'stemmer', 'language': 'russian'}, }, 'analyzer': { 'ru_legal': { 'tokenizer': 'standard', 'filter': ['lowercase', 'legal_syn', 'ru_stem'], }, }, }, } mappings = { 'properties': { 'text': {'type': 'text', 'analyzer': 'ru_legal', 'similarity': 'legal_bm25'}, 'title': {'type': 'text', 'analyzer': 'ru_legal', 'similarity': 'legal_bm25'}, 'refs': {'type': 'keyword'}, 'valid_from': {'type': 'date'}, 'valid_to': {'type': 'date'}, } }
Паттерн |
Когда применять |
Основной риск |
|---|---|---|
BM25 как генератор кандидатов |
Всегда при наличии реранкера |
Потолок задаёт |
Гибрид BM25 + dense (CC / RRF) |
Большинство продуктовых корпусов |
Слияние ухудшает дообученную dense-модель без подбора весов |
Дорожка идентификаторов |
Право, договоры, тикеты, логи |
Регулярные выражения нужно поддерживать |
Расширение запроса LLM |
Бытовые формулировки, лексический разрыв |
Задержка и выдуманные реквизиты |
Расширение документов при индексации |
Сильный разрыв лексики между запросом и документом |
Стоимость переиндексации и устаревание при правках |
BM25 как sparse-вектор в векторной БД |
Требование держать один сервис вместо двух |
Дрейф |
9. Протокол оценки

Опираясь на урок Touché о неполноте разметки, валидацию стоит выстраивать как строгий последовательный процесс:
Стратифицированный golden set. Соберите 200–500 реальных запросов и разбейте их по классам: идентификаторы, перефразировки, длинные описания ситуаций, бытовая лексика. Метрики считайте в разрезе классов, иначе среднее скроет просадку по ключевым сущностям.
Пулинг нескольких систем. Размечайте объединённый
top-20всех кандидатов (BM25 с разными анализаторами, dense, гибрид), а не одной текущей системы.Иерархия тюнинга. Подбирайте параметры на
dev-части строго в порядке «анализатор и чанкинг →k1иb→δ(если проверяете BM25L/+) →αв гибриде», а финальный замер наtestделайте один раз.Разделение метрик по стадиям. Для первой стадии оценивайте
Recall@50иRecall@100, для итоговой после реранкера —nDCG@10.Проверка статзначимости. Любое улучшение проверяйте парным bootstrap по запросам с оценкой доверительного интервала:
import numpy as np def paired_bootstrap(a, b, n=10000, seed=0): # a, b: метрика по каждому запросу для двух систем (одинаковый порядок) rng = np.random.default_rng(seed) diffs = np.asarray(a, dtype=float) - np.asarray(b, dtype=float) idx = rng.integers(0, len(diffs), size=(n, len(diffs))) means = diffs[idx].mean(axis=1) lo, hi = np.percentile(means, [2.5, 97.5]) return float(diffs.mean()), (float(lo), float(hi)) # Если интервал [lo, hi] содержит 0, выигрыш не доказан
При выборке в 205 запросов (как в юридическом прокси-бенчмарке) ширина доверительного интервала для разности обычно сопоставима с 0,01, поэтому условные +0,009 у BM25L без такой проверки считать результатом нельзя.
10. Типичные ошибки

Большинство провалов при внедрении BM25 связаны с неправильными предположениями о природе его оценок и валидации. Жёсткие пороги отсечения по абсолютному скору («выше 12 — найдено») ломаются при смене длины запроса или обновлении корпуса, ровно как и попытки сравнивать числовые скоры разных библиотек и мажорных версий Lucene. Не менее опасна утечка данных в экспериментах: подбор k1 и b на тех же запросах, по которым сдаётся итоговая метрика, или оценка новых архитектур на разметке top-10 единственной старой системы.
Вторая группа ошибок кроется в работе с текстом и метаданными. Удаление частицы «не» и коротких союзов стандартными стоп-листами разрушает смысл юридических и технических норм, фильтрация по дате редакции или юрисдикции только в одной ветке гибрида протаскивает в ответ утратившие силу документы, а смешивание всех версий акта в одном индексе искажает глобальный IDF.
Наконец, вредят обе крайности в позиционировании метода. Списывать BM25 как устаревший не позволяет даже статистика EntityQuestions (49,7% у dense против 72,0% на редких сущностях), но и оставлять его без dense-ветки или расширения на разговорных запросах нельзя — лексический разрыв обнулит выдачу. Если же используется LLM-расширение запросов на лету, его нельзя прокидывать в индекс без санитизации выдуманных моделью номеров и кодов.
Границы применимости
ри переносе этих цифр в свой проект важно учитывать три ограничения:
Публичного эталонного бенчмарка по российскому праву на сегодня нет, поэтому доменные выводы опираются на данные
RuBQи прогон на 205 юридических запросах без опубликованных доверительных интервалов.Основная масса академических замеров (
BEIR,EntityQuestions,MS MARCO, исследование Louis и др.) получена на английском и французском языках: сами механизмы переносятся, но конкретные величины эффекта на русской морфологии будут отличаться.BMXиquery2docописаны по статьям авторов и требуют самостоятельной проверки на русском корпусе до закладки в архитектуру.
Источники
0. Носов А.В. BM25 для НейроЮриста, Отчёт от 13 ноября 2026
Simple Entity-Centric Questions Challenge Dense Retrievers, arXiv:2109.08535
Touché 2020 Argument Retrieval Subset of BEIR, arXiv:2407.07790
An Analysis of Fusion Functions for Hybrid Retrieval, arXiv:2210.11934
Multivector Reranking in the Era of Strong First-Stage Retrievers, arXiv:2601.05200
From Tokens to Concepts: Leveraging SAE for SPLADE, arXiv:2604.21511
Lv Y., Zhai C. Lower-bounding term frequency normalization (CIKM 2011); When documents are very long, BM25 fails! (SIGIR 2011).
Kamphuis C. и др. Which BM25 Do You Mean? (ECIR 2020).
Michael-JB/bm25 — реализация BM25 как sparse-эмбеддера на Rust
ErastPetrovich
Слушай, а смысл вообще возиться с BM25, если есть нормальные эмбеддинги? Взял BGE-M3, прогнал все через вектора и живёшь спокойно. Разве нет?