Матчасть по BM25 уже много и подробно разбиралась в различных статьях: от Эвана Шварца на Хабре, где он объяснял вывод IDF из вероятностной модели Робертсона и Спарк-Джонс, в курсе Claude Academy на примере инцидента INC-2023-Q4-011 показали, почему семантический поиск теряет точные идентификаторы, а репозиторий Michael-JB/bm25 демонстрирует представление BM25 в виде разреженных эмбеддингов на Rust. Повторять смысла нет - источники выше.

В этой статье посмотрим на BM25 со стороны продакшена как на структуру данных, разберём расхождения между популярными библиотеками, изучим по бенчмаркам его преимущества и ограничения, а также соберём пайплайн гибридизации и валидации. Примеры будут из поиска по юридическим документам (ака НейроЮрист).

Из вводных стоит сразу зафиксировать четыре неочевидных свойства, которые напрямую влияют на продакшен. Скор BM25 - это не вероятность: он не нормирован и не сопоставим ни между разными коллекциями, ни внутри одной коллекции в разные моменты времени. При этом представление алгоритма в виде разреженного вектора с предвычисленными весами позволяет перенести расчёты на этап индексации. Обратная сторона такого подхода - чувствительность к глобальной статистике: при вставке и удалении документов средняя длина avgdl дрейфует, точность падает, поэтому при приблизительной оценке avgdl параметр b нужно снижать, а при полном отсутствии статистики — обнулять (b = 0).

TL;DR

  • BM25 заранее считает «ценность» каждого слова в каждом документе, поэтому поиск получается очень быстрым. Обратная сторона в том, что эти оценки зависят от всей коллекции. Когда вы добавляете или удаляете документы, оценки «плывут», и индекс приходится обновлять.

  • Оценки BM25 из разных библиотек нельзя сравнивать между собой. У каждой своя формула, и одни и те же документы получат разные числа. Тестируйте и настраивайте пороги внутри одной библиотеки и одной версии.

  • Нейросетевой поиск плохо находит редкое: фамилии, номера дел, артикулы. На тесте EntityQuestions BM25 находил нужный ответ в 72% случаев, а нейросеть только в 49,7%. С длинными текстами у нейросетей тоже проблемы: они «любят» короткие фрагменты.

  • Смешивать BM25 и нейросеть лучше взвешенной суммой оценок, а не по рангам (RRF). Но если вы дообучили нейросеть под свои данные, смесь может стать хуже, пока вы не подберёте веса заново.

  • Качество поиска больше всего зависит от подготовки текста: морфологии, токенизации и нарезки на куски. Экзотические варианты формулы вроде BM25L и BM25+ дают гораздо меньше.

1. BM25 как структура данных

Представьте, что для каждого слова в каждом документе мы заранее выставили оценку «насколько это слово важно для этого текста». Тогда поиск сводится к тому, чтобы сложить готовые оценки слов из запроса, и поэтому BM25 работает так быстро.

Вклад терма t в оценку документа D зависит от частоты терма в документе, длины документа и глобальных счётчиков корпуса (N, df(t), avgdl), но никак не зависит от самого запроса. Следовательно, вес каждой пары (документ, терм) можно вычислить заранее при индексации и сложить в разреженную матрицу. Тогда поиск превращается в выборку столбцов по токенам запроса и их суммирование.

Эту идею довела до быстрой реализации команда BM25S (arXiv:2407.03618). По замерам авторов на датасете ArguAna однопоточная пропускная способность BM25S достигла 573,9 QPS против 13,7 QPS у Elasticsearch, 110,5 QPS у BM25-PT и 2,0 QPS у популярной Python-библиотеки rank-bm25. В минимальном виде весь механизм (с вариантом IDF из Lucene) собирается на scipy.sparse:

import math
import numpy as np
from collections import Counter
from scipy import sparse as sp

def build(docs, k1=1.2, b=0.75):
    # docs: список списков токенов
    N = len(docs)
    dl = np.array([len(d) for d in docs], dtype=np.float32)
    avgdl = float(dl.mean())
    tfs = [Counter(d) for d in docs]
    df = Counter(t for tf in tfs for t in tf)
    vocab, rows, cols, vals = {}, [], [], []
    for i, tf in enumerate(tfs):
        norm = k1 * (1 - b + b * dl[i] / avgdl)
        for t, f in tf.items():
            j = vocab.setdefault(t, len(vocab))
            idf = math.log(1 + (N - df[t] + 0.5) / (df[t] + 0.5))
            rows.append(i)
            cols.append(j)
            vals.append(idf * f * (k1 + 1) / (f + norm))
    M = sp.csc_matrix((vals, (rows, cols)), shape=(N, len(vocab)), dtype=np.float32)
    return M, vocab

def search(M, vocab, query_tokens, top_k=10):
    ids = [vocab[t] for t in set(query_tokens) if t in vocab]
    if not ids:
        return []
    scores = np.asarray(M[:, ids].sum(axis=1)).ravel()
    k = min(top_k, len(scores) - 1)
    top = np.argpartition(-scores, k)[:top_k]
    return [(int(i), float(scores[i])) for i in sorted(top, key=lambda i: -scores[i])]

Стоит помнить, что в Lucene начиная с 8-й версии множитель (k1 + 1) в числителе убрали. На порядок документов внутри одного запроса это не влияет, но абсолютные значения оценок меняются — это важно учитывать, если вы сравниваете скоры между разными системами или версиями.

Из такой структуры данных вытекают вполне конкретные эксплуатационные ограничения. Поскольку IDF и avgdl глобальны, любое добавление или удаление документа формально меняет веса всех остальных документов в индексе: eager-матрицу приходится либо пересобирать, либо сознательно жить с дрейфом статистик. В распределённой среде добавляется проблема шардирования — локальный IDF на одном шарде отличается от IDF по всей коллекции, и оценки с разных узлов смешиваются некорректно. Elasticsearch решает это режимом search_type=dfs_query_then_fetch ценой дополнительного сетевого раунда, но для корпусов, влезающих на одну ноду, проще и точнее держать один шард.

Ещё две проблемы связаны с масштабом оценок и словаря. Скор BM25 не ограничен сверху и растёт с длиной запроса, поэтому жёсткие пороги вроде «оценка выше 12 считается релевантной» неизбежно ломаются — их заменяют на относительные (доля от top-1 или скор после нормализации). А при использовании sparse-эмбеддеров вроде Rust-крейта bm25, которые переводят токены в целочисленные индексы через хэширование (по умолчанию u32), на крупных словарях с номерами дел и реквизитами возникают коллизии, склеивающие разные слова в одну координату; в таких доменах нужно сразу переключаться на u64.

2. Под вывеской «BM25» скрываются разные формулы

Слово «BM25» не обозначает одну формулу: в каждой библиотеке она немного отличается, как рецепт борща в разных семьях. Поэтому одинаковые документы получают разные оценки, и сравнивать их между системами бессмысленно.

Единого стандарта BM25 не существует. Kamphuis и др. (ECIR 2020) сравнили восемь распространённых вариантов: классический Робертсона, Lucene, ATIRE, BM25L, BM25+ и другие. Они расходятся в расчёте IDF, в нормализации частоты терма и в отношении к отрицательным значениям IDF (возникающим, если слово встречается более чем в половине документов корпуса). Библиотека BM25S воспроизводит пять из них — robertson, atire, bm25l, bm25+ и lucene (по умолчанию).

Что сравниваем

Чем рискуем на практике

rank-bm25 и Lucene

Разные варианты IDF: числа не совпадут, а ранжирование на части запросов разойдётся. Совпадения с rank-bm25 в BM25S удаётся добиться только режимом atire с IDF Робертсона при epsilon = 0.

Lucene / ES разных версий

Менялся числитель (множитель k1 + 1), абсолютные скоры между версиями несопоставимы.

BM25L, BM25+ и Lucene

У первых двух есть параметр δ, который требует отдельного подбора, иначе сравнивается настроенная модель с ненастроенной.

Чужие k1 и b

Дефолты в литературе гуляют от k1=1.2..2.0, b=0.75 в общих гайдах до k1=0.9, b=0.4 в работах по французскому праву.

Идея BM25L и BM25+ (Lv и Zhai, CIKM/SIGIR 2011) заключалась в том, чтобы побороть слишком сильный штраф за длину: в очень длинных документах нормировка способна занизить вклад терма так, что документ с совпадением получит балл ниже документа без него, поэтому вводится нижняя граница вклада. На практике независимый тест Kamphuis и др. на новостных коллекциях значимой разницы между вариантами не нашёл. Внутренние прогоны на русскоязычном юридическом корпусе и RuBQ показывают то же самое: разброс укладывается в 0,003–0,009 nDCG@10 без подтверждённой статзначимости. Менять формулу стоит разве что в самом конце тюнинга на корпусах со сверхдлинными документами — как ещё один гиперпараметр сетки, а не как архитектурное решение.

3. Выбор стека под задачу

Реализация

Механика

Сильные стороны

Ограничения

Elasticsearch / OpenSearch

Инвертированный индекс, динамика

Продакшен-зрелость, фильтрация метаданных, шардирование, плагины морфологии

Стоимость кластера, JVM, сложная настройка анализаторов

Pyserini (Anserini)

Обёртка над Lucene для Python

Воспроизводимые академические бейзлайны

Java в зависимостях

BM25S

Eager-матрица в scipy / mmap

Высокий throughput, без JVM, 5 вариантов формулы

Обновление индекса требует пересчёта, нет встроенных фильтров

rank-bm25

Пересчёт на лету в Python

Прототипирование в ноутбуке за пару минут

Медленный, нестандартный IDF

Rust-крейт bm25

Sparse-эмбеддер и in-memory скорер

Генерация sparse-векторов для векторных БД

Хэш-коллизии при большом словаре, только in-memory

Если в продакшене речь идёт о миллионах чанков и критичны фильтры по юрисдикции, дате редакции, ACL или типу документа, разумнее сразу брать инвертированный индекс в OpenSearch или Elasticsearch — обновления и pre-filtering там решены из коробки. Для оффлайн-экспериментов, быстрой прогонки golden set и статичных справочников без частых апдейтов лучшим стендом остаётся BM25S. Выносить BM25 в виде разреженных векторов внутрь векторной БД оправдано тогда, когда есть жёсткое требование держать один поисковый сервис вместо двух и сама БД умеет нативно сливать dense и sparse на своей стороне.

4. Победы и поражения: прогоны по бенчмаркам

Нейросети хорошо понимают смысл, но слабо запоминают редкие названия и номера, а BM25 ищет по точному совпадению слов. Поэтому для фамилий, артикулов и номеров документов он надёжнее.

Для архитектуры важны не столько абсолютные проценты на публичных датасетах, сколько механизмы, из-за которых алгоритмы выигрывают или ломаются.

Бенчмарк BEIR (arXiv:2104.08663), собранный для проверки zero-shot переноса на разнородных доменах, закрепил простое правило: BM25 остаётся сильным базовым уровнем, а стабильно обходить его удаётся в основном кросс-энкодерам и моделям с поздним взаимодействием (late interaction) ценой заметно более тяжёлых вычислений. Поэтому любой новый ретривер в R&D имеет смысл сравнивать не с нулём, а с нормально настроенным BM25.

Плотные ретриверы и редкие сущности

Причины, по которым плотные би-энкодеры до сих пор уступают лексике, хорошо вскрыли авторы EntityQuestions (arXiv:2109.08535, EMNLP 2021). На простых фактоидных вопросах вида «Где родился [E]?» DPR, обученный на Natural Questions, набрал 49,7% точности в top-20, DPR на смеси датасетов — 56,7%, а BM25 — 72,0%. На вопросе «С кем состоит в браке [E]?» разрыв оказался ещё жёстче: 35,6% и 48,1% против 89,7% у BM25. Плотные модели обобщаются только на частотные сущности из обучающей выборки, и аугментация данных эту проблему не снимает. В праве, медицине или поддержке это прямая аналогия для номеров дел, редакций статей, артикулов и редких фамилий — токенов с высоким IDF, где BM25 силён по построению.

Touché 2020: длина документа и неполная разметка

Показательна и диагностика подмножества Touché 2020 (arXiv:2407.07790, SIGIR 2024), где нейросети проигрывали BM25. Выяснилось, что нейросетевые ретриверы систематически вытягивают наверх короткие фрагменты, которые в этом датасете часто оказываются неаргументативными. После очистки корпуса от текстов короче 20 слов и доразметки качество нейросетей поднялось до 0,52 nDCG@10, но BM25 (компенсирующий этот перекос нормализацией по длине) всё равно остался впереди. Попутно вскрылась вторая проблема — методологическая: не менее половины результатов и у нейросетей, и у BM25 изначально не имели оценок в разметке и считались нерелевантными. Если золотой набор размечен только по top-10 одной текущей системы, вы будете систематически занижать метрики любой новой архитектуры.

Расширение запросов через LLM

Попытки компенсировать лексический разрыв через LLM описаны в Query2doc (arXiv:2303.07678): few-shot-промптом генерируется псевдодокумент и приклеивается к запросу, причём сам запрос повторяется n=5 раз, чтобы не утонуть в длинном тексте. На английских MS MARCO dev (где базовый BM25 даёт MRR@10 = 18,4) и TREC DL 19/20 (nDCG@10 = 51,2 и 47,7) прирост составляет от 3% до 15%, но только при использовании сильной модели уровня text-davinci-003 — малые LLM дают незначительный эффект. В проде за это приходится платить добавленной задержкой (>2 секунд на запрос) и риском галлюцинаций: выдуманный моделью номер статьи или код ошибки становится высоко-IDF токеном и уводит выдачу в чужие документы, поэтому псевдодокумент приходится либо чистить от цифр и реквизитов, либо выносить в отдельную низковесовую ветку.

BM25 в многостадийных пайплайнах

Границы применимости BM25 в современных многостадийных пайплайнах хорошо видны по двум работам 2026 года. Исследование двухстадийного реранкинга multi-vector моделями (arXiv:2601.05200) показывает, что BM25 на первой стадии обеспечивает высокий recall только при очень большом числе кандидатов, а итоговый MRR@10 после реранкера у него заметно ниже, чем у learned-sparse моделей — слабая первая стадия удорожает вторую. В свою очередь, сравнение SAE-SPLADE и ColBERTv2 (arXiv:2604.21511) на MS MARCO v1 иллюстрирует цену альтернативы: индекс позднего взаимодействия занимает около 20 GiB против ~3 GiB у разреженного, а задержка у PLAID составляет ~58 мс против <10 мс у sparse. Пока бюджет на RAM и latency ограничен, разреженные представления никуда не уходят.

Структурные слабости

При этом структурные слабости BM25 никуда не исчезают. Он бессилен при лексическом разрыве («уволить» против «расторжение трудового договора»), слеп к порядку слов и отрицаниям («не подлежит» и «подлежит» в мешке слов почти неразличимы, а удаление стоп-слов вовсе стирает «не»), завышает вес сверхкоротких шумных чанков с одним редким словом и критически зависит от качества токенизации.

5. Гибридный поиск: когда RRF не спасает

Лучше всего работает связка из двух поисков, но важно, как именно их результаты объединяют. Взвешенная сумма оценок, как правило, точнее простого слияния по местам в выдаче, но веса нужно подбирать под свои данные.

При слиянии sparse и dense чаще всего ставят Reciprocal Rank Fusion (RRF), однако математический анализ функций слияния в работе Bruch, Gai, Ingber — An Analysis of Fusion Functions for Hybrid Retrieval (arXiv:2210.11934) — показывает, что выпуклая комбинация нормализованных оценок (Convex Combination, CC) обыгрывает RRF и внутри домена, и при переносе. RRF отбрасывает величину скоров, оставляя только ранги, и при этом сам чувствителен к константе k, тогда как вес α в CC уверенно подбирается по небольшому числу размеченных запросов, а выбор способа нормализации оказывается менее критичным, чем принято считать.

Ещё важнее вывод из исследования Louis, van Dijck, Spanakis на французском праве — Know When to Fuse (arXiv:2409.01357, COLING 2025). В zero-shot режиме слияние разных моделей стабильно выигрывает у любой одиночной модели независимо от способа агрегации. Но когда dense-модель дообучена на парах «вопрос → норма» конкретной предметной области, наивное слияние обычно ухудшает качество относительно лучшей одиночной системы, если тщательно не переподобрать веса. Гибрид перестаёт быть бесплатным бонусом.

def minmax(scores):
    # scores: dict[doc_id, float] по top-K одной ветки
    if not scores:
        return {}
    lo, hi = min(scores.values()), max(scores.values())
    if hi == lo:
        return {k: 1.0 for k in scores}
    return {k: (v - lo) / (hi - lo) for k, v in scores.items()}

def convex_fusion(bm25, dense, alpha=0.5, top_n=50):
    a, b = minmax(bm25), minmax(dense)
    ids = set(a) | set(b)
    fused = {i: alpha * a.get(i, 0.0) + (1 - alpha) * b.get(i, 0.0) for i in ids}
    return sorted(fused, key=fused.get, reverse=True)[:top_n]

В этой реализации скрыты два нюанса. Во-первых, minmax по top-K привязан к самой глубине K: при изменении глубины выдачи между валидацией и продакшеном те же документы получат другие нормированные оценки, поэтому K нужно жёстко фиксировать. Во-вторых, документ, найденный только одной веткой, получает от второй 0.0 — иногда на тестовой выборке лучше работает подстановка минимума по этой ветке.

На практике разумно выстраивать гибридизацию поэтапно. Пока нет разметки, берите RRF (k=60) как безопасный дефолт; затем соберите 50–100 размеченных запросов, подберите α перебором по сетке от 0.0 до 1.0 с шагом 0.1 и сравните CC с RRF через парный bootstrap. Если разница статистически не значима, оставляйте RRF — он проще и устойчивее к замене моделей, а если используете CC и дообучаете dense-энкодер, переподбирайте α после каждой итерации обучения.

6. Модификации BM25

Из экстеншенов самой формулы выделяется BMX (arXiv:2408.06643), добавляющий взвешивание по энтропии сходства и взвешенное дополнение запроса через LLM (WQA). По данным авторов он обходит классический BM25 и на части длинноконтекстных бенчмарков конкурирует с плотными моделями. Поскольку независимых воспроизведений на русском языке пока нет, рассматривать его стоит лишь как кандидата на эксперимент в ситуации, когда вы уже готовы платить за LLM на этапе запроса.

Намного предсказуемее на практике работают подходы, меняющие не формулу, а входные данные BM25. Расширение документов при индексации (doc2query и контекстный BM25 в духе Anthropic) дописывает к чанкам сгенерированные вопросы или контекст всего документа, перенося стоимость LLM с критического пути запроса на этап индексации, где её можно амортизировать и кэшировать. Второй рабочий инструмент — взвешивание полей (BM25F или combined_fields в Elasticsearch), позволяющее отделить заголовок статьи или раздела от тела пункта: в нормативных актах совпадение в заголовке почти всегда весомее случайного повтора фразы в тексте.

7. Русский язык и сложный домен: тянет или не тянет

На практике выигрыш даёт не «умная» формула, а аккуратная подготовка текста. Правильно приведённые к начальной форме слова, сохранённые цифры и частица «не» и разумная нарезка на фрагменты влияют сильнее, чем любые доработки алгоритма.

На русскоязычном бенчмарке RuBQ при одной и той же формуле BM25 качество менялось от 0,282 nDCG@10 (сырые словоформы без нормализации) до 0,384 nDCG@10 (усечение до префикса из пяти символов) — прирост составил +0,10. При этом перебор вариантов самой формулы давал разброс около 0,005. Анализатор влияет на метрики примерно в двадцать раз сильнее самой формулы, поэтому до фиксации токенизации и морфологии сравнивать BM25L с Lucene бессмысленно.

Подбирать нормализацию — Snowball-стеммер, лемматизацию (например, pymorphy3), морфологические плагины или усечение до N символов — нужно на конкретном корпусе: грубое усечение до пяти символов сработало на RuBQ, но в юридических текстах с длинными канцеляризмами оптимум N может быть другим. При этом критично не удалять из индекса частицу «не», союзы «или», «либо», предлог «кроме» и цифры. BM25 не понимает логику фразы «не подлежит», но сохранение этих токенов гарантирует доставку документа на этап реранкинга, а в запросах вроде «ст. 395» именно 395 несёт основную нагрузку.

Идентификаторы и ссылки на нормы

Стандартный токенизатор обычно режет ссылки вида «ст. 395», «п. 1.1» или «№ 14-ФЗ» на обломки, поэтому надёжнее вытаскивать доменные идентификаторы регулярными выражениями при индексации и складывать в отдельное keyword-поле (например, gk_rf_395), а аббревиатуры и полные названия («ГК РФ» и «Гражданский кодекс Российской Федерации») сводить synonym-фильтром в один терм:

import re

ART = re.compile(r'ст(?:атья|атьи|атье|\.)?\s*(\d+(?:\.\d+)*)', re.IGNORECASE)

def extract_refs(text, code_alias):
    # code_alias: 'gk_rf', 'tk_rf' и т. д., определяется метаданными документа
    return [f'{code_alias}_{m.group(1)}' for m in ART.finditer(text)]

Редакции документов и отравление IDF

При работе с документами, у которых есть история изменений, важно не допустить отравления IDF. Если в один индекс попадают все редакции кодекса, текст статей дублируется десятки раз, df растёт, а IDF ключевых терминов падает. Выход — либо считать статистику только по коллекции актуальных редакций, вынеся исторические в отдельный индекс, либо дедуплицировать идентичные чанки перед расчётом статистик, применяя фильтр по дате действия в обеих ветках гибрида.

Длинные документы и чанкинг

Наконец, для длинных документов (в юридическом корпусе медиана длины — 1 396 слов, максимум — 505 809) нарезка на короткие фрагменты с агрегацией по лучшему чанку работает намного лучше смены формулы на BM25L: в тестах на трудных запросах фрагменты по 100 слов дали +0,022 nDCG@10 против +0,004 и +0,003 у фрагментов по 200 и 400 слов. Это же подтверждает контекст по RusBEIR (arXiv:2504.12879): в среднем по русским задачам BM25 набрал 52,16 nDCG@10 против 60,12 у mE5-large, 61,13 у BGE-M3 и 59,87 у BM25 с реранкером, но на подзадаче с полными текстами статей BM25 обогнал BGE-M3 примерно на 13 пунктов, так как у нейросети ограничено контекстное окно, а у BM25 — нет.

8. Как вписать в архитектуру

Все перечисленные выводы складываются в следующий пайплайн:

запрос -> нормализация (лемматизация / стемминг)
       -> дорожка идентификаторов: regex -> exact match по gk_rf_395, номерам дел
       -> BM25 (ru_legal, k1/b подобраны) top-100 --\
       -> dense (BGE-M3 или mE5)          top-100 ---> CC или RRF -> реранкер -> top-8 -> LLM
       (фильтры по юрисдикции и дате действия применяются в обеих ветках)

Стартовый шаблон настроек Elasticsearch в виде словаря для Python-клиента (стеммер и коэффициенты k1=1.2, b=0.5 здесь служат каркасом до замеров на dev-выборке):

settings = {
    'index': {'similarity': {'legal_bm25': {'type': 'BM25', 'k1': 1.2, 'b': 0.5}}},
    'analysis': {
        'filter': {
            'legal_syn': {
                'type': 'synonym',
                'synonyms': ['гк рф, гражданский кодекс российской федерации'],
            },
            'ru_stem': {'type': 'stemmer', 'language': 'russian'},
        },
        'analyzer': {
            'ru_legal': {
                'tokenizer': 'standard',
                'filter': ['lowercase', 'legal_syn', 'ru_stem'],
            },
        },
    },
}

mappings = {
    'properties': {
        'text':  {'type': 'text', 'analyzer': 'ru_legal', 'similarity': 'legal_bm25'},
        'title': {'type': 'text', 'analyzer': 'ru_legal', 'similarity': 'legal_bm25'},
        'refs':  {'type': 'keyword'},
        'valid_from': {'type': 'date'},
        'valid_to':   {'type': 'date'},
    }
}

Паттерн

Когда применять

Основной риск

BM25 как генератор кандидатов

Всегда при наличии реранкера

Потолок задаёт Recall@N первой стадии

Гибрид BM25 + dense (CC / RRF)

Большинство продуктовых корпусов

Слияние ухудшает дообученную dense-модель без подбора весов

Дорожка идентификаторов

Право, договоры, тикеты, логи

Регулярные выражения нужно поддерживать

Расширение запроса LLM

Бытовые формулировки, лексический разрыв

Задержка и выдуманные реквизиты

Расширение документов при индексации

Сильный разрыв лексики между запросом и документом

Стоимость переиндексации и устаревание при правках

BM25 как sparse-вектор в векторной БД

Требование держать один сервис вместо двух

Дрейф avgdl и хэш-коллизии токенов

9. Протокол оценки

Опираясь на урок Touché о неполноте разметки, валидацию стоит выстраивать как строгий последовательный процесс:

  1. Стратифицированный golden set. Соберите 200–500 реальных запросов и разбейте их по классам: идентификаторы, перефразировки, длинные описания ситуаций, бытовая лексика. Метрики считайте в разрезе классов, иначе среднее скроет просадку по ключевым сущностям.

  2. Пулинг нескольких систем. Размечайте объединённый top-20 всех кандидатов (BM25 с разными анализаторами, dense, гибрид), а не одной текущей системы.

  3. Иерархия тюнинга. Подбирайте параметры на dev-части строго в порядке «анализатор и чанкинг → k1 и b → δ (если проверяете BM25L/+) → α в гибриде», а финальный замер на test делайте один раз.

  4. Разделение метрик по стадиям. Для первой стадии оценивайте Recall@50 и Recall@100, для итоговой после реранкера — nDCG@10.

  5. Проверка статзначимости. Любое улучшение проверяйте парным bootstrap по запросам с оценкой доверительного интервала:

import numpy as np

def paired_bootstrap(a, b, n=10000, seed=0):
    # a, b: метрика по каждому запросу для двух систем (одинаковый порядок)
    rng = np.random.default_rng(seed)
    diffs = np.asarray(a, dtype=float) - np.asarray(b, dtype=float)
    idx = rng.integers(0, len(diffs), size=(n, len(diffs)))
    means = diffs[idx].mean(axis=1)
    lo, hi = np.percentile(means, [2.5, 97.5])
    return float(diffs.mean()), (float(lo), float(hi))

# Если интервал [lo, hi] содержит 0, выигрыш не доказан

При выборке в 205 запросов (как в юридическом прокси-бенчмарке) ширина доверительного интервала для разности обычно сопоставима с 0,01, поэтому условные +0,009 у BM25L без такой проверки считать результатом нельзя.

10. Типичные ошибки

Большинство провалов при внедрении BM25 связаны с неправильными предположениями о природе его оценок и валидации. Жёсткие пороги отсечения по абсолютному скору («выше 12 — найдено») ломаются при смене длины запроса или обновлении корпуса, ровно как и попытки сравнивать числовые скоры разных библиотек и мажорных версий Lucene. Не менее опасна утечка данных в экспериментах: подбор k1 и b на тех же запросах, по которым сдаётся итоговая метрика, или оценка новых архитектур на разметке top-10 единственной старой системы.

Вторая группа ошибок кроется в работе с текстом и метаданными. Удаление частицы «не» и коротких союзов стандартными стоп-листами разрушает смысл юридических и технических норм, фильтрация по дате редакции или юрисдикции только в одной ветке гибрида протаскивает в ответ утратившие силу документы, а смешивание всех версий акта в одном индексе искажает глобальный IDF.

Наконец, вредят обе крайности в позиционировании метода. Списывать BM25 как устаревший не позволяет даже статистика EntityQuestions (49,7% у dense против 72,0% на редких сущностях), но и оставлять его без dense-ветки или расширения на разговорных запросах нельзя — лексический разрыв обнулит выдачу. Если же используется LLM-расширение запросов на лету, его нельзя прокидывать в индекс без санитизации выдуманных моделью номеров и кодов.

Границы применимости

ри переносе этих цифр в свой проект важно учитывать три ограничения:

  • Публичного эталонного бенчмарка по российскому праву на сегодня нет, поэтому доменные выводы опираются на данные RuBQ и прогон на 205 юридических запросах без опубликованных доверительных интервалов.

  • Основная масса академических замеров (BEIR, EntityQuestions, MS MARCO, исследование Louis и др.) получена на английском и французском языках: сами механизмы переносятся, но конкретные величины эффекта на русской морфологии будут отличаться.

  • BMX и query2doc описаны по статьям авторов и требуют самостоятельной проверки на русском корпусе до закладки в архитектуру.

Источники

0. Носов А.В. BM25 для НейроЮриста, Отчёт от 13 ноября 2026

  1. BEIR, arXiv:2104.08663

  2. Simple Entity-Centric Questions Challenge Dense Retrievers, arXiv:2109.08535

  3. Touché 2020 Argument Retrieval Subset of BEIR, arXiv:2407.07790

  4. BM25S, arXiv:2407.03618

  5. BMX, arXiv:2408.06643

  6. An Analysis of Fusion Functions for Hybrid Retrieval, arXiv:2210.11934

  7. Know When to Fuse, arXiv:2409.01357

  8. Query2doc, arXiv:2303.07678

  9. Multivector Reranking in the Era of Strong First-Stage Retrievers, arXiv:2601.05200

  10. From Tokens to Concepts: Leveraging SAE for SPLADE, arXiv:2604.21511

  11. SPRINT, arXiv:2307.10488

  12. RusBEIR, arXiv:2504.12879

  13. Lv Y., Zhai C. Lower-bounding term frequency normalization (CIKM 2011); When documents are very long, BM25 fails! (SIGIR 2011).

  14. Kamphuis C. и др. Which BM25 Do You Mean? (ECIR 2020).

  15. Разбираем алгоритм полнотекстового поиска BM25 — Хабр

  16. BM25 lexical search — Claude Academy

  17. Michael-JB/bm25 — реализация BM25 как sparse-эмбеддера на Rust

Комментарии (6)


  1. ErastPetrovich
    19.11.2026 11:45

    Слушай, а смысл вообще возиться с BM25, если есть нормальные эмбеддинги? Взял BGE-M3, прогнал все через вектора и живёшь спокойно. Разве нет?