Поиск по слову «дроби»
Поиск по слову «дроби»

Так поиск вёл себя до исправления: по запросу «дроби» две темы находились.

Поиск по темам я сделал по принципу «лишь бы работало». Берём строку, приводим к нижнему регистру и проверяем, входит ли запрос в заголовок. Для «дроби» это работало. Для «дробь» — нет.

Первый раз я заметил это случайно. Открыл сайт, ввёл «дроби», получил две темы: «Обыкновенные дроби» и «Десятичные дроби». Потом ввёл «дробь» — и увидел:

Поиск по слову «дробь»
Поиск по слову «дробь»

Ноль тем. При этом одна статья теории и пять статей блога почему-то нашлись.

Разница в одну букву. Для человека «дробь» и «дроби» — одно и то же слово. Для query in haystack — разные строки.

Что было в коде

Упрощённо поиск выглядел так:

python

query = request.GET.get("q", "").strip().lower()
tokens = query.split()

for topic_id, topic in TOPICS.items():
    haystack = f"{topic['title']} {topic['subject']} {topic_id}".lower()
    if not all(token in haystack for token in tokens):
        continue
    ...

Проблема не в Django и не в базе. Проблема в том, что я искал подстроку, а не слово. «Дробь» не является подстрокой «дроби»: там дроб + и, а не дробь.

С «процентами» повезло: «процент» входит в «проценты». С «дробями» — нет. С запросом «как решать дроби» — тоже нет, потому что слова «решать» в заголовке темы вообще не было.

Первая мысль: добавить исключение

Самое быстрое решение — написать:

python

if query == "дробь":
    query = "дроби"

Это работает ровно до следующего слова. «Задача» и «задачи», «функция» и «функции», «угол» и «углы» — список можно продолжать до бесконечности. Через неделю в коде появился бы словарь на двести строк, который всё равно не покрывал бы падежи.

Мне нужен был не словарь, а нормальная форма слова.

Что сделал

В проекте уже был pymorphy3 — я добавлял его для других задач. Использовал его для лемматизации:

python

@lru_cache(maxsize=16384)
def _normal_form(word):
    return _MORPH.parse(word)[0].normal_form

@lru_cache(maxsize=4096)
def search_terms(text):
    words = re.findall(r"[a-zа-яё0-9]+", text.lower())
    return tuple(sorted({
        _normal_form(word)
        for word in words
        if len(word) > 1 and word not in STOP_WORDS
    }))

Теперь «дроби», «дробь», «дробями» и «дробей» дают одну основу — дробь. «Обыкновенные» и «обыкновенных» — обыкновенный.

Сравнение стало таким:

python

def _prefix_match(term, candidate):
    if term == candidate or candidate.startswith(term) or term.startswith(candidate):
        return True
    return len(term) >= 4 and len(candidate) >= 4 and term[:4] == candidate[:4]


def terms_match(query_terms, haystack_terms):
    return all(
        any(_prefix_match(term, candidate) for candidate in haystack_terms)
        for term in query_terms
    )

Запас на префикс нужен для неполного ввода: «дроб» должно находить «дроби», пока человек ещё печатает.

И ещё один случай, который я не ожидал: pymorphy3 приводит «дроб» не к «дробь», а к «дроба». Поэтому сравнение по первым четырём буквам пришлось оставить — иначе короткий запрос снова давал ноль.

Ещё добавил список служебных слов. Без него запрос «как решать дроби» требовал, чтобы в заголовке темы было слово «решать». Его там нет — и поиск снова возвращал ноль. Теперь «как» и «решать» не участвуют в сравнении, а «дроби» находит тему.

Что получилось

После исправления тот же запрос «дробь»:

Поиск после исправления
Поиск после исправления

Две темы на месте. Статьи теории и блога остались прежними — их поиск я пока не трогал.

Три теста проверяют, что «дробь» находит «Обыкновенные дроби» и «Десятичные дроби», что подсказки возвращают те же темы и что «как решать дроби» не блокируется словом «решать».

Что осталось

Поиск тем стал лучше, но это всё ещё не полноценный поиск.

Во-первых, статьи теории и блога ищутся через icontains по тексту. Поэтому по запросу «дробь» в результатах есть «Задачи на доли» и статьи про проценты: они нашлись по вхождению в текст, а не по смыслу. Это отдельная задача.

Во-вторых, нет ранжирования по релевантности. Сейчас точное совпадение заголовка даёт больший вес, но это грубая эвристика, а не поисковый движок.

В-третьих, нет устойчивости к опечаткам. «Дробь» и «дробь» с опечаткой — разные запросы. Для образовательного сайта это важно: дети печатают быстро и не всегда проверяют.

Я не стал тащить Elasticsearch или отдельный поисковый сервис. Для 600 тем хватает лемматизации и кэша. Когда тем станет больше или понадобится поиск по текстам статей, вернусь к PostgreSQL full-text search. Но сначала нужно было убрать самую глупую ошибку: поиск, который не понимает, что «дробь» и «дроби» — одно слово.

для тех запросов, которые я случайно проверил.

Комментарии (0)