Привет, Хабр!
Правильно настроенные индексы могут значительно ускорить доступ к данным и улучшить производительность запросов. В NoSQL разнообразие решений настолько велико, что порой можно заблудиться.
В статье разберемся, какие виды индексов существуют, какие задачи они помогают решать и как выбирать подходящий индекс.
Типы индексов в NoSQL
Первичные индексы:
Первичные индексы дают уникальную идентификацию каждой записи в базе данных и организуют данные в соответствии с определенным ключом. В NoSQL-базах данных первичные индексы играют основную роль в распределении данных между узлами.
Первичные индексы определяются автоматически при создании записи и не требуют доп. усилий для их поддержки. Например, в MongoDB _id является первичным индексом по умолчанию, а в Cassandra используется первичный ключ, определяемый пользователем.
В MongoDB поле _id автоматически индексируется:
// поиск документа по первичному индексу _id
db.collection.find({ _id: ObjectId("64bd1c9f4a4e19d8f84f06f9") })В Cassandra первичный ключ определяется при создании таблицы, который автоматически индексируется:
-- cоздание таблицы с первичным ключом
CREATE TABLE users (
user_id UUID PRIMARY KEY,
name TEXT,
email TEXT
);
-- поиск по первичному индексу
SELECT * FROM users WHERE user_id = '550e8400-e29b-41d4-a716-446655440000';Первичные индексы дают быстрый доступ к записям, т.к данные отсортированы по ключу. Но при этом подходят только для операций, связанных с ключом.
Вторичные индексы
Вторичные индексы дают возможность быстрого поиска по полям, отличным от первичного ключа. Они помогают выполнять сложные запросы, которые не могут быть реализованы с использованием только первичных индексов.
MongoDB:
Создание вторичного индекса для оптимизации поиска по полю name:
// создание вторичного индекса на поле name
db.collection.createIndex({ name: 1 });
// поиск по вторичному индексу
db.collection.find({ name: "Artem" });Cassandra:
Создание вторичного индекса для оптимизации поиска по полю email:
-- создание вторичного индекса на поле email
CREATE INDEX ON users (email);
-- поиск по вторичному индексу
SELECT * FROM users WHERE email = 'artem@example.com';Рассмотрим пример использования первичных и вторичных ключей, где идет работа с коллекцией пользователей в MongoDB и нужно оптимизировать поиск по нескольким полям:
// создание коллекции пользователей с автоматическим первичным индексом _id
db.users.insertMany([
{ name: "Ivan", email: "ivan@example.com", age: 28 },
{ name: "Artem", email: "artem@example.com", age: 32 },
{ name: "Kolya", email: "kolya@example.com", age: 25 }
]);
// создание вторичных индексов
db.users.createIndex({ name: 1 });
db.users.createIndex({ email: 1 });
// поиск пользователя по имени
db.users.find({ name: "Alice" });
// поиск пользователя по email
db.users.find({ email: "bob@example.com" });Создали индексы на полях name и email, таким образом можно быстро находить пользователей по этим параметрам.
Индексы на основе диапазонов
Индексы на основе диапазонов позволяют обрабатывать запросы, где необходимо работать с интервалами значений: временные метки, числовые диапазоны или алфавитные строки.
Elasticsearch активно использует индексы на основе диапазонов для обработки временных данных и сложных запросов. Пример:
PUT /logs
{
"mappings": {
"properties": {
"timestamp": { "type": "date" },
"message": { "type": "text" }
}
}
}
// поиск по диапазону дат
GET /logs/_search
{
"query": {
"range": {
"timestamp": {
"gte": "2024-08-01",
"lte": "2024-08-31"
}
}
}
}Cassandra поддерживает индексацию на основе диапазонов для числовых и временных данных:
-- создание таблицы с временными метками
CREATE TABLE events (
event_id UUID PRIMARY KEY,
timestamp TIMESTAMP,
description TEXT
);
-- поиск событий за определенный период
SELECT * FROM events WHERE timestamp >= '2024-08-01' AND timestamp <= '2024-08-31';Представим задачу, в которой идет работа с логами событий и нужно быстро находить события за определенные временные промежутки:
// создание коллекции логов событий
db.logs.insertMany([
{ timestamp: new Date("2024-08-01T10:00:00Z"), message: "User login" },
{ timestamp: new Date("2024-08-02T12:00:00Z"), message: "Data backup" },
{ timestamp: new Date("2024-08-03T14:00:00Z"), message: "System update" }
]);
// создание индекса на поле timestamp
db.logs.createIndex({ timestamp: 1 });
// поиск событий за август 2024
db.logs.find({
timestamp: {
$gte: new Date("2024-08-01"),
$lte: new Date("2024-08-31")
}
});Геопространственные индексы
Геопространственные индексы предназначены для работы с географическими данными, такими как координаты точек, линии и полигоны. Они позволяют выполнять географические запросы, например: "поиск ближайших" и "вхождение в область".
В MongoDB используется 2dsphere индекс для поддержки сложных географических запросов:
// создание коллекции с географическими данными
db.places.insertMany([
{ name: "Central Park", location: { type: "Point", coordinates: [-73.9654, 40.7829] } },
{ name: "Golden Gate Park", location: { type: "Point", coordinates: [-122.4862, 37.7694] } }
]);
// создание геопространственного индекса
db.places.createIndex({ location: "2dsphere" });
// поиск мест в радиусе 10 км от заданной точки
db.places.find({
location: {
$near: {
$geometry: { type: "Point", coordinates: [-73.935242, 40.730610] },
$maxDistance: 10000
}
}
});Elasticsearch поддерживает геопространственные индексы для быстрого поиска по координатам:
PUT /places
{
"mappings": {
"properties": {
"location": { "type": "geo_point" }
}
}
}
// Поиск ближайших мест
GET /places/_search
{
"query": {
"geo_distance": {
"distance": "10km",
"location": {
"lat": 40.730610,
"lon": -73.935242
}
}
}
}Допустим, мы разрабатываем приложение для поиска ближайших кафе, используя MongoDB:
// создание коллекции с данными о кафе
db.cafes.insertMany([
{ name: "Cafe 1", location: { type: "Point", coordinates: [-73.935242, 40.730610] } },
{ name: "Cafe 2", location: { type: "Point", coordinates: [-73.985428, 40.748817] } }
]);
// создание геопространственного индекса
db.cafes.createIndex({ location: "2dsphere" });
// поиск кафе в радиусе 5 км от заданной точки
db.cafes.find({
location: {
$near: {
$geometry: { type: "Point", coordinates: [-73.961452, 40.768063] },
$maxDistance: 5000
}
}
});Полнотекстовые индексы
Полнотекстовые индексы позволяют обрабатывать запросы, связанные с текстовым содержимым.
MongoDB поддерживает полнотекстовые индексы с использованием text индекса для текстового поиска:
// создание коллекции с текстовыми данными
db.articles.insertMany([
{ title: "NoSQL: A Comprehensive Guide", content: "This article explains the key concepts of NoSQL databases." },
{ title: "Understanding MongoDB Indexes", content: "Indexes in MongoDB are crucial for performance optimization." }
]);
// создание полнотекстового индекса
db.articles.createIndex({ content: "text" });
// поиск по ключевым словам
db.articles.find({ $text: { $search: "NoSQL databases" } });А вот Elasticsearch изначально проектировался для полнотекстового поиска:
PUT /articles
{
"mappings": {
"properties": {
"content": { "type": "text" }
}
}
}
// Поиск по ключевым словам
GET /articles/_search
{
"query": {
"match": {
"content": "NoSQL databases"
}
}
}
Представим, что хотим реализовать поиск по статьям с MongoDB:
// MongoDB: Создание коллекции статей
db.blog.insertMany([
{ title: "The Rise of NoSQL", content: "NoSQL databases have become increasingly popular..." },
{ title: "Indexing in MongoDB", content: "Indexes are essential for query performance in MongoDB..." }
]);
// создание полнотекстового индекса на поле content
db.blog.createIndex({ content: "text" });
// поиск статей, содержащих слово "NoSQL"
db.blog.find({ $text: { $search: "NoSQL" } });Индексация — это мощный инструмент, который может улучшить производительность и гибкость проектов.
Если есть еще темы или вопросы, которые стоит рассмотреть, дайте знать!
В заключение напоминаю про ближайшие открытые уроки, которые пройдут в рамках онлайн-курса "NoSQL":
15 августа: «Практические кейсы использования ClickHouse». Запись по ссылке
22 августа: «Интеграция ClickHouse с системами ETL». Запись по ссылке
dyadyaSerezha
А как насчёт составных индекса и поиску по неполному значению индекса?