В «Магните» только по 1С-системам суточный объем логов переваливает за 100 Гб. Их нужно обрабатывать, использовать, выделять ценные данные. Конечно, мы пользуемся Discover с различными дашбордами и визуализациями. Но иногда необходима оперативность. Тогда пригождается система алертингов: она позволяет создавать оповещения и уведомлять пользователей о различных событиях или изменениях в данных.

В рунете не так много материалов по настройке алертингов, поэтому мы решили поделиться своим мануалом в надежде, что это поможет кому-то сберечь драгоценное время. В статье познакомимся с основами работы с алертингами в OpenSearch и настроим один способ доставки оповещений — в Telegram.

Структура системы алертингов

Monitor

Ключевой объект системы алертингов OpenSearch — монитор (Monitor).

Если в двух словах, то в мониторе необходимо указать:

• как получать данные для проверки (Query),

• какие условия проверять в результате запроса выше,

• какие действия совершить при выполнении условий проверки. Действия — это отправка сообщения по настроенному шаблону в выбранный канал (Channel) оповещений.

Мониторов есть несколько типов:

• Per query monitor – монитор по запросу

• Per bucket monitor – монитор по подготовленному (агрегированному) набору данных

• Per cluster metrics monitor – монитор состояния кластера

• Per document monitor – монитор по документам

• Composite monitor – составной монитор, нужен для совмещения нескольких мониторов

В примерах ниже я буду использовать самый простой монитор по запросу (Per query monitor).

Channels

Channels – каналы для отправки сообщений. Раньше они назывались Destinations, но команда Amazon сделала ребрендинг (привет, милиция—полиция).

Есть 5 типов каналов:

• Slack – популярный мессенджер

• Chime – решение от Amazon для проведения онлайн-встреч и совещаний

• Custom webhook – универсальная отправка HTTP-запросов на нужный адрес с необходимыми данными

• Email – отправка электронной почты через SMTP

• Amazon SNS – сервис уведомлений от создателей

В зависимости от типа канала открываются дополнительные настройки. Их разберём чуть позже.

Прикладная задача мониторинга

Представим, что не так давно мы настроили доменную авторизацию в OpenSearch, но пока не отключили базовые учетные записи.

Давайте сделаем мониторинг, который будет оповещать нас о факте логина под учетной записью admin.

Эти данные по умолчанию OpenSearch собирает в индексы с шаблоном имени security-auditlog-*

Вот пример записи, по которой необходимо получить оповещение.

{
  "_index": "security-auditlog-2023.11.22",
  "_id": "qsnk-IsBw5omAc_g2xTR",
  "_version": 1,
  "_score": null,
  "_source": {
    "audit_cluster_name": "docker-cluster",
    "audit_transport_headers": {
      "_opendistro_security_initial_action_class_header": "BulkShardRequest",
      "_opendistro_security_origin_header": "REST",
      "_opendistro_security_remotecn": "docker-cluster"
    },
    "audit_node_name": "4399791e2a7a",
    "audit_trace_task_id": "75Csrxx-Qlm4hI9GTG5EkQ:990161377",
    "audit_transport_request_type": "PutMappingRequest",
    "audit_category": "INDEX_EVENT",
    "audit_request_origin": "REST",
    "audit_request_body": "{\"_doc\":{\"properties\":{\"CompoundContext\":{\"type\":\"keyword\",\"ignore_above\":8191},\"Context\":{\"type\":\"keyword\",\"ignore_above\":8191}}}}",
    "audit_node_id": "75Csrxx-Qlm4hI9GTG5EkQ",
    "audit_request_layer": "TRANSPORT",
    "@timestamp": "2023-11-22T21:17:09.968+00:00",
    "audit_format_version": 4,
    "audit_request_remote_address": "10.0.0.1",
    "audit_request_privilege": "indices:admin/mapping/auto_put",
    "audit_node_host_address": "172.0.0.1",
    "audit_request_effective_user": "admin",
    "audit_trace_resolved_indices": [
      "techlog-all-v001cdevappsrv-2023.11.23"
    ],
    "audit_node_host_name": "172.0.0.1"
  },
  "fields": {
    "@timestamp": [
      "2023-11-22T21:17:09.968Z"
    ]
  },
  "sort": [
    1700687829968
  ]
}

Настройка алертинга в Telegram из OpenSearch

Создание Channel

Для начала необходимо создать нужный канал.

Для этого открываем Management -> Notifications

И с помощью кнопки Create channel создаем новый элемент, в котором заполняем имя и описание создаваемого канала, а в качестве типа (Channel type) укажем Custom webhook.

Отправлять запросы будем через API Telegram, поэтому указываем настройки согласно правилам используемого API.

• Method – POST

• Define endpoints by — Webhook URL

• Webhook URL — https://api.telegram.org/botТокен_Вашего_Бота/sendMessage?chat_id=ID_Чата_Для_Сообщений

Настройка прокси

Если с сервера OpenSearch обращения к API Telegram нужно делать через прокси, то необходимо выполнить следующие настройки:

1. В конфигурационном файле настроек JVM, который можно найти или создать на сервере с OpenSearch по пути opensearch/config/jvm.options, необходимо прописать следующие параметры:

-Dhttp.proxyHost=some_proxy_host
-Dhttp.proxyPort=3128
-Dhttps.proxyHost=some_proxy_host
-Dhttps.proxyPort=3128

2. Если нужно указать пользователя для работы с прокси, то необходимо добавить следующие параметры:

-Dhttp.proxyUser=some_user_name
-Dhttp.proxyPassword=some_user_pass
-Dhttps.proxyUser=some_user_name
-Dhttps.proxyPassword=some_user_pass

Создание Monitor

После создания канала для отправки сообщений можно приступить к созданию монитора (monitor). Для этого в разделе OpenSearch Plugins выбираем пункт Alerting.

В открывшемся окне переходим на вкладку Monitors и создаем новый монитор с помощью команды Create monitor.

Указываем, что это будет обычный монитор: Monitor type — Per query monitor.

Далее для настройки я буду использовать визуальный редактор. При желании все настройки можно указать с помощью специального синтаксиса.

Настроим расписание, по которому будет работать монитор. Я настрою запуск на каждые 10 минут.

В блоке Data source необходимо указать, из каких индексов будут выбираться данные, и поле, которое содержит отметку времени.

Для решения прикладной задачи я буду выбирать данные из всех логов безопасности OpenSearch.

Далее настрою выполнение запроса на выборку данных за последние 10 минут (так как интервал запуска монитора — каждые 10 минут) и установлю отбор по имени пользователя audit_request_effective_user is admin.

По умолчанию результат запроса не содержит детальных записей, и если нет необходимости выводить информацию по каждой записи в сообщение, то можно оставить запрос так.

Результат запроса без детальных записей:

{
    "_shards": {
        "total": 30,
        "failed": 0,
        "successful": 30,
        "skipped": 0
    },
    "hits": {
        "hits": [],
        "total": {
            "value": 12,
            "relation": "eq"
        },
        "max_score": null
    },
    "took": 2,
    "timed_out": false
}

Мне же нужно вывести информацию по первым пяти записям, и я изменю запрос уже в текстовом редакторе. Можно сделать и больше записей, но у Telegram есть ограничение на размер сообщения.

Переключу формат редактора на Extraction query editor.

В боке редактирования запроса изменю размер выборки

"size": 5

Важно помнить, что переключение в визуальный редактор сбрасывает настройки, которые были сделаны в текстовом редакторе, поэтому такие тонкие настройки нужно делать в самом конце.

Далее создаем триггер и указываем условие его срабатывания. В моём примере мне необходимо выполнять оповещения, если есть хотя бы одна запись.

В триггере необходимо создать действие или действия, которые должны быть выполнены при выполнении условия.

Я пока укажу одно событие – отправку сообщения в созданный канал с веб-хуком.

А в поле Message необходимо указать шаблон тела POST-запроса к API Telegram, а именно JSON, где в поле text будет находиться шаблон сообщения. Шаблон указывается с использованием синтаксиса mustache.

Для примера выведем все IP-адреса, с которых произошёл логин под учетной записью admin.

{
    "text":" Обнаружен логин под сервисной учетной записью
Количество событий: {{ctx.results.0.hits.total.value}}
{{#ctx.results.0.hits.hits}}
- Дата: {{_source.@timestamp}}
- IP: {{_source.audit_request_remote_address}}
- Логин: {{_source.audit_request_effective_user}}
{{/ctx.results.0.hits.hits}}"
}

На этом настройка завершена: сохраняем монитор и ждём сообщений в канал Telegram.

Описанный подход подойдёт и для решения других задач оповещения: комбинируя различные типы мониторов и каналов, можно решить практически любую задачу. Подход останется прежним: есть данные, условия (triggers) и шаблон сообщения, который отправляется в выбранный канал.