Автор: DevOps компании Hostkey Никита Зубарев

Инфраструктура нашей компании поддерживается на высоких уровнях SLA, что требует от нас измерять, наблюдать и отправлять отчеты, которые фиксируют метрики производительности систем.

В одной из прошлых статей мы рассмотрели варианты установки федерации Prometheus, Alertmanager и Node Exporter, но у нас также есть задача мониторинга задержки производительности наших приложений и точного выявления проблемных конечных точек. Мы отслеживали время отклика всех конечных точек, которые использовались в потоке приложения, и с помощью BlackBox Exporter обнаружили наши конечные точки, вызывающие задержку. Соответственно, перед нами возникла задача наладить мониторинг статус-кодов ответов наших web-сервисов, а также сроков действия SSL-сертификатов.

Что такое мониторинг конечных точек, зачем он нужен?

Мониторинг конечных точек позволяет обнаруживать и анализировать подозрительную активность на устройствах, такую как несанкционированные попытки доступа к системе, внедрение вредоносного ПО, изменение настроек без разрешения пользователя и другие аномальные действия. 

Такой мониторинг позволяет обеспечить безопасность информации, защитить конфиденциальные данные, предотвратить утечки информации и другие кибератаки. Он также помогает управлять рисками и повышать эффективность работы сети, используя данные о конечных точках для оптимизации настроек и процессов. 

В целом, мониторинг конечных точек — важный инструмент информационной безопасности, который позволяет обнаруживать и предотвращать угрозы, связанные с конечными точками в сети.

В контексте нашей статьи мониторинг конечных точек относится к мониторингу внутренних и внешних конечных точек (HTTP/S, DNS, TCP и ICMP) для различных параметров, включая задержки HTTP, задержки поиска DNS, информацию об истечении срока действия сертификата SSL, версию TLS.

Мониторинг Whitebox против Blackbox

Мониторинг белого ящика (white-box testing) относится к мониторингу внутренних компонентов системы, включая журналы приложений, метрики от обработчиков. Мониторинг черного ящика, с другой стороны, включает в себя отслеживание поведения извне, которое влияет на пользователей, такое как сбои в работе сервера, снижение производительности сайта или отдельных страниц.

Blackbox Exporter для Prometheus позволяет реализовать мониторинг внешних сервисов через HTTP, HTTPS, DNS, TCP, ICMP. Каким образом следить за истечением срока действия SSL-сертификата? Самый распространенный способ — blackbox_exporter в сочетании с Prometheus.

Мы собрали rpm-пакет из исходников кода и с помощью Ansible доставили его на хост мониторинга, запустили через Jenkins. Общий алгоритм мониторинга представлен ниже.

Собранный бинарник помещаем в /usr/local/bin/, создаем сервис и конфигурацию (с помощью Ansible):

blackbox.service
[Unit]
Description=Blackbox Exporter Service
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/usr/local/bin/blackbox_exporter --config.file=/etc/blackbox/blackbox.yml
Restart=always

[Install]
WantedBy=multi-user.target

В конфигурации blackbox.yml сразу добавляем модули http_2xx, ssh, icmp:

modules:
  http_2xx:
    prober: http
    timeout: 10s
    http:
      valid_status_codes: [200,302,301,304,401,403] 
      method: GET
  http_post_2xx:
    prober: http
    timeout: 10s
    http:
      valid_status_codes: [200,302,301,304,401,403]
      method: POST
  tcp_connect:
    prober: tcp
  pop3s_banner:
    prober: tcp
    tcp:
      query_response:
      - expect: "^+OK"
      tls: true
      tls_config:
        insecure_skip_verify: false
  grpc:
    prober: grpc
    grpc:
      tls: true
      preferred_ip_protocol: "ip4"
  grpc_plain:
    prober: grpc
    grpc:
      tls: false
      service: "service1"
  ssh_banner:
    prober: tcp
    tcp:
      query_response:
      - expect: "^SSH-2.0-"
      - send: "SSH-2.0-blackbox-ssh-check"
  irc_banner:
    prober: tcp
    tcp:
      query_response:
      - send: "NICK prober"
      - send: "USER prober prober prober :prober"
      - expect: "PING :([^ ]+)"
        send: "PONG ${1}"
      - expect: "^:[^ ]+ 001"
  icmp:
    prober: icmp

Затем подключаемся к web-интерфейсу Blackbox Exporter через web-браузер по адресу localhost:9115

При переходе по адресу http://localhost:9115/probe?module=http_2xx&target=“your_ip”.com можно увидеть результат проверки указанного URL https://“your_ip”.com:

probe_http_status_code 200  - status code 200

probe_success равное 1 означает успешную проверку. Значение 0 говорит об ошибке.

probe_ssl_earliest_cert_expiry 1.705363199e+09
# HELP probe_ssl_last_chain_expiry_timestamp_seconds Returns last SSL chain expiry in timestamp seconds

probe_ssl_earliest_cert_expiry — время до окончания действия цепочки сертификатов. Об этом автоматически сообщается для любых конечных точек SSL.

Добавление конфигурации Prometheus для проверки внешних целей.

Мы можем исследовать определенные статические цели из Prometheus с помощью Blackbox Exporter, используя static_configs.

Static_configs позволяет определить список адресов для мониторинга, а также настроить параметры запросов и интервалы мониторинга. Эти настройки могут быть заданы в конфигурационном файле Prometheus в формате YAML. 

В нашем случае метка param_target указывает Prometheus установить target для параметра запроса заданного значения, которое в данном случае является адресом цели, то есть hostkey.com.

 - job_name: blackbox-ssl
    metrics_path: /probe
    params:
      module:
      - http_2xx
    relabel_configs:
    - source_labels:
      - __address__
      target_label: __param_target
    - source_labels:
      - __param_target
      target_label: instance
    - replacement: localhost:9115
      target_label: __address__
    static_configs:
    - targets:
         - hostkey.com

Аналогично для http:

  - job_name: blackbox-http
    metrics_path: /probe
    params:
      module:
      - http_2xx
    relabel_configs:
    - source_labels:
      - __address__
      target_label: __param_target
    - source_labels:
      - __param_target
      target_label: instance
    - replacement: localhost:9115
      target_label: __address__
    static_configs:
    - targets:
      - https://hostkey.com

Проверка сгенерированных метрик в Prometheus

После применения изменений и развертывания ресурсов для Blackbox Exporter мы можем проверить статус целей в Prometheus: работает ли экспортер с зарегистрированными целями. Для этого необходимо перейти на вкладку «Статус» и выбрать «Цели» в пользовательском интерфейсе Prometheus.

Здесь можно увидеть, что мы используем https://hostkey.com — внешнюю цель для ссылки с ее состоянием UP. Мы также можем проверить, заполняются ли метрики, выполнив поиск метрик, начинающихся с “probe_…”:

Метрика probe_ssl_earliest_cert_expiry возвращает самый ранний срок действия SSL-сертификата в unixtime.

В promethus.yml добавляем файл правил алерта:

rule_files:
- ssl_check.yml

groups: 
- name: ssl_expiry.rules 
  rules: 
  - alert: SSLCertExpiringSoon 
    expr: probe_ssl_earliest_cert_expiry{job="blackbox-ssl"} - time() < 86400 * 10 
    for: 10m
    labels:
      severity: critical
    annotations:
      description: SSL Cerificate will expire after 10 days 

probe_ssl_earliest_cert_expiry{job="blackbox-ssl"} - time() < 86400 * 10 

Согласно формуле, получим предупреждение за 10 дней до истечения сертификата. И увидим предупреждения в дашборде Alermanager:

В канале Rocket.Chat мы можем получить как уведомления об истечении сертификата, так и об иных ошибках, например, уведомления о проблемах работы сайта:

В приведенном выше примере панели мониторинга видно, что теперь мы можем отслеживать производительность сайта, измеряя время отклика с помощью метрик probe_http_duration_seconds, сгенерированных  Blackbox Exporter.

В этом сценарии мы сосредоточимся на проблеме, связанной с истечением срока действия сертификата. Если мы хотим отслеживать, когда истечет срок действия сертификата нашего домена, мы можем добиться этого, используя метрику probe_ssl_earliest_cert_expiry, созданную экспортером для наших входных ресурсов. Мы также можем использовать его для мониторинга работы разрешения DNS или при наличии каких-либо задержек/проблем со стороны балансировщика нагрузки.

Мы можем проверять модули и создавать панель мониторинга работоспособности для наших приложений. В приведенном выше примере мы видим, что мы проверяем модуль на конечной точке /health, используя метрики probe_http_status_code, сгенерированные Blackbox Exporter.

Преимущества Blackbox Exporter

• Измерение времени отклика — самая важная функция Blackbox Exporter, в таких случаях его можно рассматривать как отличный инструмент для анализа задержки/доступности конечных точек, включая наши конечные точки, с которыми сталкиваются пользователи и сторонние службы.

• Blackbox Exporter можно использовать для обнаружения сбоев конечных точек и проверки работоспособности, его можно интегрировать с Alertmanager (мы можем добавить правила оповещения в Prometheus, чтобы получать оповещения о Blackbox Exporter).

• Мы всегда можем оставаться в курсе, отслеживая дату истечения срока действия сертификатов конечных точек с помощью Blackbox Exporter.

Заключение

В этой статье мы рассмотрели следующие моменты:

• Что такое Blackbox Exporter, зачем он нужен.

• Как установить и использовать Blackbox Exporter и отслеживать его с помощью Grafana.

• Каковы некоторые важные варианты использования/преимущества Blackbox Exporter.

Мониторинг HTTP и SSL через Prometheus blackbox_exporter может быть полезен для различных целей и для разных типов пользователей.

Владельцам сайтов и администраторам web-серверов мониторинг HTTP и SSL может помочь отслеживать доступность web-ресурсов и быстро обнаруживать любые проблемы, такие как ошибки 404, 500 и другие. Он также может помочь определить проблемы с SSL-сертификатами и другие проблемы безопасности, которые могут повлиять на пользователей.

Разработчикам и инженерам, занимающимся разработкой web-приложений, мониторинг HTTP и SSL может помочь отслеживать производительность и доступность своих приложений, а также обнаруживать и устранять проблемы с кодом и инфраструктурой.