Задачи отчетности (Reporting Tasks)
В первой статье мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi. Теперь рассмотрим, как передать необходимые метрики и отчеты об ошибках и состоянии кластера во внешние системы. NiFi предоставляет возможность сообщать о состоянии, статистике, показателях и информации мониторинга внешним службам с помощью интерфейса задач отчетности (Reporting Task).
Apache NiFi предоставляет несколько вариантов задач отчетности для поддержки внешних систем мониторинга, таких как Ambari, Grafana, Prometheus и т. д. Разработчик может создать пользовательскую задачу отчетности или настроить встроенные задачи для отправки метрик NiFi во внешние системы мониторинга.
Задачи отчетности:
PrometheusReportingTask – отчеты о метриках в формате Prometheus путем создания endpoint /metrics, которую можно использовать для внешнего мониторинга приложения;
AmbariReportingTask – для настройки службы метрик Ambari для NiFi;
MetricsReportingTask – эта задача создания отчетов передает набор показателей, касающихся JVM и экземпляра NiFi, для отчета, предоставляемого сервисом MetricReporterService;
ScriptedReportingTask – предоставляет отчеты и информацию о состоянии для последующего процессинга в скрипте;
ControllerStatusReportingTask – записывает 5-минутную статистику, которая отображается на сводной странице NiFi для процессоров и подключений;
MonitorDiskUsage – предоставляет отчет и предупреждения об использовании дискового пространства;
MonitorMemory – для мониторинга объема Java heap, используемого в пуле памяти Java JVM;
DataDogReportingTask – публикует метрики из NiFi в платформа мониторинга и аналитики для крупномасштабных приложений Datadog;
StandardGangliaReporter – предоставляет метрики в Ganglia для внешнего мониторинга приложения.
Задачи отчетности выполняются в фоновом режиме для предоставления статистических отчетов о том, что происходит в экземпляре NiFi. DFM (DataFlow manager) добавляет и настраивает задачи создания отчетов аналогично процессу для служб контроллеров. Чтобы добавить задачу создания отчетов, выберите «Настройки контроллера» в глобальном меню:
Отобразится окно настроек NiFi. Выберите вкладку “Reporting Tasks” и нажмите кнопку + в правом верхнем углу, чтобы создать новую “Reporting Task”.
После добавления задачи создания отчетов DFM может настроить ее, нажав кнопку «Изменить» в крайнем правом столбце. Другие кнопки в этом столбце включают «Пуск», «Удалить», «Состояние» и «Политики доступа».
Вы можете получить информацию о задачах создания отчетов, нажав кнопки «Просмотр сведений», «Использование» и «Оповещения» в левом столбце.
Когда DFM нажимает кнопку «Редактировать», открывается окно «Настройка задачи создания отчетов». В окне есть три вкладки: «Настройки», «Свойства» и «Комментарии». Это окно аналогично окну «Настройка процессора». На вкладке «Настройки» DFM может присвоить задаче создания отчетов уникальное имя (при желании). Он также содержит информацию об UUID, типе и пакете для задачи и предоставляет настройки для стратегии планирования задачи и расписания выполнения (аналогично тем же настройкам в процессоре). DFM может навести указатель мыши на значок вопросительного знака, чтобы увидеть больше информации о каждом свойстве настройки.
На вкладке «Свойства» перечислены различные свойства, которые можно настроить для задачи.
Вкладка «Комментарии» — это просто открытое текстовое поле, в котором DFM может хранить комментарии к задаче. После настройки задачи создания отчетов нажмите «Применить» ("Apply"), чтобы сохранить конфигурацию и закрыть окно, или нажмите «Отмена» ("Cancel"), чтобы отменить изменения и закрыть окно.
Если вы хотите запустить задачу создания отчетов, нажмите кнопку «Пуск» ("Start" ).
PrometheusReportingTask
Отчеты о метриках в формате Prometheus путем создания конечной точки http/metrics, которую можно использовать для внешнего мониторинга приложения. Задача создания отчетов сообщает набор показателей, касающихся JVM (необязательно) и экземпляра NiFi.
Описание параметров
Название |
Значение по умолчанию |
Допустимые значения |
Описание |
Prometheus Metrics Endpoint Port |
9092 |
Порт, через который можно получить доступ к метрикам prometheus |
|
Instance ID |
${hostname(true)} |
Идентификатор экземпляра NiFi, который будет включен в метрики, отправляемые в Prometheus |
|
Metrics Reporting Strategy |
All Components |
* Root Process Group * All Process Groups * All Components |
Степень детализации отчетов о метриках. Параметры включают только корневую группу процессов, все группы процессов или все компоненты |
Send JVM metrics |
false |
* true * false |
Отправлять метрики JVM в дополнение к метрикам NiFi |
SSL Context Service |
Controller Service API: RestrictedSSLContextService |
Служба контекста SSL, используемая для защиты сервера. Если указано, сервер будет принимать только HTTPS-запросы.В противном случае сервер будет принимать только HTTP-запросы |
|
Client Authentication |
No Authentication |
* No Authentication * Want Authentication * Need Authentication |
Указывает, должна ли задача создания отчетов выполнять аутентификацию клиентов. Это значение игнорируется, если свойство <SSL Context Service> не указано или предоставленный контекст SSL использует только KeyStore, а не TrustStore |
Для настройки prometheus на наш NiFi необходимо добавить в конфигурационный файл prometheus.yml следующую секцию:
- job_name: "nifi"
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ["10.3.100.4:9092"]
В GUI Prometheus в меню “Status” необходимо выбрать “Targets” и убедиться, что наш адрес добавлен и активен.
Как пример средства для визуализации мониторинга можно использовать Grafana.
Первым шагом добавим Prometheus в качестве источника данных:
PrometheusReportingTask позволяет собирать следующие метрики:
№ |
Название метрики |
Описание |
1 |
nifi_total_bytes_written |
Текущее общее количество байтов, записанных компонентом |
2 |
nifi_total_bytes_read |
Текущее общее количество байтов, прочитанных компонентом |
3 |
nifi_total_bytes_sent |
Текущее общее количество байтов, отправленных компонентом |
4 |
nifi_total_bytes_received |
Текущее общее количество байтов, полученных компонентом |
5 |
nifi_amount_bytes_written |
Общее количество байтов, записанных компонентом |
6 |
nifi_amount_bytes_read |
Общее количество байтов, прочитанных компонентом |
7 |
nifi_amount_bytes_transferred |
Общее количество байтов, переданных компонентом |
8 |
nifi_amount_bytes_sent |
Общее количество байтов, отправленных компонентом |
9 |
nifi_amount_bytes_received |
Общее количество байтов, отправленных компонентом |
10 |
nifi_amount_threads_terminated |
Общее количество потоков, прерванных для компонента |
11 |
nifi_total_task_duration |
Продолжительность потоков в миллисекундах, которые компонент использовал для выполнения своих задач за последние 5 минут |
12 |
nifi_average_lineage_duration |
Средняя продолжительность очереди (в миллисекундах) для всех потоковых файлов, обработанных этим компонентом. |
13 |
nifi_amount_threads_active |
Общее количество потоков, активных для компонента |
14 |
nifi_amount_flowfiles_received |
Общее количество FlowFile, полученных компонентом |
15 |
nifi_amount_flowfiles_sent |
Общее количество FlowFile, отправленных компонентом |
16 |
nifi_amount_flowfiles_transferred |
Общее количество FlowFiles, переданных компонентом |
17 |
nifi_amount_flowfiles_removed |
Общее количество FlowFiles, удаленных компонентом |
18 |
nifi_amount_items_output |
Общее количество элементов, выводимых компонентом |
19 |
nifi_amount_items_queued |
Общее количество элементов, поставленных компонентом в очередь |
20 |
nifi_amount_items_input |
Общее количество элементов, введенных компонентом |
21 |
nifi_size_content_output_total |
Общий размер контента, выводимого компонентом |
22 |
nifi_size_content_input_total |
Общий размер контента, принимаемого компонентом |
23 |
nifi_size_content_queued_total |
Общий размер контента, поставленного в очередь в компонент |
24 |
nifi_transmitting |
Передает ли этот компонент данные. Значения 0 или 1 |
25 |
nifi_backpressure_object_threshold |
Количество потоковых файлов, которые можно поставить в очередь, прежде чем будет применено обратное давление |
26 |
nifi_backpressure_bytes_threshold |
Количество байтов, которое может быть поставлено в очередь до применения обратного давления |
27 |
nifi_backpressure_enabled |
Было ли применено обратное давление для этого компонента. Значения 0 или 1 |
28 |
nifi_percent_used_count |
Процент заполнения соединений на основе количества FlowFile. |
29 |
nifi_percent_used_bytes |
Процент заполнения соединений, на основе байтов содержимого |
30 |
nifi_active_remote_port_count |
Количество активных удаленных портов, связанных с этим компонентом |
31 |
nifi_inactive_remote_port_count |
Количество неактивных удаленных портов, связанных с этим компонентом |
Метрики JVM | ||
32 |
nifi_jvm_heap_used |
Размер используемой кучи NiFi JVM |
33 |
nifi_jvm_heap_usage |
% использования кучи NiFi JVM |
34 |
nifi_jvm_heap_non_usage |
Куча NiFi JVM не используется |
35 |
nifi_jvm_file_descriptor_usage |
Использование файловых дескрипторов NiFi JVM |
36 |
nifi_jvm_daemon_thread_count |
Количество запущенных потоков демона NiFi JVM |
37 |
nifi_jvm_thread_count |
Количество запущенных потоков NiFi JVM |
38 |
nifi_jvm_gc_runs |
NiFi JVM GC количество прогонов |
39 |
nifi_jvm_gc_time |
NiFi JVM GC время в миллисекундах |
40 |
nifi_jvm_uptime |
Время безотказной работы NiFi JVM |
Далее, базируясь на метриках, собираемых PrometheusReportingTask, построим дашборд для мониторинга:
AmbariReportingTask
Публикует метрики из NiFi в службу метрик Ambari (AMS). Из-за того, как работает служба метрик Ambari, эта задача создания отчетов должна запускаться каждые 60 секунд. На каждой итерации задача будет отправлять метрики из предыдущей итерации и вычислять текущие метрики, которые будут отправлены на следующей итерации. Планирование этой задачи создания отчетов с периодичностью, отличной от 60 секунд, может привести к неожиданным результатам.
Настройки задачи отчетности указаны ниже в таблице:
Свойство |
Значение по умолчанию |
Описание |
Metrics Collector URL |
http://localhost:6188/ws/v1/timeline/metrics |
URL-адрес службы сбора метрик Ambari |
Application ID |
nifi |
Идентификатор приложения, который будет включен в метрики, отправляемые в Ambari |
Hostname |
${hostname(true)} |
Имя хоста этого экземпляра NiFi, которое будет включено в метрики, отправляемые в Ambari |
Process Group ID |
|
Если указано, задача создания отчетов будет отправлять метрики только для этой группы процессов. Если нет, используется корневая группа процессов и отправляются глобальные метрики |
Задача отчетности отправляет в Ambari следующие показатели:
№ |
Название показателя |
Описание |
|
1 |
FlowFilesReceivedLast5Minutes |
Количество FlowFiles, полученных за последние 5 минут |
|
2 |
BytesReceivedLast5Minutes |
Количество байт, полученных за последние 5 минут |
|
3 |
FlowFilesSentLast5Minutes |
Количество файлов FlowFiles, отправленных за последние 5 минут |
|
4 |
BytesSentLast5Minutes |
Количество байт, отправленных за последние 5 минут |
|
5 |
FlowFilesQueued |
Количество FlowFiles в очереди |
|
6 |
BytesQueued |
Количество байт в очереди |
|
7 |
BytesReadLast5Minutes |
Количество байт, прочитанных за последние 5 минут |
|
8 |
BytesWrittenLast5Minutes |
Количество байт, записанных за последние 5 минут |
|
9 |
ActiveThreads |
Количество активных потоков |
|
10 |
TotalTaskDurationSeconds |
Общее количество потоков в секундах, которые компонент использовал для выполнения своих задач |
|
Метрики JVM | |||
1 |
jvm.uptime |
Отображает, как долго выполняется процесс Java. Вы можете использовать эту метрику для отслеживания продолжительности жизни процесса Java и любых неожиданных перезапусков |
|
2 |
jvm.heap_used |
Отображает объем памяти, используемый процессом JVM. Для NiFi конфигурация по умолчанию составляет 512 МБ |
|
3 |
jvm.heap_usage |
Процент используемой кучи JVM |
|
4 |
jvm.non_heap_usage |
Процент, используемый JVM (память вне кучи) |
|
5 |
jvm.thread_states.runnable |
Количество запущенных потоков в JVM |
|
6 |
jvm.thread_states.blocked |
Количество заблокированных потоков в JVM |
|
7 |
jvm.thread_states.timed_waiting |
Количество ожидающих по времени потоков в JVM |
|
8 |
jvm.thread_states.terminated |
Количество прекращенных потоков в JVM |
|
9 |
jvm.thread_count |
Количество потоков в JVM |
|
10 |
jvm.daemon_thread_count |
Отображает количество запущенных потоков демона. Поток демона — это поток, который не препятствует выходу JVM после завершения программы, даже если поток все еще выполняется |
|
11 |
jvm.file_descriptor_usage |
Показывает количество подключений к операционной системе. Вы можете отслеживать этот показатель, чтобы убедиться, что ваши файловые дескрипторы JVM или соединения открываются и закрываются по мере выполнения задач |
|
12 |
jvm.gc.runs |
количество запусков сборщика мусора (GC) garbage collector |
|
13 |
jvm.gc.time |
GC время в миллисекундах |
|
Чтобы использовать эти показатели в Ambari, необходимо создать и установить службу NIFI в Ambari. Пожалуйста, обратитесь к документации Ambari и NiFi для получения дополнительной информации. Рекомендую ознакомиться со статьей Пьера Вилларда [2].
MetricsReportingTask
Эта задача создания отчетов передает набор показателей, касающихся JVM и экземпляра NiFi, для отчета, предоставляемого сервисом MetricReporterService.
При необходимости его можно использовать для определенной группы процессов, если указано свойство с идентификатором группы.
Свойство |
Допустимые значения |
Описание |
Metric Reporter Service |
Controller Service API: Implementation: |
Сервис, предоставляющий отчет для собранных метрик |
Process Group ID |
|
Идентификатор группы процессов для отчета. Если не указано, выводятся метрики корневой группы процессов |
Для работы данной задачи отчётности необходимо настроить службу контроллера GraphiteMetricReporterService, которая передает метрические отчеты для Graphite.
Graphite — это корпоративный инструмент мониторинга, который одинаково хорошо работает как на дешевом оборудовании, так и на облачной инфраструктуре. Команды используют Graphite для отслеживания производительности своих веб-сайтов, приложений, бизнес-служб и сетевых серверов. Graphite относится к новому поколению инструментов мониторинга, упрощающих хранение, извлечение, совместное использование и визуализацию данных временных рядов.
Свойство |
Значение по умолчанию |
Описание |
Host |
|
Имя хоста прослушивателя carbon |
Port |
|
Имя порта прослушивателя carbon |
Charset |
UTF-8 |
Кодировка, используемая сервером graphite |
Metric Name Prefix |
nifi |
Префикс, который будет использоваться для всех имен метрик, отправляемых генераторами отчетов, предоставляемыми этой службой |
ScriptedReportingTask
Предоставляет отчеты и информацию о состоянии для дальнейшего процессинга в скрипте. Объекты ReportingContext, ComponentLog и VirtualMachineMetrics становятся доступными в виде переменных (context, log и vmMetrics – соответственно) в скрипте для дальнейшей обработки. Context делает доступной различную информацию, такую как события, происхождение, бюллетени, службы контроллера, группы процессов, метрики виртуальной машины Java и т. д.
Свойство |
Значение по умолчанию |
Допустимые значения |
Описание |
Script Engine |
Clojure |
* Clojure * ECMAScript * Groovy * lua * python * ruby |
Движок для выполнения скриптов |
Script File |
|
|
Путь к файлу скрипта для выполнения. Можно использовать только одно свойство или Script File или Script Body |
Script Body |
|
|
Содержимое скрипта для выполнения. Можно использовать только одно свойство или Script File или Script Body |
Module Directory |
|
|
Разделенный запятыми список путей к файлам и/или каталогам, которые содержат модули, требуемые для скрипта |
ControllerStatusReportingTask
Задача отчетности записывает пятиминутную статистику, которая отображается на сводной странице NiFi для процессоров и подключений, а также при необходимости регистрирует дельты между предыдущей и текущей итерацией.
Статистика процессоров регистрируется с помощью регистратора org.apache.nifi.controller.ControllerStatusReportingTask.Processors, а статистика соединений регистрируется с помощью регистратора org.apache.nifi.controller.ControllerStatusReportingTask.Connections. При желании их можно настроить в конфигурации ведения журнала NiFi для записи в разные файлы.
Свойство |
Значение по умолчанию |
Допустимые значения |
Описание |
Show Deltas |
true |
* true * false |
Указывает, показывать ли разницу в значениях между текущим статусом и предыдущим статусом |
Reporting Granularity |
Five Minutes |
* Five Minutes * One Second |
Интервал отчетности. По умолчанию пять минут |
Задача отчетности создает сообщение журнала для каждого процессора и каждого соединения в потоке. Для процессоров включена следующая информация (отсортированная по убыванию времени обработки):
Параметр |
Описание |
Processor Name |
Имя процессора |
Processor ID |
Идентификатор процессора |
Processor Type |
Тип процессора |
Run Status |
Статус выполнения |
Flow Files In (5 mins) |
Количество Flow Files на вход (за 5 мин.) |
FlowFiles Out (5 mins) |
Количество Flow Files на выход (за 5 мин.) |
Bytes Read from Disk (5 mins) |
Количество байт, прочитанные с диска (за 5 мин.) |
Bytes Written to Disk (5 mins) |
Количество байт, записанных на диск (за 5 мин.) |
Number of Tasks Completed (5 mins) |
Количество выполненных задач (5 мин.) |
Processing Time (5 mins) |
Время обработки (5 минут) |
Для соединений включена следующая информация (отсортированная по убыванию размера FlowFiles в очереди):
Параметр |
Описание |
Connection Name |
Название соединения |
Connection ID |
Идентификатор соединения |
Source Component Name |
Имя исходного компонента |
Destination Component Name |
Имя целевого компонента |
Flow Files In (5 mins) |
Количество Flow Files на вход (за 5 мин.) |
FlowFiles Out (5 mins) |
Количество Flow Files на выход (за 5 мин.) |
FlowFiles Queued |
Количество FlowFiles в очереди |
Может оказаться удобным перенаправить вывод журнала этой задачи отчетности в отдельный файл журнала, а не в обычный журнал приложения.
Этого можно добиться, изменив файл logback.xml в каталоге NiFi conf/ таким образом, чтобы регистратор с именем org.apache.nifi.controller.ControllerStatusReportingTask был настроен на запись в отдельный журнал.
Кроме того, можно отключить ведение журнала для процессоров или соединений, либо разделить их на отдельные файлы журналов. Для этой цели следует использовать регистраторы с именами org.apache.nifi.controller.ControllerStatusReportingTask.Processors и org.apache.nifi.controller.ControllerStatusReportingTask.Connections – соответственно.
MonitorDiskUsage
Проверяет объем дискового пространства, доступного для указанного каталога, и предупреждает (через запись сообщения в журнал и бюллетень системного уровня), если раздел, в котором он находится, превышает некоторый настраиваемый порог дискового пространства.
Свойство |
Значение по умолчанию |
Описание |
Threshold |
80% |
В случае превышения указанной величины будет создан бюллетень |
Directory Location |
|
Путь к каталогу контролируемого раздела |
Directory Display Name |
Un-Named |
Имя, отображаемое для каталога в предупреждениях. |
MonitorMemory
Проверяет объем кучи Java, доступный в JVM для определенного пула памяти JVM. Если объем используемого пространства превышает некоторый настраиваемый порог, выдается предупреждение (через запись сообщения в журнал и вывода бюллетеня системного уровня), что пул памяти превышает этот порог.
Свойство |
Значение по умолчанию |
Описание |
Memory Pool |
|
Имя пула памяти JVM для мониторинга |
Usage Threshold |
65% |
Указывает порог, при котором должны генерироваться предупреждения |
Reporting Interval |
|
Указывает, как часто эта задача создания отчетов должна отправлять бюллетени, когда использование памяти превышает настроенный порог |
DataDogReportingTask
Публикует метрики из NiFi в Datadog – службу наблюдения за облачными приложениями, обеспечивающая мониторинг серверов баз данных, инструментов и служб – с помощью платформы анализа данных на основе SaaS. Для точной и информативной отчетности компоненты должны иметь уникальные имена.
Получить подробную информацию про систему Datadog можно на официальном сайте https://www.datadoghq.com/
Свойство |
Значение по умолчанию |
Допустимые значения |
Описание |
Metrics prefix |
nifi |
|
Префикс, который нужно добавить перед каждой метрикой |
Environment |
dev |
|
Среда, в которой выполняется поток данных. Это свойство будет включено в качестве тега метрики. |
API key |
|
|
API-ключ Datadog. Если указано значение «агент», будет использоваться локальный агент Datadog. |
Datadog transport |
Datadog HTTP |
* Datadog Agent * Datadog HTTP |
Транспорт, через который метрики будут отправляться в Datadog |
StandardGangliaReporter
Сообщает метрики в Ganglia для внешнего мониторинга приложения. Ganglia – масштабируемая распределённая система мониторинга кластеров параллельных и распределённых вычислений и облачных систем с иерархической структурой (http://ganglia.sourceforge.net). Позволяет отслеживать статистику и историю (загруженность процессоров, сети) вычислений в реальном времени для каждого из наблюдаемых узлов.
Для работы задачи нужно настроить следующие свойства:
Свойство |
Значение по умолчанию |
Допустимые значения |
Описание |
Hostname |
localhost |
|
Полное имя хоста, на котором работает Ganglia |
Port |
8649 |
|
Порт, на котором Ganglia прослушивает входящие соединения |
Send JVM Metrics |
false |
* true |
Указывает, следует ли собирать и отправлять метрики JVM в дополнение к метрикам, специфичным для NiFi |
Задача отчетности сообщает следующий набор метрик на сервер Ganglia:
№ |
Метрика |
Описание |
1 |
FlowFiles In (5 мин) |
количество FlowFiles, полученных через Site-to-Site за последние пять минут |
2 |
Bytes In (5 mins) |
количество байтов, полученных через Site-to-Site за последние пять минут |
3 |
FlowFiles Out (5 mins) |
количество файлов FlowFiles, извлеченных из портов вывода через Site-to-Site за последние пять минут |
4 |
Bytes Out (5 mins) |
количество байтов, извлеченных из портов вывода через Site-to-Site за последние пять минут |
5 |
Прочитано байтов (5 mins) |
количество байтов, прочитанных с диска программой NiFi за последние пять минут |
6 |
Bytes Written (5 mins) |
количество байтов, записанных на диск NiFi за последние пять минут |
7 |
FlowFiles Queued |
общее количество FlowFiles, находящихся в настоящее время в очереди в системе на момент запуска задачи создания отчетов |
8 |
Active Threads |
количество потоков, активно работающих в момент времени, когда выполняется задача создания отчетов |
Заключение
В статье были продемонстрированы широкие возможности задач отчетности NiFi. Рассмотрены примеры сбора метрик и визуализации при помощи таких популярных систем, как Prometheus и Grafana.
Спроектировав хорошую систему мониторинга, можно значительно повысить уровень работы команд поддержки и сопровождения, скорость локализации и решения проблем.
Среди положительных сторон мониторинга средствами NiFi и визуализации с помощью Grafana следует выделить максимальную оперативность получения данных, наглядность и отсутствие необходимости писать программный код.
Список использованной литературы
https://nifi.apache.org/docs/nifi-docs/
https://pierrevillard.com/2017/05/16/monitoring-nifi-ambari-grafana/
https://pierrevillard.com/2017/05/17/monitoring-nifi-scripted-reporting-task