В предыдущих статьях серии про Zabbix мы рассказывали о том, как контролировать различное оборудование и сервисы. Однако не менее важно настроить оповещения о событиях, требующих реакции со стороны системного администратора.
В этой статье мы расскажем о том, как настроить отправку сообщений о срабатывании триггеров Zabbix по электронной почте, через SMS и Телеграм. Вы также научите свой Zabbix звонить администратору по телефону и сообщать о критических событиях синтезированным голосом с помощью сервиса голосовых рассылок Звонобот.
Отправка сообщений по электронной почте
Для того чтобы Zabbix мог отправлять сообщения по электронной почте, необходимо сделать следующее:
настроить способы оповещений Media Types;
назначить Media с типом Email пользователю Zabbix;
добавить действие при срабатывании триггера Trigger Action
Расскажем об этом подробнее.
Настройка способов оповещений Media Types
Если в Web-интерфейсе Zabbix выбрать Media Types из меню Administration, вы увидите многочисленные способы оповещений, доступные для настройки в Zabbix. Часть из них показана на рис. 1.
Мы будем использовать готовые способы оповещений Email и Telegram, а также создадим собственные — p1sms.ru (для отправки SMS) и Zvonobot (для голосовых сообщений по телефону).
Если вы находитесь там, где есть интернет, то сможете получать сообщения через Email и Telegram. Но бывает и так, что доступны только SMS и голосовые звонки. Чтобы не пропустить важные сообщения от Zabbix, пригодятся все эти способы.
Чтобы настроить отправку электронной почты, щелкните на странице Media Types строку Email. Далее вам нужно будет заполнить форму, указав в ней параметры исходящего почтового сервера (рис. 2).
Мы показали случай, когда используется собственный почтовый сервер, доступный на порту 25 с использованием STARTTLS. Сообщения будут отправлены на адрес admin@my-domain.ru (имя домена приведено только для примера).
В ответственных случаях безопаснее использовать собственный почтовый сервер, который находится под вашим контролем. При необходимости можно настроить отправку почты и через публичные почтовые сервисы, такие как Google Mail или Яндекс Почту. Помимо официальной документации в интернете есть инструкции по настройке, например, здесь.
Настроив способ оповещения Email, выполните проверку с помощью ссылки Test, расположенной справа напротив Email в списке способов оповещений, показанном на рис. 1.
Щелкните эту ссылку и заполните форму, указав в ней адрес получателя Send to, тему сообщения Subject и текст сообщения Message. Затем щелкните кнопку Test (рис. 3).
Если настройки почтового сервера указаны правильно, вы получите сообщение на указанный адрес электронной почты.
На вкладке Message Templates можно изменить стандартные шаблоны сообщений, отправляемых по электронной почте.
Назначение Media с типом Email пользователю Zabbix
Чтобы способ оповещения заработал, его нужно назначить пользователю Zabbix, например, Admin.
Выберите в меню Administration раздел Users, щелкните имя пользователя Admin, а затем откройте вкладку Media. На рис. 4 мы показали ситуацию, когда для пользователя было добавлено несколько способов оповещения, в том числе и способ Email.
Для добавления способа оповещения Email щелкните ссылку Add. В списке Type выберите строку Email.
В поле Send to укажите адрес электронной почты, по которому должно отправляться оповещение. С помощью поля When active можно ограничить дни и часы отправки сообщений.
Набор флажков Use if severity позволяет задать уровни серьезности триггеров, при срабатывании которых необходимо отправить сообщение по указанному адресу (рис. 5).
В нашем случае сообщения отправляются по электронной почте круглосуточно, причем при срабатывании триггера с любым уровнем серьезности.
Если нужно отредактировать или удалить способ оповещения, воспользуйтесь ссылкой Edit или Remove, соответственно (рис. 4).
Добавление действий при срабатывании триггера Trigger Actions
Итак, мы настроили и проверили способ оповещения Email, а также добавили его для пользователя Admin.
Теперь нужно добавить действие при срабатывании триггера. Для этого в меню Configuration выберите меню Action, а из него — строку Trigger Actions.
На рис. 6 показан уже сформированный список действий для различных способов оповещений.
Здесь действие zabbix03 action, заключающееся в отправке сообщения по электронной почте, выполняется для всех уровней серьезности, кроме Disaster. Действие SMS Notify выполняется при срабатывании триггеров с уровнем серьезности High и Disaster. И, наконец, действие DISASTER_ALERT_Phone_CALL определено для звонков по телефону при срабатывании триггеров уровня Disaster.
Чтобы создать новое действие, воспользуйтесь кнопкой Create action на странице Trigger Actions. Вам будет предложено добавить действие на вкладке Action (рис. 7).
Задайте имя действия, а затем щелкните ссылку Add, чтобы добавить операцию. При добавлении выберите в списке Type уровень серьезности триггера Trigger severity. Чтобы сообщение электронной почты отправлялось для любого уровня серьезности, кроме Disaster, выберите значения полей Operator и Severity, как это показано на рис. 8.
Далее для добавленного действия на вкладке Operations необходимо добавить операции. На рис. 9 три операции уже добавлены.
Для добавления операции воспользуйтесь ссылкой Add. Здесь можно добавить операции, которые будут выполнены при срабатывании триггера, при восстановлении его состояния (поле Recovery operations), а также при обновлении состояния (поле Update operations).
На рис. 10 мы показали форму редактирования уже добавленной операции.
Здесь как минимум необходимо выбрать пользователя в поле Send to users и способ извещения Email в поле Send only to.
Вы также можете отредактировать шаблон темы сообщения Subject и шаблон сообщения Message, отметив флажок Custom message. Если этого не сделать, будут использованы шаблоны сообщения по умолчанию, определенные в способе оповещения Email.
Официальная документация, имеющая отношение к настройке отправки сообщений по электронной почте, находится здесь:
конфигурирование способа оповещения Email (на русском языке для версии 6.0);
Отправка сообщений в Telegram
Сервер Zabbix версии 6.2 содержит встроенную поддержку отправки сообщений в мессенджер Telegram, основанную на использовании Telegram Bot API и Zabbix webhook.
Мы расскажем о том, как настроить отправку персональных сообщений. Если нужно отправлять сообщения в группу Telegram, то соответствующий способ настройки описан в официальной документации Telegram webhook, а также в статье.
Создание бота
Прежде всего создайте новый бот с помощью бота @BotFather. Для этого отправьте боту @BotFather команду "/newbot". Вам будет предложено ввести имя для нового бота, а также имя пользователя.
Результат показан на рис. 11 (имена и токен приведены только для примера).
Для настройки отправки сообщений в Telegram вам потребуется токен HTTP API, выделенный на рис. 11 рамкой красного цвета, а также идентификатор пользователя Telegram, который будет получать оповещения из Zabbix.
Получение идентификатора пользователя Telegram
Свой идентификатор пользователя Telegram можно получить с помощью бота @myidbot, доступный по ссылке https://t.me/myidbot.
Запустите этот бот и введите ему команду "/getid". В ответ вы получите собственный идентификатор (рис. 12, идентификатор показан только для примера).
Запуск бота
Получив идентификатор, подключитесь к боту, созданному на предыдущей шаге, и выдайте ему команду "/start". Это необходимо, чтобы бот смог отправлять вам сообщения.
Добавление способа оповещений Telegram
Теперь в Web-интерфейсе Zabbix откройте меню Administration, выберите из него строку Media Types, а затем найдите и щелкните ссылку Telegram.
ваш идентификатор, полученный от бота @myidbot, а в поля Скопируйте токен, полученный от бота @BotFather при создании вашего бота, в поле Token, а затем щелкните кнопку Update (рис. 13, токен приведен только для примера).
Добавив способ оповещения, протестируйте его с помощью ссылки Test.
При тестировании в поле Token уже должен находиться токен вашего бота. Скопируйте в поле To ваш идентификатор, полученный от бота @myidbot, а в поля Subject и Message — тему и текст сообщения, соответственно.
Если все будет хорошо, вы увидите сообщение об успешном тестировании (рис. 14).
Вы также получите тестовое сообщение в Telegram (рис. 15).
Если все в порядке, можно переходить к назначению настроенного способа оповещения Telegram пользователю Zabbix, а также к добавлению этого способа к существующему или новому действию.
Назначение типа оповещения Telegram пользователю
Ранее вы уже назначали тип оповещения Email пользователю Admin. Теперь нужно повторить эту операцию для типа оповещения Telegram.
Откройте вкладку Media, выбрав в меню Administration раздел Users и щелкнув имя пользователя Admin. Далее воспользуйтесь ссылкой Add, чтобы добавить новый тип оповещения.
Выберите в списке Type способ Telegram, а в поле Send To идентификатор пользователя Telegram, который мы получили раньше от бота @myidbot.
С помощью флажков Use if severity укажите серьезность триггеров, при срабатывании которых нужно отправлять сообщения в Telegram. На рис. 16 показана установка флажков для случая, когда в Telegram требуется отправка для уровней от средней (Average) до катастрофической (Disaster).
Добавление оповещения в Telegram для действия при срабатывании триггера
На следующем шаге в меню Configuration выберите меню Action, а потом из него — строку Trigger Actions. Затем откройте вкладку Operations (рис. 17).
На вкладке Operations с помощью ссылки Add добавьте новую операцию, выбрав из списка Send to users пользователя Admin, а из списка Send only to — строку Telegram (рис. 18).
Теперь при выполнении действия вы получите сообщение о срабатывании триггера (а также о восстановлении его состояния) в мессенджер Telegram.
Красивые сообщения в Telegram с использованием Emoji
Вы можете «оживить» сообщения, отправляемые сервером Zabbix в Telegram с помощью символов Emoji (рис. 19).
Чтобы это сделать, добавьте символы Emoji в тему Subject для шаблонов сообщений способа оповещений Telegram, доступных на вкладке Message templates (рис. 20).
Символы Emoji можно скопировать через буфер обмена Clipboard со страницы https://apps.timwhitlock.info/emoji/tables/unicode, а затем вставить их в нужное место шаблона (рис. 21).
Символы Emoji полезны, так как привлекут ваше внимание к важным сообщениям.
Отправка SMS из Zabbix
В сервере Zabbix среди встроенных способов оповещений Media Types есть отправка SMS. Однако этот способ требует наличия GSM модема, подключенного к последовательному порту сервера Zabbix, о чем написано в документации.
У нас не было желания искать совместимый GSM модем, приобретать его и размещать в дата-центре. Поэтому мы решили использовать для отправки SMS один из многочисленных онлайн-сервисов, специализирующихся на решении этой задачи.
Выбор сервиса для отправки SMS
Как оказалось, отправка SMS через онлайн-сервисы стоит заметных денег, причем для некоторых операторов мобильной связи есть еще и ежемесячная абонентская плата. Стоимость отправки SMS на момент написания этой статьи составляла от 5 руб. до 20 руб. за одно сообщение.
Некоторые сервисы допускают отправку SMS без абонентской платы, однако не для всех операторов мобильной связи (например, https://sms.ru/).
В итоге был выбран сервис P1SMS https://p1sms.ru/. После настройки шаблона сообщений удалось отключить модерацию и отравлять сообщения по цене 5 руб. за штуку. Если в вашей информационной системе критичные ошибки не идут большим потоком, то это может быть разумным выбором.
Как мы уже говорили, доставка оповещений через SMS будет работать даже в том случае, если в зоне нахождения вашего смартфона нет интернета (или он очень дорогой), но есть мобильная связь.
Скрипт отправки SMS через P1SMS
Zabbix позволяет вам создавать собственные способы оповещения, основанные на вызове скриптов. Это описано в документации (на русском языке для версии 6.0).
Для отправки SMS мы подготовили скрипт, которой требует небольшого редактирования. Вам потребуется изменить в нем АПИ-ключ и номер телефона, на который будут отправляться сообщения от Zabbix.
Чтобы получить АПИ-ключ, зарегистрируйтесь на сайте P1SMS по адресу https://p1sms.ru/. Ключ можно скопировать на странице https://admin.p1sms.ru/panel/apiinfo.
Далее создайте на сервере Zabbix каталог /usr/lib/zabbix/alertscripts для скриптов добавляемых способов оповещения. Отредактируйте файл /etc/zabbix/zabbix_server.conf, удалив символ комментария со строки:
AlertScriptsPath=/usr/lib/zabbix/alertscriptsЗатем сохраните файл конфигурации zabbix_server.conf, перезапустите сервис Zabbix и убедитесь, что он работает:
# systemctl restart zabbix-server
# systemctl status zabbix-serverСкрипт отправки SMS нужно скачать по этому адресу.
Переименуйте его в p1sms.pl и запишите в каталог /usr/lib/zabbix/alertscripts.
Сделайте владельцем скрипта пользователя zabbix и разрешите запуск скрипта:
# chown zabbix:zabbix /usr/lib/zabbix/alertscripts/p1sms.pl
# chmod +x /usr/lib/zabbix/alertscripts/p1sms.plПроверьте, что владелец и права установлены правильно:
# ls -lh /usr/lib/zabbix/alertscripts/p1sms.pl
-rwxr-xr-x 1 zabbix zabbix 2.1K Oct 18 13:06 /usr/lib/zabbix/alertscripts/p1sms.plНайдите в скрипте p1sms.pl функцию sendp1sms и отредактируйте в ней две строки:
my $api_key = '*************';
my $phone_number = '';Укажите здесь свой API-ключ сервиса P1SMS и номер мобильного телефона для отправки SMS в формате 7хххххххххх.
Добавление способа оповещения p1sms.ru
Откройте в Web-интерфейсе Zabbix меню Administration, выберите из него строку Media Types, а затем щелкните кнопку Create media type. Появится страница добавления нового способа оповещения, которую вам нужно заполнить, как это показано на рис. 22.
В поле Name введите название способа оповещения p1sms.ru, а затем выберите из списка Type строку Script. Укажите имя скрипта p1sms.pl в поле Script name.
Далее добавьте в поле Script parameters три параметра: {ALERT.SENDTO}, {ALERT.SUBJECT} и {ALERT.MESSAGE} (именно в этом порядке). Должно получиться так, как показано на рис. 22. Сохраните изменения.
Добавление шаблона сообщений SMS
Мы будем отправлять SMS при недоступности контролируемых серверов с помощью шаблона ICMP Ping, который есть среди готовых шаблонов Zabbix. Вам нужно добавить этот шаблон ко всем серверам, которые вы собираетесь контролировать. Установите в этом шаблоне для метрики Unavailable by ICMP ping уровень серьезности Disaster.
Для добавления шаблона на сервис P1SMS откройте раздел редактирования шаблонов без модерации. Он доступен в разделе Управление, строка Шаблоны без модерации.
Добавьте здесь такой шаблон с помощью кнопки СОЗДАТЬ ШАБЛОН:
ICMP ping %w Down (0)Добавленный шаблон показан на рис. 23.
Инструкция по составлению шаблонов появится на странице добавления шаблона после того, как вы щелкните кнопку СОЗДАТЬ ШАБЛОН.
Шаблоны без модерации нужны для ускорения отправки SMS через сервис P1SMS. Если таких шаблонов нет, или если отправляемое сообщение не будет соответствовать шаблону, SMS попадет на модерацию и может быть задержано на время до 10 минут. Так как нам нужно узнать о проблеме как можно скорее, придется использовать шаблоны.
После добавления шаблона дождитесь, когда он пройдет модерацию. При необходимости вы можете связаться со службой поддержки через онлайн-чат на сайте P1SMS.
Далее протестируйте добавленный способ оповещений с помощь кнопки Test в разделе Media Types. Используйте здесь сообщение, подходящее под шаблон, например «ICMP ping (hcp2.user-domain.ru:icmpping): Down (0)» (рис. 24).
Состояние отправки SMS вы можете узнать на сайте P1SMS в разделе Отчеты, выбрав из меню строку Отправленные СМС.
Назначение типа оповещения p1sms.ru пользователю
После успешного тестирования назначьте тип оповещения p1sms.ru пользователю Admin, как вы это делали раньше. В нашем случае установлены флажки для отправки SMS при уровне серьезности от высокой (High) до катастрофической (Disaster).
Добавление действия для отправки SMS
Также не забудьте добавить действие для отправки SMS. Для этого в меню Configuration выберите меню Action, и далее строку Trigger Actions.
Щелкните кнопку Create action, а затем добавьте действие SMS Notify, как это показано на рис. 25.
Добавьте операцию на вкладке Operations (рис. 26).
Для того чтобы отправляемое сообщение соответствовало шаблону без модерации, настройте операцию с помощью ссылки Edit.
У сообщения должна быть тема {TRIGGER.NAME}:, а само сообщение должно выглядеть так:
{ITEM.NAME1} ({HOST.NAME1}:{ITEM.KEY1}): {ITEM.VALUE1}Кроме того, выберите в поле Send to users пользователя Admin.
Настроенная операция показана на рис. 27.
Тестирование отправки SMS при недоступности сервера
Для тестирования используйте какой-нибудь некритичный сервер, например, виртуальную машину, которую можно безопасно останавливать и запускать заново. Добавьте ее в узлы на сервере Zabbix и подключите шаблон ICMP Ping. Установите в этом шаблоне для метрики Unavailable by ICMP ping уровень серьезности Disaster.
Теперь, если вы завершите работу этой машины, то получите сообщение SMS (рис. 28).
SMS выглядят не так красиво, как сообщения в Telegram, однако они придут туда, где нет интернета.
Оповещение от Zabbix по телефону
Сообщение SMS легко пропустить, а вот на вызов по телефону вы скорее всего отреагируете (конечно, если в смартфоне не отключен звук).
Для повышения вероятности реагирования настроим отправку оповещений о катастрофических проблемах уровня Disaster голосовым звонком на телефон с использованием сервиса Звонобот.
Настройка голосовых звонков аналогична только что рассмотренной настройке для SMS, поэтому мы остановимся только на основных моментах.
Прежде всего, мы сделаем так, чтобы звонок поступал не сразу после обнаружения аварии, а через 10 минут. Дело в том, что часто недоступность сервера может быть кратковременной, после чего все восстанавливается само по себе, и звонить будет уже не нужно. Так бывает, например, при возникновении непродолжительных проблем в сети или при временной потере связности дата-центров.
Кроме того, если становятся недоступными сразу несколько серверов, нам достаточно получить только один звонок по телефону. И еще не повредит повторный звонок через полчаса, если в первый раз дозвониться не удалось.
Добавление способа оповещения Zvonobot
Добавьте в Media types новый способ оповещения Zvonobot, аналогично тому, как мы добавляли способ p1sms.ru (рис. 29).
Выберите в списке Type строку Script, а в поле Script name введите имя скрипта zvonobot.pl. Кроме того, добавьте параметры, как это показано на рис. 29.
Скрипт zvonobot.pl можно скачать здесь.
Не забудьте переименовать скрипт перед его размещением в каталоге /usr/lib/zabbix/alertscripts.
Сделайте владельцем скрипта пользователя zabbix и разрешите запуск скрипта:
# chown zabbix:zabbix /usr/lib/zabbix/alertscripts/zvonobot.pl
# chmod +x /usr/lib/zabbix/alertscripts/zvonobot.plПроверьте, что владелец и права установлены правильно:
ls -lh /usr/lib/zabbix/alertscripts/zvonobot.pl
-rwxr-xr-x 1 zabbix zabbix 4.8K Oct 17 15:40 /usr/lib/zabbix/alertscripts/zvonobot.plОтредактируйте в скрипте три строки:
my $api_key = '';
my $phone_number = '';
my $outgoingPhone = '';Ключ $api_key можно получить по адресу: https://lk.zvonobot.ru/panel/profile в личном кабинете после регистрации в сервисе Звонобот.
Для работы скрипта zvonobot.pl нужно установить на сервер Zabbix memcached, а также необходимые модули Perl:
LWP::UserAgent
HTTP::Request
JSON
Data::Dumper
Вам также потребуется два номера телефона. В переменную $phone_number запишите номер телефона, на который будет звонить Zabbix при обнаружении катастрофической проблемы (в формате 7*****).
Второй номер телефона запишите в переменную $outgoingPhone. Телефон с этим номером потребуется вам всего один раз для получения SMS от сервиса Звонобот. Звонки будут поступать именно от этого исходящего номера, поэтому вам их будет легко идентифицировать. Исходящий номер должен быть добавлен как личный и подтвержден в разделе ДРУГОЕ — Номера телефонов личного кабинета https://lk.zvonobot.ru/panel/phones.
После добавления способа оповещения Zvonobot протестируйте его с помощью ссылки Test. В поле Send to укажите номер телефона, на который должны приходить звонки от Zabbix (рис. 30).
При успешном тестировании вы получите звонок, и робот произнесет синтезированным голосом текст сообщения Message, а также тему Subject.
Назначение способа оповещения Zvonobot пользователю Zabbix
Выберите в меню Administration раздел Users, щелкните имя пользователя Admin, а затем откройте вкладку Media. Добавьте способ оповещения Zvonobot, как это было показано ранее на рис. 4.
В поле Use if severity отметьте флажок Disaster, чтобы звонки поступали только при самых серьезных проблемах.
Добавление типа оповещения в действия
Добавьте действия для способа Zvonobot. Как и раньше, в меню Configuration выберите меню Action, далее строку Trigger Actions, а затем щелкните кнопку Create action.
Мы создали действие DISASTER_ALERT_Phone_CALL, определив для него сразу две операции, имеющие отношение к способу Zvonobot (рис. 31).
Обратите внимание, что в поле Steps мы указали шаг эскалации 2-2, а в поле Step duration (длительность шага эскалации) — значение 20 минут (рис. 32).
На рис. 31 видно, что сразу после возникновения проблемы категории Disaster сообщение отправляется в Telegram, затем на электронную почту (шаг эскалации 1-1). Еще через 10 минут выполняется звонок через сервис Звонобот (шаг 2-2), который потом повторяется через 30 минут (шаг 3-3).
Когда сработают все шаги эскалации, на основной панели Zabbix Global View можно будет увидеть время и результат завершения каждого шага (рис. 33).
Применение эскалации описано в документации (для версии 6.0 на русском языке).
Исключение повторных звонков
Чтобы исключить повторные звонки, которые могут поступить при одновременном отказе нескольких контролируемых хостов, в скрипте zvonobot.pl вызывается функция not_recently_called:
if(not_recently_called(20*60))
{
phone_call_zvonobot($api_url, $api_key, $phone_number, $outgoingPhone, $message);
}
Она создает в memcached ключ “Zabbix_phone_monitor” со значением “Phone was called”, который будет автоматически удален по истечении заданного времени (в нашем случае через 20 минут).
Автор: Александр Фролов.