Привет, я Паша из Ozon. В рабочее время занимаюсь тестированием поиска, а по вечерам надеваю маску инди-разработчика. И моя самая частая задача — написать скрипт → залить его на сервер → периодически мониторить, что сервер доступен. Эта статья как раз и будет строиться вокруг последнего пункта.

Вы наверняка в курсе, что существуют Grafana, Prometheus, Kibana, LogDNA и другие инструменты для мониторинга, визуализации и анализа данных. C первыми двумя я вплотную познакомился в Ozon, а про Kibana слышал когда-то давно и только в паре со словом «логи». Чтобы графики в Grafana рисовать — придется штат аналитиков нанять (ба-дум-тсс). Для пет-проекта это перебор, нужно что-то сильно проще (с точки зрения стоимости, простоты настройки и удобства). Ниже расскажу, какие готовые инструменты для мониторинга небольших проектов я нашёл в пучинах интернета, а также оставлю комментарии и рекомендации по использованию.

Disclaimer: все проекты рассматриваются с точки зрения маленького сайта/скрипта/бота/приложения, поэтому видение автора может сильно отличаться от видения enterprise-разработчиков.

Netdata

Из заголовка сайта проекта многое сразу понятно: Monitor everything in real time. For free. Про него уже есть статья на Хабре, не вижу смысла описывать детальнее. Очень просто устанавливается. Одна команда «скачать», вторая «запустить» — и графики уже можно смотреть.

С помощью Netdata можно отслеживать огромнейшее количество показателей: статистику использования процессора, потребления памяти, операций ввода-вывода и прочего. Netdata разработана для администраторов, DevOps и разработчиков. Так что если сложно — есть раздел с документацией, рекомендую на старте, помогает внести ясность по базовым метрикам и настройке алертов.

Плюсы

• легко устанавливается;

• есть алерты;

• огромное количество метрик;

• «для DevOps».

Минусы

• масштабирование (на кластер поставить нельзя, только отдельно на каждый сервер);

• нужно следить за логами (сколько их и где они);

• конфигурация через SSH;

• «для DevOps».

Из описания следует, что сервис больше ориентирован на низкоуровневые показатели железа, а значит требует больших знаний и внимания — что не совсем подходит для серверных скриптов. Зато инструмент поможет понять, когда настало время масштабироваться, вертикально уж точно.

«Для DevOps» и в плюсах, и в минусах — зависит от того, кто читает. Я не смог настроить алерты, поэтому использую как дашборд: смотрю средние значения по нагрузке на CPU.

Monitoror

Предыдущий инструмент, Netdata, я нашел случайно по запросу "dashboard". Но это не совсем то, чего я хотел. Я бы хотел красивые плитки с простой и гибкой настройкой. Первое, что лежит на поверхности — Smashing. Но с ним у меня не задалось. Написан на Ruby, и я его даже запустить не смог, не то что настроить. А посмотрев обзоры и готовые доски — еще и не захотел.

Как оказалось, я всё время искал то, что сделали разработчики Monitoror. Потрясающе гибкая (во всех смыслах) доска с поддержкой CI/CD провайдеров. Просто взгляните на скриншоты:

Устанавливается легко, через бинарник. Настраивается через JSON файл. Выглядит он примерно так:

{
    "version": "2.0",
    "columns": 3,
    "tiles": [      
        {
            "type": "HTTP-RAW",
            "label": "plumber stars",
            "params": {
                "url": "https://github.com/pashkatrick/Plumber",
                "regex": "(\\d+) users starred"
            }
        },
        {
            "type": "HTTP-RAW",
            "label": "grpc-client",
            "params": {
                "url": "https://marketplace.visualstudio.com/items?itemName=pashkatrick.grpc-client",
                "regex": "(\\d+) installs"
            }
        },
        {
            "type": "HTTP-RAW",
            "label": "udecoder",
            "params": {
                "url": "https://marketplace.visualstudio.com/items?itemName=pashkatrick.vscode-udecoder",
                "regex": "(\\d+) installs"
            }
        },
        {
            "type": "HTTP-RAW",
            "label": "vscode-etcd",
            "params": {
                "url": "https://marketplace.visualstudio.com/items?itemName=pashkatrick.vscode-etcd",
                "regex": "(\\d+) installs"
            }
        }
    ]
}

Кому интересно подробнее — оставлю ссылку на официальную документацию. От себя скажу лишь, что помимо HTTP-RAW есть HTTP-FORMATTED и HTTP-STATUS. Но это для типа плитки HTTP соответственно. Поддерживаются следующие типы плиток:

Плюсы

• дизайн и удобство;

• простая и понятная настройка.

Минусы

• чем больше блоков — тем хуже читаемость;

• отсутствие алертов.

Подходит как для маленьких проектов, «сервачков», сбора интересных цифр (таких как количество скачиваний), так и для стартапов средней величины, где уже выстроен процесс доставки кода.

Сам я CI/CD не настраивал, не было необходимости. Жаль, алертов никаких, да и в проекте последняя активность была год назад. Но в целом очень нравится; все, что нужно — есть. 

Поскольку оповещений нет — пришлось сделать свою парсилку логов. Это простой Python-скрипт, который внутри себя запускает Monitoror в debug-режиме, а после выполнения складывает логи рядом с собой. Соответственно, если ответ не «200 ок» — можно послать уведомление. Сыро, но, если будут звезды, можем докрутить до рабочего состояния.

N8N (etc.)

Следующий пункт в обзоре — no-code платформы, где можно «собрать» систему оповещения под свои нужды. 

Например:

• Integromat, 

• Albato (rus), 

• N8N (круто), 

• Corezoid (дороговато стало), 

• IFTTT (интерфейс отличается), 

• Zapier, 

• Apix-Drive (rus). 

Я выбрал N8N как бесплатную для тех, у кого есть Docker. Установка потребует некоторых IT-навыков, но в целом ничего сложного.

Есть хорошая статья с разбором мониторинга базы данных. Но покажу на своём примере:

Пусть каждые 15 сек отправляется запрос на все мои сайты, и если в ответ приходит НЕ «200 ОК», то отправляется уведомление о проблеме. После собираем отчёт по всем сайтам и отправляем его менеджеру на почту и в Notion.

Пара минут на придумывание flow + соединить всё стрелочками + пару часов на все credentials и API-ключи. Получается довольно быстро c полным соответствием поставленным требованиям.

Плюсы

• абсолютная гибкость;

• несложная установка;

• хорошее комьюнити;

• документация/инструкции/туториалы;

• своих денег стоит.

Минусы

• не нашел.

Сфера применений широчайшая. От бэкенда (можно RabbitMQ, Postgres, Redis — все есть) до управления автоматической поилкой собаки. Процесс масштабирования непростой, но авторы сделали инструкции на популярные кейсы, так что вопросов не остается. А если остаются — в комьюнити можно быстро найти на них ответ.

Крайне рекомендую N8N, к тому же можно добавлять свои/новые сервисы. Мейнтейнеры проекта проверяют пулл-реквест около недели и присылают рекомендации, если потребуются.

Уже не на коленке

На десерт оставил сервисы из категории «всё уже написано за нас». Установка не требуется, только регистрация. Рекомендую посмотреть: 

• DataDog, 

• Hyperping, 

• Uptime, 

• PingDom, 

• BetterUptime

• UptimeRobot.

На борту: мониторы сайтов, значение uptime'a за настроенные периоды (98% за год), отчёты, страница status page (которую можно показывать всем желающим, хвастаясь стабильностью), а также функция пинга сайтов из разных точек мира и VPN/Proxy запросы. Лично не пробовал, но звучит интересно.

Много функций — конечно, хорошо, но разделение на команды внутри сервиса и инцидент-менеджмент кажутся лишними... Лично мне только уведомления нужны на случай, если что-то сломается. Но тут уже на вкус и цвет.

Плюсы

• SaaS и всё из него вытекающее;

• красиво и удобно;

• алерты, отчеты, интеграции.

Минусы

• очень платно (начинаются от 30$ в месяц);

• бывает перегружен интерфейс (например, инцидент-менеджмент).

Я пользуюсь Better Uptime: интерфейс приятный и понятный, да ещё и раз в неделю приходит отчет по всем сайтам. Бесплатного тарифа хватает, но буду ещё тестировать уведомления в Slack/Telegram. Также хочу посмотреть на Proxy-пинг, который доступен по умолчанию, — интересно.

Конец

Не люблю стандартные итоги в стиле «выбор сервиса зависит от поставленной задачи», так что скажу так: пробуйте, пользуйтесь, делитесь опытом и находками!

Если я не упомянул еще более крутые сервисы — сообщите мне любым способом, например, в комментариях к статье. Я увижу, запущу сервис, оценю и обновлю статью. Благодарю за внимание!

P.S.

По итогу «аналитической работы» я решил делать свой сервис с отчетами, алертами и запахом смузи. Там пока ничего нет, но если интересно поучаствовать — welcome!