Бизнес-аналитика — неотъемлемая часть работы в ИТ, предоставляющая компаниям ценную информацию для принятия стратегически важных решений. В условиях растущего объема данных и необходимости оперативного анализа возникает потребность в мощных инструментах, способных визуализировать данные, мониторить потоки информации и интегрироваться с IDE. 

Чтобы облегчить выполнение этих задач, можно использовать open source решения. Мы собрали компактный список таких инструментов, включающий платформы для визуализации данных и другие утилиты, облегчающие работу разработчиков.

Открытые инструменты предлагают мощные возможности для создания дашбордов и работы с потоковыми данными. Благодаря гибкости и масштабируемости, они могут быть адаптированы к потребностям различных компаний.

Perspective — работа с потоками данных

Это — программный компонент, заточенный под визуализацию больших и потоковых данных. Perspective организован в формате монорепозитория и использует Lerna для управления зависимостями. С его помощью можно создавать интерактивные отчеты и дашборды, а затем запускать их в браузере. Perspective распространяется под лицензией Apache. На сайте проекта представлена интерактивная демоверсия диаграмм, которые можно построить самостоятельно (например, тепловая карта или линейные графики).

В Perspective интерактивные дашборды построены на базе кастомных элементов. Так, <perspective-viewer> можно настроить с помощью API, и он потребляет только ту информацию, которая необходима для рендеринга текущего экрана (для лучшей производительности). Компонент для JavaScript опирается на WebAssembly и Apache Arrow — платформу для хранения, обработки и передачи данных в векторном формате. В то же время компонент для Python реализован в качестве JupyterLab Widget.

Инструмент опирается на WebAssembly. Такой подход позволяет обойти некоторые ограничения, связанные с производительностью при обработке больших объёмов данных. Учитывая контекст, Perspective может быть полезен для современных BI-решений в формате SaaS. Хотя стоит заметить, что некоторые пользователи столкнулись с проблемой при отображении демопримеров на сайте Perspective в Firefox, тогда как в Chrome все работало корректно. Стоит учитывать эту особенность при разработке собственных проектов, или как минимум дополнительно проверить совместимость.

Можно сказать, что процесс настройки Perspective сложнее, по сравнению с традиционными npm-пакетами, так как проект сочетает в себе разные языки программирования. Для работы с perspective.js и perspective.python необходимо установить следующие зависимости: CMake, Boost, Yarn-v1 (версия выше первой пока не поддерживается). Инструкции по настройке на разных системах можно найти на GitHub.

Quary — решение для инженеров

Платформа для бизнес-аналитики Quary под лицензией от Apache. Она позволяет писать SQL-запросы для преобразования, организации и документирования таблиц в базе данных. Система включает в себя следующие виды сущностей: источники данных, модели, диаграммы, дашборды и отчеты. Помимо визуализации информации, доступно тестирование и итеративный рефакторинг с помощью контроля версий. Можно редактировать и переиспользовать модели, формировать на их основе дашборды в едином информационном пространстве.

Quary похожа на Lightdash. Но авторы Quary сосредоточились на процессе моделирования данных, а не автоматизации процессов. Систему можно установить двумя способами: загрузить как расширение Visual Studio Code и CLI. Первый вариант подходит для разработки, где нужен более интегрированный интерфейс, тогда как CLI обеспечивает больше контроля и подходит для CI/CD-пайплайна.

Redash — любые источники данных

Основанный в 2013 году в рамках внутреннего проекта компании EverythingMe, Redash в дальнейшем стал самостоятельным продуктом. Он создан для того, чтобы каждый, независимо от уровня технической подготовки, мог работать с данными. Распространяется под лицензией BSD-2 Clause. Система поддерживает тридцать пять источников (включая Яндекс.Метрики), а также работает с ClickHouse.

Redash, как и вышеупомянутый Quary, позволяет объединять источники данных и предоставляет простые диаграммы для инженеров. Но необходимо использовать DuckDB, который играет роль единого интерфейса между разными типами хранилищ информации. Начать знакомство с инструментом можно с официальной документации и руководства.

Evidence — бизнес-аналитика с markdown

Платформа представляет собой альтернативу drag-and-drop инструментам бизнес-аналитики. Все рабочие процессы выстраиваются с помощью кода. Работа с графиками, схемами и таблицами осуществляется посредством языка разметки markdown и SQL. Программное обеспечение распространяется под лицензией MIT.

Evidence отличается высокой производительностью, так как система предварительно строит все запросы, страницы и подробные контекстные отчеты по заготовленным моделям. Соответствующие примеры можно найти на сайте проекта. Стоит заметить, что Evidence позволяет работать с собственными svelte-компонентами.

Среди преимуществ Evidence пользователи выделяют поддержку множества источников аналитических данных (DuckDB, SQLite, CSV). Его установка достаточно проста и осуществляется через командную строку или Docker. Но разработчики рекомендуют воспользоваться расширением для VSCode. В то же время стоит отметить, что проект в целом очень молодой, поэтому сложно судить о его стабильности и надежности в проде. Хотя сообщество тепло встретило инструмент, который не следует устоявшейся парадигме no code.

OpenRefine — структурирует данные

Изначально проект развивала компания Metaweb, пока в 2010 году её не приобрели Google. Сегодня OpenRefine распространяется под лицензией BSD-3-Clause. Инструмент заточен под работу с беспорядочными данными и позволяет выгрузить неструктурированные записи из Excel и CSV. В то же время он работает с PostgreSQL, MySQL, MariaDB и SQLite.

OpenRefine умеет искать дубликаты в данных с помощью фасетов — фильтров, которые помогают сузить параметры поиска. Система также сопоставит аналитические показатели с другими локальными данными или сверит их с внешними источниками (например, из Wikibase). В OpenRefine данные представлены в виде строк. Одна ячейка может содержать несколько значений. Для удобной работы в таком контексте OpenRefine предлагает специальный «режим записей». Он позволяет разбить ячейку на несколько строк с разными значениями и работать с ними по отдельности.

Стоит отметить некоторые особенности работы с цифрами в OpenRefine. Инструмент не хранит формулы и отображает лишь результаты вычислений в ячейках. Он также не поддерживает форматирование текста и цветовое выделение ячеек и не позволяет работать над проектом нескольким пользователям одновременно.

OpenRefine работает на Windows, Mac и Linux. Для установки программного обеспечения понадобятся JDK11, Apache Maven и NPM 16. Система не требует выхода в интернет и запускается как небольшой веб-сервер на компьютере. Пользователь получает к нему доступ с помощью браузера. Однако стоит заметить, что OpenRefine не поддерживает работу с Internet Explorer и имеет проблемы с рендерингом и производительностью в Firefox, но хорошо работает в браузерах на базе Chromium и Safari.

Refine — помощь в корпоративных задачах

Refine предлагает инструментарий, позволяющий упростить ряд задач при разработке приложений: от систем аутентификации и контроля доступа до локализации и интернационализации (i18n). По сути, он помогает оптимизировать работу в корпоративных В2В-приложениях. Распространяется под лицензией MIT.

Refine отличается от подобных продуктов (например, Appsmith, Windmill или Tooljest) тем, что не предлагает набор готовых компонентов для аналитики. Поскольку инструмент ориентирован на разработчиков, вместо предварительно сформированных аналитических шаблонов, пользователи могут интегрировать свои фреймворки или собственный дизайн статистических данных, сохраняя высокий уровень кастомизации работы.

Инструмент официально поддерживает фреймворки React Router DOM, Next.js и Remix. На официальном сайте в документации можно найти инструкцию, как с помощью Refine написать полнофункциональное CRUD-приложение.

Эффективное управление данными

Интеграция инструментов с облачными хранилищами и сервисами предоставляет дополнительное преимущество в виде масштабируемости и доступности. Облачные платформы позволяют хранить и обрабатывать большие объемы данных, а также делать их доступными для анализа в любое время и из любого места. 

Это сочетание делает использование открытых инструментов вместе с облачными технологиями мощным решением для эффективного управления данными и бизнес-аналитики в современных ИТ-структурах, обеспечивая безопасное и эффективное управление данными. А чтобы сделать облачные сервисы доступнее, мы сделали скидку 50% на 6 месяцев на облачную инфраструктуру, сети, сетевую защиту и на хранение данных в облаке.