В последнее время компания Axenix отметила усиление требований к BI отчетности со стороны клиентов. Раньше наиболее распространенным требованием бизнес-заказчиков был перенос презентаций в BI-платформу в том же виде, в каком они были в Power Point. Но за последний год все чаще появляется запрос на интерактивность и добавление возможностей по глубокому анализу данных с помощью BI-решений.

Мировые лидеры рынка BI-платформ в полной мере позволяют не только представить данные в виде статичного отчета, но и открывают возможности по проведению продвинутой визуальной аналитики. Однако сейчас уже никого не удивишь просто красивым дэшбордом. Что действительно ценится в сфере Business Intelligence – интерактивность и многослойное представление данных, а также возможность исследовать данные: переключиться с одной метрики на другую с помощью кнопок, изучить данные в разных разрезах с помощью Drill Down, проанализировать дополнительную информацию во всплывающем окне, выбрав категорию на одном графике и отфильтровав по ней все остальные графики на дэшборде.

Оживив таким образом, дэшборд, мы даем бизнес-пользователям готовый инструмент для анализа показателей компании и принятия data-driven решений на их основе.

По разным оценкам, Российский рынок BI за 2021 год составил от 30 до 40 млрд рублей. Основная доля рынка пришлась на решения с использованием зарубежных BI-платформ, таких как Tableau, Power BI и Qlik. Однако в 2022 году отрасль претерпела значительные изменения и перед многими компаниями остро встал вопрос замещения функционала лидеров рынка BI-платформ в части создания отчетов и проведения визуальной аналитики.

Меня зовут Анастасия Остапенко, я руковожу центром компетенций по BI-разработке в Axenix и в этой статье я расскажу о результатах нашего исследования BI-платформ, призванных заместить привычный функционал зарубежных вендоров.

Основной целью исследования была проверка на практике функционала, заявленного вендорами, а также оценка возможности воспроизведения функционала реальных промышленных дэшбордов на исследуемых платформах. Производительность платформ в режиме высокой нагрузки не тестировалась, поскольку не все вендоры предоставляют возможность подключения enterprise БД из демо-стенда.

Методология оценки

В рамках исследования мы составили список критериев, покрывающий большую часть технического функционала, необходимого для создания качественных дэшбордов. Данные критерии учитывают наличие функционала по обработке и визуализации данных, скорость разработки отчетов и сложность миграции на новую платформу.

 Эти критерии:

1. Разнообразие и дизайн встроенных визуализаций

2. Форматирование и кастомизация дэшборда

3. Загрузка и трансформация данных, наличие коннекторов

4. Создание продвинутых расчетных мер и формул

5. Интерактивные элементы, создание "второго слоя" данных

6. Сложность переобучения BI-специалистов и возможности Self-Service

Остановимся чуть подробнее на каждом из них. Дадим определение и обоснование выбора каждого из критериев.

Разнообразие и дизайн встроенных визуализаций. Форматирование и кастомизация дэшборда

Наличие большого количества встроенных визуализаций и широкие возможности по форматированию этих визуализаций – одни из главных характеристик BI-платформы. Несмотря на то, что самые часто используемые типы визуализаций – это bar chart и line chart, довольно востребованными также являются каскадная диаграмма, bullet chart, bubble chart, спидометр и др. Гибкая возможность форматирования, задания размеров, шрифтов, цветов и прочих настроек позволяет оформить дэшборд в стилистике компании, расположить элементы в нужном порядке и дополнительно выделить важную информацию

Загрузка и трансформация данных, интеграция. Создание продвинутых расчетных мер и формул

Наличие собственного движка для обработки данных напрямую влияет на производительность платформы при работе с большими данными, а наличие собственного языка с возможностью производить вычисления с разным контекстом (на уровне агрегации, отличном от используемого в визуализации) . Это позволяет производить расчет сложных показателей и метрик прямо в BI-платформе без необходимости создавать множество таблиц и представлений с разным уровнем агрегации данных в БД.

Интерактивные элементы, создание "второго слоя" данных

Чтобы сделать дэшборд интерактивным, кликабельным и пригодным для проведения визуальной аналитики, можно использовать такой функционал как Drill Down, Tooltip, условное форматирование, кросс-фильтрация, переключение визуализаций с помощью кнопок.

Drill Down позволяет скрывать/раскрывать разные уровни иерархических данных в сводных таблицах и графиках, например, можно показать сумму продаж по категориям товаров, а можно раскрыть и посмотреть продажи более подробно в разрезе каждого продукта.

Tooltip – всплывающие окна, появляющиеся при наведении на элементы дэшборда и содержащие дополнительную информацию о показателях дэшборда. При оценке данного функционала учитывали возможность вывода в тултип дополнительных мер и измерений помимо тех, что участвуют в построении визуализации, а также возможность настройки шрифта, размера текста и прочее.

Условное форматирование – знакомый всем функционал, который позволяет подсвечивать значения заданным цветом или с помощью градиента по определенным правилам. Обычно используется для выделения отклонений от целевого значения. Максимальный балл здесь присваивали системам, в которых возможно задание условного форматирования с выбором цветов из палитры или цветовым кодом, присвоению определенных цветов выбранным категориям, а также при наличии возможности задавать условия формулами, а не только для конкретных значений.

Переключение отображаемой информации с помощью кнопок – одна из самых полезных интерактивных функций, которая позволяет значительно расширить представляемую на дэшборде информацию. Можно настроить переключение отображаемого показателя в рамках одной визуализации, а можно настроить полную смену отображаемого контента при нажатии кнопки.

Кросс-фильтрация – способность влиять на отображаемые значения в дэшборде не только с помощью панели фильтров, но и выбирая значения в сами визуализациях. Гибкость настройки кросс-фильтрации может быть разной. В некоторых системах фильтрация идет на уровне датасета, т.е. значение, которое мы решили отфильтровать, передается как параметр в условие "where" датасета, что фактически затрагивает все визуализации, построенные на основе данного датасета. Другие системы позволяют делать более тонкую настройку – на уровне визуализаций, при которой можно настраивать связь и влияние элементов визуализации друг на друга независимо от используемого в них датасета.

Сложность переобучения BI-специалистов и возможности Self Service

Наличие развитого коммьюнити, интуитивно понятный интерфейс платформы и наличие программ обучения и сертификации влияет на сложность и скорость обучения BI-специалистов. У зарубежных вендоров есть большое количество профильных форумов и комьюнити. Это, а также наличие подробной документации, позволяет уменьшить время на обучение и, в конечном счете, на разработку.

Возможность использования платформы для Self-service аналитики и порог входа для разработчиков мы оценивали исходя из наличия необходимости писать код (JavaScript /HTML/CSS/SQL/Python) для полноценной работы с инструментом, а также из необходимости обязательной предобработки данных на стороне BI-платформы (создания модели/куба/настройки типов данных/измерений и т.п.). Максимальная оценка ставилась платформам, в которых возможно создание продвинутых интерактивных дэшбордов без необходимости писать код и наличия глубоких знаний по теории хранилищ данных, OLAP-кубов и т.п.

Руководствуясь этими критериями, мы провели тестирование 13 BI-платформ, сравнили их с функционалом лидеров рынка BI и готовы поделиться впечатлениями от работы с данными инструментами.

 Список платформ, которые мы протестировали

Дельта BI

Зрелая BI-платформа с функционалом, сопоставимым с мировыми лидерами рынка BI. Дельта BI поставляется по OEM-лицензии Pyramid Analytics, которая присутствует в рейтинге лучших BI-платформ по версии Gartner уже много лет подряд наряду с Power BI, Tableau и QlikSense. Дельта BI сочетает в себе как продвинутый функционал по обработке и построению моделей данных, так и гибкий, похожий на Power Point, функционал построения дэшбордов.

Разнообразие и дизайн встроенных визуализаций

Большое количество встроенных визуализаций, в том числе редко встречающихся. Визуально компоненты платформы и готовые дэшборды выглядят современно. Есть возможность разработки кастомных визуализаций на JavaScript.

Форматирование и кастомизация дэшборда

Дэшборд создается по логике, похожей на создание презентации в Power Point. Есть возможность добавлять в дэшборд произвольные фигуры, настраивать стиль дэшборда и всего отчета. Форматирование визуализаций и дэшборда производится с помощью «кликов». Визуализации можно располагать на дэшборде по гибкой сетке с маленьким шагом. Возможна Pixel-perfect настройка дэшборда. У пользователя есть возможность изменения типа визуального элемента прямо в режиме просмотра дэшборда (например, сменить pie chart на bar chart и т.п.), а также вывода новых полей в уже существующую визуализацию. Доступна гибкая настройка текстовых карточек, как в Tableau.

Загрузка и трансформация данных, интеграция

В Дельта BI есть встроенный in-memory движок. С данными можно работать как в режиме direct query(live-соединение), так и в режиме импорта/экстракта. Обработка данных производится в формате создания ETL-pipeline. Также возможно создание модели на физическом (создание витрины с помощью потока) и логическом уровне (создание модели данных с помощью виртуальных связей)

Создание продвинутых расчетных мер и формул

Есть собственный язык расчетов с большим количеством доступных функций и справочником. Контекстные вычисления можно выполнять с помощью специальной функции «маркер».

Интерактивные элементы, создание "второго слоя" данных

В Дельта BI доступны широкие возможности по добавлению интерактивности. Есть функционал кросс-фильтрации на уровне связанных визуализаций, а не на уровне датасета. Можно работать с иерархиями и Drill Down, в том числе проваливаться сразу на несколько уровней. Есть параметры и действия(actions) как в Tableau, с помощью которых можно настроить переключение отображаемого визуала на дэшборде. Доступна гибкая настройка условного форматирования с использованием расчетных полей и атрибутов, не участвующих в построении визуализации. Отсутствуют возможности по настройке всплывающих окон в классическом виде, однако с помощью «действий» это можно настроить

Сложность переобучения BI-специалистов и возможности Self Service

Платформа в целом имеет интуитивно понятный интерфейс, однако из-за широкого функционала платформы потребуется дополнительное время для освоения платформы. Все настройки дэшборда доступы с помощью «кликов», что снижает порог входа.

FineBI

Лидер китайского рынка. Удобный BI-инструмент для анализа и визуализации данных. Интерфейс платформы похож на Tableau. Функционал несколько уступает мировым лидерам BI, но тем не менее FineBI BI подходит для создания продвинутых интерактивных дэшбордов. Нужно принимать во внимание, что система не российская, а китайская, и не вся документация локализована.

Разнообразие и дизайн встроенных визуализаций

Конструктор дэшбордов представляет собой гибрид Tableau и Power BI: можно выбирать тип готовой визуализации, как в Power BI, а можно собирать графики в конструкторе и комбинировать их между собой, как в Tableau. Таким образом, в платформе есть большое количество встроенных визуализаций, в том числе редко встречающиеся. Визуал выглядит современно, похоже на Tableau.

Форматирование и кастомизация дэшборда

Широкие возможности по кастомизации и форматированию визуализаций по принципу no-code.

Загрузка и трансформация данных, интеграция

Свой in-memory движок Spider для обработки и хранения данных. Присутствует возможность создания модели данных.

Создание продвинутых расчетных мер и формул

Есть собственный язык расчетов и справочник к нему (на английском). Есть возможность создавать контекстные вычисления с помощью LOD, но только при живом подключении к БД (live connection). При подключении с помощью экстракта, контекстные функции можно создавать с помощью синтаксиса оконных функций SQL.

Интерактивные элементы, создание "второго слоя" данных

Встроенный функционал Drill Down можно настроить не только в таблицах, но и в других типах визуализаций. Кросс-фильтрация может быть настроена на уровне связанных визуализаций, а не на уровне датасета. Можно гибко настраивать всплывающие окна, добавлять в тултипы другие показатели помимо тех, что уже используются в визуализации. Встроенный функционал упрощенного переключения между визуализациями в одном контейнере с помощью кнопок (табов). Все настраивается кликами.

Сложность переобучения BI-специалистов и возможности Self Service

Интерфейс похож на Tableau, что снижает порог входа и упрощает переобучение BI-разработчиков. Большое количество настроек дэшборда с помощью «кликов». Можно использовать для self-service благодаря no-code подходу. У Fine BI есть крупное активное русскоязычное community в Telegram.

Insight BI

BI-платформа с широкими возможностями в области визуализации данных и визуальной аналитики. В качестве внутреннего движка для обработки данных используется Dremio. Подходит для создания сложных интерактивных дэшбордов с «вау-эффектом» без кастомной доработки на JS.

Разнообразие и дизайн встроенных визуализаций

Большое количество встроенных визуализаций, в том числе редко встречающиеся. Визуализации и дэшборды, созданные в Insight BI, выглядят очень современно. Практически неограниченные возможности настройки дизайна дэшбордов. За основу элементов визуализаций взята open-source библиотека Apache E-Charts.

Форматирование и кастомизация дэшборда

Широкие возможности по форматированию визуализаций по принципу no-code. Множество настроек доступно с помощью «кликов». Возможность создавать дэшборд с любым дизайном, учитывая даже самые изысканные потребности заказчика.

Загрузка и трансформация данных, интеграция

Встроенный in-memory движок на основе open-source платформы Dremio. Возможно создавать ETL преобразования с помощью графических блоков, а также с помощью SQL.

Создание продвинутых расчетных мер и формул

Все вычисляемые меры создаются на синтаксисе SQL и отправляются отдельными запросами во внутреннюю базу для каждой визуализации. Нельзя сохранять созданные вычисляемые поля. Создание контекстных вычислений – с помощью оконных функций SQL.

Интерактивные элементы, создание "второго слоя" данных

Платформа предоставляет много возможностей по добавлению интерактивности в дэшборд. Переключение визуализаций, полей, всплывающие визуализации и многое другое. Функционал переключения визуализаций реализован с помощью контейнеров и параметров, как в Tableau. Доступен встроенный функционал Drill Down, кросс-фильтрация на уровне связанных визуализаций, а не на уровне датасета. Есть расширенный тултип, который позволяет выводить дополнительные метрики из датасета в всплывающее окно, а также гибкая настройка условного форматирования.

Сложность переобучения BI-специалистов и возможности Self Service

Интуитивно понятный интерфейс снижает порог входа и упрощает переобучение для BI-разработчиков. Множество настроек дэшборда с помощью «кликов». В целом можно использовать для Self Service благодаря no-code подходу, если пользователь знаком с SQL.

Luxms BI

Высокопроизводительная BI-платформа с фокусом на продвинутую аналитику и работу с большим объемом данных. Особенностью платформы является собственный ETL-инструмент Data Boring, обеспечивающий эффективную работу при сохранении быстродействия.

Разнообразие и дизайн встроенных визуализаций

Присутствуют все базовые визуализации, а также некоторые редко встречающиеся. Визуализации выглядят современно. Возможна разработка кастомных визуализаций с помощью JS. За основу элементов визуализаций взята open-source библиотека Apache E-Charts.

Форматирование и кастомизация дэшборда

Есть некоторое количество настроек визуализаций, доступных в режиме «кликов», в остальном предполагается форматирование визуализаций с помощью конфигурирования JSON-объекта. Не используя конфигуратор, пользователь может изменять цвета категорий на визуализациях и либо отображать, либо скрывать названия визуализаций.

Загрузка и трансформация данных, интеграция

Собственный ETL-инструмент Data Boring и in-memory СУБД с продвинутыми возможностями работы с данными. Data Boring позволяет формировать горячий и теплый слой данных, выполнять постобработку данных, автоматизировать выполнение регулярных задач. Data Boring на первый взгляд достаточно сложный для понимания и требует практики для комфортного использования. В нем используется язык SQL запросов или JavaScript, так же в качестве источника данных можно использовать скрипты, написанные на других языках программирования.

Создание продвинутых расчетных мер и формул

Создание продвинутых расчетных мер и формул осуществляется на уровне ETL инструмента – Data Boring, функционал которого позволяет создавать расчеты с помощью встроенных функций.

Интерактивные элементы, создание "второго слоя" данных

Luxms поддерживает функционал кросс-фильтрации, возможности drill-down и условного форматирования. Скрывать/отображать сами визуализации по условию нельзя. Отсутствуют возможности по настройке всплывающих окон. Реализована возможность создания навигационного меню для дэшборда.

Сложность переобучения BI-специалистов и возможности Self Service

Для создания дэшбордов в корпоративном стиле и визуализаций под потребности заказчика необходимо владеть SQL, JavaScript, а также освоить Data Boring и встроенный JSON конфигуратор.

Вендор проводит обучение по пользованию платформой Luxms, но нужно иметь ввиду, что курсы по работе с Data Boring, по использованию возможностей платформы для целей Self-Service и работы с конфигуратором настроек визуализации – это разные курсы. В рамках обучения вендор предоставляет видео-материал и задания для самостоятельного изучения, а также открывает доступ к форуму для направления вопросов по материалам курса.Также вендором выпускается и постепенно дополняется документация по работе с Luxms.

Alpha BI

BI-платформа хорошо подходит для компаний, которым необходимо реализовывать полный цикл BI-разработки с помощью одного инструмента. Ощущается фокус платформы на работе с источниками и обработке данных. Помимо возможности создания дэшбордов, есть модуль «дизайнер отчетов» для создания печатных форм.

 Разнообразие и дизайн встроенных визуализаций

Присутствуют все базовые визуализации. Визуал готовых дэшбордов и отдельных визуализаций в целом выглядит современно.

Форматирование и кастомизация дэшборда

Широкие возможности по кастомизации и форматированию визуализаций по принципу no-code. Доступно большое количество настроек с помощью «кликов».

Загрузка и трансформация данных, интеграция

Работа с данными внутри Alpha BI происходит на основе встроенного ROLAP-движка, это открывает возможности и по работе с иерархиями и с взаимодействием виджетов. Также есть собственный ETL-модуль, который дает возможность построить собственное хранилище со слоями на стороне Alpha BI. Этап подготовки данных занимает много времени за счет необходимости назначения типов данных, настройки связей атрибутов, создания бизнес-объектов, создания размерностей и мер для бизнес-объектов и т.д. при формировании OLAP-куба. К построенной OLAP-модели можно подключаться из Excel.

Создание продвинутых расчетных мер и формул

Есть свой встроенный язык расчетов – MDX, включающий большое количество функций для расчета формул и показателей.

Интерактивные элементы, создание "второго слоя" данных

Гибкая настройка кросс-фильтрации и Drill Down. Есть встроенные возможности по созданию панели навигации. Настройка условного форматирования ограничена применением в сводных таблицах, а в остальных визуализациях можно задать измерениям только фиксированные цвета. Доступна гибкая настройка всплывающих подсказок с возможностью вывода в тултип любых показателей из датасета. Есть функционал переключения визуализаций по кнопке внутри контейнера.

Сложность переобучения BI-специалистов и возможности Self Service

На этапе работы с данными и формирования куба необходимо тщательно готовить данные и обращать внимания на детали, т.к. цена ошибки при подготовке данных довольно высока и может потребоваться много времени на исправление ошибки. Высокий порог входа, необходимо знание SQL, JavaScript, MDX для решения сложных задач. Не подходит для Self Service. У Alpha BI есть программа обучения партнеров и клиентов с последующей сертификацией. Отдельно хочется отметить скорость ответа тех.поддержки и готовность помочь со стороны вендора.

PolyAnalyst

BI-платформа с необычным подходом к проведению расчетов c помощью создания pipeline и большим количеством доступных настроек визуализации с помощью «кликов». Нужно принимать во внимание невозможность настройки условного форматирования и несколько устаревший интерфейс и дизайн визуализаций. Платформа похожа на Alteryx с возможностью создания дэшбордов.

Разнообразие и дизайн встроенных визуализаций

Большое количество встроенных визуализаций, в том числе редко встречающиеся. Визуализации и дэшборды в целом выглядят современно.

Форматирование и кастомизация дэшборда

Широкие возможности по кастомизации и форматированию визуализаций по принципу no-code. Доступна гибкая настройка текстовых карточек, как в Tableau.

Загрузка и трансформация данных, интеграция

Есть свой in-memory движок для работы с данными. Функционал работы с данными доступен путем создания ETL-пайплайнов с возможностью последующего вывода показателей по заданным срезам в дэшборд.

Создание продвинутых расчетных мер и формул

Для создания каждой расчетной метрики необходимо создавать отдельную ветвь ETL-пайплайна. Есть продвинутый функционал, такой как работа с контекстными функциями, также есть собственный язык расчетов со справочником.

Интерактивные элементы, создание "второго слоя" данных

Доступна гибкая настройка кросс-фильтрации на уровне связанных визуализаций, а не на уровне датасета. Есть функционал Drill Down и возможность переключения визуализаций на дэшборде с помощью создания «вкладок». Настройки условного форматирования доступны на небольшом количестве редко используемых диаграмм (диаграмма рассеяния, карта, облако тэгов и т.п.). Отсутствует возможность настройки всплывающих окон.

Сложность переобучения BI-специалистов и возможности Self Service

Интерфейс платформы в целом интуитивно понятный, но выглядит немного устаревшим. Подход no-code снижает порог входа и сложность переобучения BI-специалистов. Все расчеты и преобразования данных проводятся в графическом интерфейсе ETL-пайплайна, что может увеличивать время на разработку отчета за счет необходимости строить ETL-пайплайна для каждого среза/функции.

Форсайт

BI-платформа с продвинутыми возможностями по аналитике данных, проведению сложных расчетов и разработке интерактивных дэшбордов. Широкий функционал платформы позволяет сократить количество кастомной разработки за счет использования встроенного функционала, однако систему сложно назвать «дружелюбной» и на реализацию базовых функций порой уходит значительное время, что может увеличить время разработки и миграции.

Разнообразие и дизайн встроенных визуализаций

В Форсайт доступны все базовые виды встроенных визуализаций, а также некоторые редко встречающиеся. Есть возможность создавать кастомные визуализации (плагины) с помощью JavaScript. Созданные в Форсайт визуализации и готовые дэшборды могут иметь устаревший вид.

Форматирование и кастомизация дэшборда

Большое количество настроек кастомизации и форматирования визуализаций с помощью кнопок.

Загрузка и трансформация данных, интеграция

Есть своя высокопроизводительная in-memory СУБД с возможностью создания ETL-трансформаций и обработки данных. Есть возможность использовать активные и пассивные связи в модели данных, как в Power BI. Перед началом этапа визуализации данных неободимо создать куб.

Создание продвинутых расчетных мер и формул

Возможна продвинутая работа с аналитическими функциями с помощью “Редактора выражений”, включающем более 300 встроенных функций, расчеты ведутся с помощью собственного языка расчетов.

Интерактивные элементы, создание "второго слоя" данных

Присутствует возможность создания иерархий и использования функционала Drill Down / Drill Up в дэшборде. Можно настроить условное форматирование и кросс-фильтрацию, однако это делается через внутренние не интуитивно понятные настройки, что может увеличить затрачиваемое время. Отсутствуют возможности по настройке всплывающих окон, однако хорошо реализован функционал подмены визуализаций по кнопке, скрытия/отображения элементов визуализации, что частично может заменить функционал тултипов, а также открывает дополнительные возможности по добавлению «второго слоя» информации.

Сложность переобучения BI-специалистов и возможности Self Service

Интерфейс платформы сложно назвать интуитивно понятным. Сам интерфейс разработки выглядит устаревшим, структура каталогов сложна к восприятию, а настройки некоторых функций лежат в глубине платформы. Необходимо тщательное изучение документации, чтобы разобраться с настройкой функционала, поэтому время на разработку может быть увеличено. Подход low-code/no-code тем не менее снижает уровень входа и сложность переобучения BI-специалистов. Есть программы сертификации и обучения от вендора. В рамках обучения вендор предоставляет видео-материал и задания для самостоятельного изучения, а также открывает чат с лектором для направления вопросов по материалам курса.

Visiology v2

Bi-платформа может использоваться для Self-Service разработки несложных дэшбордов. Для создания дэшбордов среднего+ уровня сложности, BI-специалисту необходимо владеть JavaScript для разработки и кастомизации визуализаций и Python для обработки данных. В ноябре ожидается релиз Visiology 3.0, которая станет полностью новой BI-платформой и может существенно снизить порог входа, однако потребуется время до того момента как Visiology 3.0 сможет полностью догнать по функционалу Visiology v2.

Разнообразие и дизайн встроенных визуализаций

Присутствуют все базовые визуализации. Визуал выглядит современно. При необходимости использования более редких видов визуализаций можно купить готовые виджеты у партнеров Visiology или разработать самостоятельно на JS.

Форматирование и кастомизация дэшборда

Большую часть кастомизации и форматирования визуализаций и внешнего вида дэшборда необходимо выполнять с помощью JS и CSS.

Загрузка и трансформация данных, интеграция

Есть собственный in-memory OLAP-движок ViQube для хранения данных и создания модели данных. Встроенных инструментов ETL в Visiology нет. Данные лучше подготовить заранее на уровне СУБД или других ETL-инструментах. Также можно использовать в качестве источника данных Python и С# скрипты.

Создание продвинутых расчетных мер и формул

Встроенный движок позволяет агрегировать данные (sum, count и т.п.), а также выполнять несложные расчеты с логическими и математическими операторами. Для более сложных вычислений необходимо использовать Python.

Интерактивные элементы, создание "второго слоя" данных

В Visiology доступна гибкая настройка кросс-фильтрации на уровне связанных визуализаций, а не на уровне датасета. Доступен функционал Drill Down, однако для удобного представления иерархичных данных необходима доработка в JS. Настройка условного форматирования выполняется с помощью JS-кода, без кода можно задать цвета по категориям. Отсутствуют возможности по настройке всплывающих окон.

Сложность переобучения BI-специалистов и возможности Self Service

Платформа имеет интуитивно понятный интерфейс для создания базового дэшборда, однако большая часть настроек и кастомизации ведется с помощью JS, а обработку данных необходимо проводить на Python, либо выносить на сторону СУБД. Это увеличивает порог входа для BI-специалистов. Для освоения функционала платформы Visiology предлагает программы обучения и сертификации по работе со своей платформой.

Analytic Workspace

BI-платформа класса Self-Service с современным интуитивно понятным интерфейсом подходит для проведения визуальной аналитики данных и создания функциональных дэшбордов.

Разнообразие и дизайн встроенных визуализаций

Есть все базовые типы визуализации, а также несколько редко встречающихся. За основу элементов визуализаций взята open-source библиотека Apache E-Charts.

Форматирование и кастомизация дэшборда

Визуальные элементы можно размещать по гибкой сетке. Кастомизации и форматирование визуализаций производится с помощью «кликов».

Загрузка и трансформация данных, интеграция

Есть своя in-memory СУБД для работы с данными. Есть внутренний ETL на основе Apache Airflow и Apache Spark. Есть возможность создания модели данных с помощью графических блоков как в Tableau.

Создание продвинутых расчетных мер и формул

Вычисления можно производить с помощью синтаксиса SQL на этапе создания модели данных либо на этапе ETL-обработки данных с помощью Python.

Интерактивные элементы, создание "второго слоя" данных

В AW доступен функционал по добавлению интерактивности в дэшборд. Доступна гибкая настройка кросс-фильтрации на уровне визуализаций, а не датасета. Есть функционал создания иерархий и настройки Drill Down. Отсутствует возможность настройки всплывающих окон и условного форматирования.

Сложность переобучения BI-специалистов и возможности Self Service

Интуитивно понятный интерфейс снижает порог входа и упрощает переобучение BI-разработчиков. Все настройки дэшборда доступы с помощью «кликов». Платформа подходит для self-service аналитики. Есть программа обучения партнеров. По итогам обучения выдается сертификат общего образца. В открытом доступе есть подробная документация и видеоуроки. Отдельно хочется отметить скорость ответа тех.поддержки и готовность помочь со стороны вендора.

Modus BI

Удобный BI-инструмент c интуитивно понятным интерфейсом подходит для создания современных информативных дэшбордов при условии предварительной подготовки данных на стороне DWH или приобретении дополнительного модуля Modus ETL. Для создания расчетных показателей разработчику необходимо знать SQL.

Разнообразие и дизайн встроенных визуализаций

Большое количество встроенных визуализаций, в том числе редко встречающиеся. Визуализации и дэшборды, созданные в Modus Аналитический портал выглядит современно.

Форматирование и кастомизация дэшборда

Доступно много настроек кастомизации и форматированию визуализаций и дэшбордов c помощью «кликов».

Загрузка и трансформация данных, интеграция

Modus BI состоит из двух отдельных модулей Modus Аналитический портал и Modus ETL, каждый лицензируется и приобретается отдельно. В Modus Аналитический портал нет встроенного модуля обработки данных и собственной in-memory базы, отсутствует возможность создавать модель данных. Все расчеты и предварительная подготовка данных должна быть выполнена до загрузки датасета в Modus АП, можно воспользоваться имеющимися в компании корпоративными ETL-инструментами или приобрести модуль Modus ETL.

Создание продвинутых расчетных мер и формул

Все вычисляемые меры создаются на синтаксисе SQL и отправляются отдельными запросами во внутреннюю базу для каждой визуализации. Нельзя сохранять созданные вычисляемые поля. Создание контекстных вычислений доступно с помощью оконных функций SQL. При создании вычислений необходимо использовать синтаксис БД системы-источника и принимать во внимание, что при смене СУБД необходимо будет редактировать синтаксис вычислений из BI-платформы.

Интерактивные элементы, создание "второго слоя" данных

Есть возможности по добавлению интерактивности в дэшборд. В платформе реализован функционал работы с иерархиями и Drilldown, настройка кросс-фильтрации реализована на уровне связанных визуализаций, а не на уровне датасета. Отсутствуют возможности по гибкой настройке всплывающих окон.  Доступна настройка условного форматирования.

Сложность переобучения BI-специалистов и возможности Self Service

Интуитивно понятный интерфейс снижает порог входа и упрощает переобучение BI-разработчиков. Большое количество настроек дэшборда с помощью «кликов». В целом можно использовать для self-service благодаря если пользователь владеет SQL. Есть программы обучения от вендора.

Apache Superset

Open-source BI-платформа с большим разнообразием визуализаций и настройками с помощью «кликов» за счет вклада open-source сообщества. Многие критичные настройки платформы (например возможность кэширования данных, возможность разграничивать доступ на уровне отдельных дэшбордов и т.д.) производятся на уровне редактирования конфигурационного файла на сервере, где развернут Superset. Есть шаблонизатор JINJA, существенно расширяющий возможности платформы, для его использования необходимо знать Python.

Разнообразие и дизайн встроенных визуализаций

Большое количество встроенных визуализаций, в том числе редко встречающиеся. Визуал выглядит современно.

Форматирование и кастомизация дэшборда

Есть умеренное количество настроек визуализации с помощью «кнопок», кастомизация внешнего вида визуализаций и дэшборда возможно в основном за счет редактирования CSS-кода. Реализована верстка по сетке. Визуальные элементы можно размещать внутри контейнеров в дэшборде, однако разметка ограничена 12 колонками. Ширина визуализации не может быть настроена гибко, а может быть только кратна 1/12 ширины всего дэшборда (например 2/12, 6/12, 12/12), что может также привести к трудностям при проектировании дэшборда и задании необходимых пропорций.

Загрузка и трансформация данных, интеграция

У платформы нет встроенного функционала по созданию моделей данных и обработки данных, поэтому подготовку данных и формирование витрины необходимо проводить на стороне СУБД/ETL-инструмента.

Создание продвинутых расчетных мер и формул

Все вычисляемые меры создаются на синтаксисе SQL и отправляются отдельными запросами во внутреннюю базу для каждой визуализации. Есть возможность сохранения созданных вычисляемых колонок и мер. Создание контекстных вычислений доступно с помощью оконных функций SQL.

Интерактивные элементы, создание "второго слоя" данных

Функционал для добавления «второго слоя» в основном реализован не на уровне платформы, а на уровне отдельных визуализаций. Соответственно наличие Drilldown, кросс-фильтрации и др. зависит от используемой визуализации. Настройка условного форматирования доступна только заданием условий по числовым значениям, нет возможности задать форматирование со сравнением двух показателей. Цвет категорий и любы других показателей можно задать с помощью цветовых схем, которые назначаются для всего дэшборда. Отсутствуют возможности по настройке всплывающих окон. Есть возможность переключения визуализаций на дэшборде с помощью табов.

Сложность переобучения BI-специалистов и возможности Self Service

Интуитивно понятный интерфейс снижает порог входа и упрощает переобучение для BI-разработчиков. Для форматирования и приведения дэшборда к корпоративному стилю разработчику необходимо владеть CSS. Для обработки данных необходимо владеть SQL для разработки витрин данных. Есть множество видео-уроков, курсов и форумов в интернете, а также крупное активное русскоязычное community в Telegram.

Yandex DataLens

Облачная BI-платформа класса Self-service. Подходит для быстрого создания несложных отчетов. ETL-преобразования необходимо выполнять на уровне СУБД, в то время как создание расчетных мер можно делать на стороне BI-платформы. Нужно принимать во внимание отсутствие функционала по настройке условного форматирования и кросс-фильтрации. Необходимо принимать во внимание, что Яндекс DataLens поставляется только в комплекте с Яндекс Облаком.

Разнообразие и дизайн встроенных визуализаций

Есть все базовые типы визуализации, а также несколько редко встречающихся. Некоторые визуализации можно комбинировать друг с другом как в Tableau. В карте можно настроить «слои». Можно гибко размещать визуализации на дэшборде (без привязки к сетке). Визуал выглядит современно.

Форматирование и кастомизация дэшборда

Кастомизации и форматирование визуализаций производится с помощью «кликов». Количество настроек по форматированию визуализаций ограничено. Настройка цветов в визуализациях ограничена существующими цветовыми палитрами, нет возможности выбрать определенный цвет по цветовому коду. Доступна гибкая настройка текстовых карточек, как в Tableau.

Загрузка и трансформация данных, интеграция

В Datalens нет встроенного модуля обработки данных и собственной in-memory базы, весь функционал по работе с данными необходимо вынести на уровень СУБД или ETL-инструмента, можно воспользоваться Yandex Data Platform и другими компонентами инфраструктуры Yandex которые поставляются в комплекте Yandex Cloud.  В Datalens можно построить модель данных, настроить связи между таблицами, интерфейс работы с моделью похож на аналогичный в Tableau.

Создание продвинутых расчетных мер и формул

Есть собственный язык расчетов и справочник к нему. В синтаксисе есть много встроенных функций, в том числе контекстных (Level-Of-Detail).

Интерактивные элементы, создание "второго слоя" данных

Есть возможности по добавлению интерактивности в дэшборд. Можно в несколько кликов создать иерархию и использовать ее в визуализациях для работы в режиме Drill Down. Есть возможность переключения визуализаций с помощью кнопок в рамках одного контейнера. Функционал кросс-фильтрации не поддерживается. Настройка условного форматирование недоступна, но можно присвоить цвета из палитры выбранным показателям.

Сложность переобучения BI-специалистов и возможности Self Service

Интуитивно понятный интерфейс снижает порог входа и упрощает переобучение BI-разработчиков. Все настройки дэшборда доступы с помощью «кликов». Количество настроек ограничено, на освоение инструмента уходит очень небольшое количество времени. Также есть развитое комьюнити в Telegram. Платформа подходит для self-service аналитики.

Polymatica

У вендора Polymatica есть три программных продукта: Polymatica Analytics, Polymatica Dashboards и Polymatica ML, каждый приобретается и лицензируется отдельно. Модуль для построения дэшбордов и BI-отчетов называется Polymatica Dashboards. Перед этапом создания дэшборда необходимо вынести все расчеты на уровень СУБД или ETL-инструмента либо отдельно приобрести модуль Polymatica Analytics т.к. в Polymatica Dashboards возможны лишь операции агрегации данных.

Разнообразие и дизайн встроенных визуализаций

Большое количество встроенных визуализаций. Визуал выглядит современно. Есть возможность разработки кастомных визуализаций на Java.

Форматирование и кастомизация дэшборда

Форматирование визуализаций производится с помощью «кликов», однако количество настроек по форматированию и кастомизации визуализаций ограничено. Настройка цветов в визуализациях ограничена существующими цветовыми палитрами, нет возможности выбрать определенный цвет по цветовому коду. Доступна гибкая настройка текстовых карточек, как в Tableau. Визуализации можно располагать на дэшборде по гибкой сетке с маленьким шагом.

Загрузка и трансформация данных, интеграция

В Polymatica Dashboards нет собственного движка для обработки данных, а также отсутствует функционала для создания модели данных в BI-платформе, все необходимые данные должны быть объединены в одну таблицу. Соответственно, перед загрузкой данных в Polymatica Dashboards необходимо предварительно сформировать готовый датасет на уровне СУБД/ETL-инструмента либо в Polymatica Analytics.

Создание продвинутых расчетных мер и формул

В Polymatica Dashboards отсутствует возможности создавать вычисляемые поля в модуле для построения отчетов. Доступны только операции агрегации данных, нет возможности ввода формулы.

Интерактивные элементы, создание "второго слоя" данных

Возможности по добавлению интерактивности в дэшборд ограничены. Есть функционал кросс-фильтрации на уровне датасета. Отсутствуют возможности по настройке всплывающих окон, условного форматирования и переключения визуализаций. В Polymatica Dashboards реализован функционал Drill Through (переход на другой дэшборд по клику), а также функционал Drill Down для некоторых виджетов (круговая, точечная, паутина, линейчатая и комбинированная).

Сложность переобучения BI-специалистов и возможности Self Service

Платформа простая в освоении, интуитивно понятный интерфейс снижает порог входа и упрощает переобучение BI-разработчиков. Все настройки дэшборда доступы с помощью «кликов». В открытом доступе есть подробные обучающие видео на официальном сайте платформы.

Сравнительная таблица

По результатам тестирования мы составили сравнительную таблицу куда внесли наши оценки по критериям для протестированных BI-систем.

Оценка содержит в себе три градации:

✔️ функционал реализуем «из коробки»

✅︎ функционал реализуем с ограничениями/реализация требует доп. усилий

–    функционал не реализуем

Мы не рекомендуем подводить скоринг BI-платформы по общей сумме баллов, так как для разных компании ценность каждого отдельного критерия может быть разной, для кого-то важнее возможность использования платформы для Self-Service, а кому-то важна гибкость настройки дэшбордов и возможность добавления интерактивных элементов.

Выводы

Российские BI-платформы развивались по пути отличному от мировых лидеров рынка BI. Изначально перед российскими вендорами не стояло задачи полностью заменить функционал лидеров рынка BI, задача была скорее дополнить и расширить возможности зарубежных BI-платформ функционалом, актуальным именно для российского рынка. Так, многие Российские системы имеют функционал write-back, предоставляют возможности визуализации иерархичных деревьев и графов и многое другое. Также следует участь, что стартовые возможности и финансирование Российских BI-систем было другим нежели у западных вендоров, поэтому на данный момент не стоит ждать замены 1к1 иностранных решений. На данный момент, рынок Российского BI стремительно развивается. Вендоры выпускают релизы обновленных версий своих платформ по несколько раз в квартал и уже через год картина на рынке Российских BI-платформ будет совсем другая. Мы отслеживаем информацию о новых релизах, продолжаем тестировать Российские BI-платформ, а также расширяем партнерскую сеть, чтобы быть в курсе последних обновлений.  

Важно понимать, что нет универсального ответа и универсального скоринга для любых потребностей компании. Поиск оптимальной BI платформы заключается в выявлении и анализе реальных потребностей бизнес-пользователей компании, инвентаризации имеющихся дэшбордов и формировании на основе этого, списка ключевых критериев для подбора подходящей BI-платформы. У нас уже есть опыт подбора целевой BI-платформы для наших клиентов, а также разработана собственная методология оценки и подбора. Помимо подбора, мы также предлагаем услуги по реинжинирингу и миграции текущей отчетности на новую BI-платформу, а также решения по импортозамещению в части DWH.