После ухода основных вендоров BI-решений: Qlik, Tableau, Power BI, на российском рынке на некоторое время возник вакуум. Проблематика экстренного импортозамещения коснулась многих крупных и средних компаний, ключевые бизнес-процессы которых были завязаны на BI-аналитике и возможности быстрого принятия решений, которые она предоставляет. Во избежание приостановки процессов бизнес начал искать возможности продления лицензий или миграции на другую платформу без потери функциональности.
Сейчас все больше компаний делают выбор в пользу отечественных решений, и вот почему:
Успешные кейсы
Основным сдерживающим фактором в начале перестройки рынка BI в России было отсутствие реальных кейсов внедрения и миграции. Сейчас такой опыт появился, и компании с большим интересом рассматривают платформы, которые успели себя зарекомендовать.
Риск потери вложений
Внешнеэкономическая ситуация остается труднопрогнозируемой, поэтому вложение денег в зарубежный софт недружественных стран может быть рискованным делом.
Политика цифрового суверенитета
По мнению ряда аналитиков, в скором времени иностранный софт будет составлять не более 20% рынка.
Шаги при организации проекта миграции на примере миграции с Qlik на PIX BI
В случае миграции в сравнении с внедрением с нуля экономится порядка 30 - 50% времени и бюджета. Например, если внедрение заняло три месяца, проект по миграции займет примерно полтора. Аналогичная ситуация с расчетом бюджета.
Это связано с тем, что значительная часть работ при внедрении связана со сбором требований, обследованием текущего состояния, изучением источников данных и настройкой ETL. Если в компании уже есть работающая BI-система, она уже является готовым техническим заданием, что позволяет сэкономить время и деньги.
ШАГ 1. Аудит существующих приложений (8 часов*)
На этом этапе выявляется, из каких витрин состоят приложения, что является источниками, как данные преобразуются в результате ETL-процессов, какие есть механики, ссылки и переменные. Результатом этого шага является отчет, где перечислены все визуализации, меры измерения, формулы и переменные, которые используются в текущем приложении и которые необходимо перенести на новую платформу. Кроме того, осуществляется анализ трудозатрат и времени, необходимого на перенос.
ШАГ 2. Подготовка источников данных и оптимизация модели (20 часов*)
На данном этапе ведется сбор и подготовка данных для корректного формирования будущего приложения. Здесь возможны два сценария. Если у заказчика есть DWH (корпоративное хранилище данных), сразу готовится ТЗ специалистам заказчика, которые занимаются базами данных и ETL.
Если DWH нет, возможно развернуть средства подготовки баз данных и ETL на следующих инструментах:
СУБД (ClickHouse, PosgreSQL). Это рекомендуемый способ, который будет способствовать максимальному быстродействию приложений.
Фреймворки трансформации и моделирования данных (DBT - Data Build Tool).
Оркестраторы потов данных (Airflow или Dagster).
ШАГ 3. Рефакторинг интерфейса
На данном этапе проводится проработка концепта будущего приложения. Происходит адаптация интерфейса и изменение части визуализаций для их более эффективной работы в новой среде. Дополнительно возможно провести оценку приложения с точки зрения расширения юзабилити дашбордов для повышения результативности.
ШАГ 4. Построение приложения на инструментах PIX (12 часов*)
Приложение пересобирается с использованием стандартных объектов и с учетом пожеланий и замечаний заказчика. Если стандартными объектами визуализации не реализовать логику приложений, в PIX BI реализована возможность расширения диаграмм средствами JavaScript-кода. Результатом этого шага является готовое приложение.
ШАГ 5. Тестирование и техническая настройка
Готовое приложение передается заказчику для тестирования. После сбора обратной связи вносятся необходимые правки, а если их нет, то происходит финальная техническая настройка и задание ролей пользователей.
* Указано среднее время работы на 1 приложение, полная длительность проекта зависит от количества и сложности приложений.
Roadmap развития продукта: основные вехи
Благодаря тому, что над PIX BI трудится большая команда разработчиков, компания четко следует планам развития продукта и предоставляет пользователям постоянно расширяющийся функционал.
Вот некоторые основные обновления, которые запланированы до конца 2023 года:
Расширение языка формул PIX META
Виртуальный помощник PIX GPT на базе ChatGPT
Использование переменных
Параметры (слайдер, перечисление)
OMIT – разграничение доступа по колонкам
Рассылка отчетов на e-mail
Функция write-back – запись в DWH из BI
Push-уведомления
Создание презентаций с помощью интегрированных средств в подготовке регламентной отчетности
Интеграция с Hadoop, ArenaData Hadoop
Регулярное обновление новых встроенных визуализаци
В первом квартале 2024 года планируется внедрить рекомендательную систему для построения модели данных, добавить встроенные средства ML (машинного обучения) и сделать интеграцию с системой контроля версий (git).
В развитии PIX ETL также планируется много обновлений:
Self-service инструменты по трансформации данных: объединение наборов (JOIN, UNION), группировка значений (GROUP BY), удаление дубликатов, pivot/unpivot (self-service преобразование Excel и др)
Слияние/Разделение столбцов
Генерация дат/календаря
Добавление параметров/переменных в ETL
Настройка инкрементального обновления
Профилирование столбцов
Data Flow. Инструмент визуализации процесса трансформации
Интегрированный Python
Расширение наборов коннекторов. Нативный коннектор с 1С
Преобразование данных при загрузке файлов (типизация, парсинг, кросс-таблица, конкатенация)
Функции агрегирования: FirstSortedValue() - выдаёт первое значение из списка, TextCount() – количество текстовых значений в поле, NumericCount() – количество числовых значений в поле, Rank() – сортировка и простановка очередности по мере
Диапазоны. Функции над выборкой.
Функции с фильтрами.