Привет, Хабр! Я Павел Шестаков, Product Owner BI в MWS. За последние годы цифровой трансформации в нашей компании многие команды прошли путь от хаоса и пересылаемых друг другу «экселек» до удобных выстроенных процессов. И инструменты BI (Business Intelligence) сыграли в этом не последнюю роль.

Сегодня расскажу, как и почему мы внедряли и развивали свой BI и как добились того, что сейчас он обслуживает тысячи пользователей и покоряет внешний рынок. Это будет история про энтузиазм, стартап внутри корпорации, импортозамещение и, конечно же, работу с пользователями. Поехали!

Как BI менял аналитику в МТС

В МТС я начал работать в октябре 2019 года, в кластере «Новые бизнесы и технологии», в Центре продуктовой аналитики. Именно тут, в числе многих перспективных разработок и проектов, Максим Алексеенко — руководитель центра — начал внедрять BI. Тогда мы закупали Tableau — до сих пор передовой BI-инструмент на рынке, наравне с Power BI. Мы надеялись, что он выведет нас из тонны экселек.

До BI аналитика в МТС часто строилась так: несколько специалистов имели доступ к базам данных и строили отчеты для сотен и тысяч сотрудников, а остальные работали с тем, что им дали. Нужен новый срез? Пиши запрос дата-инженеру, а потом жди неделю или месяц. Выгрузки получаешь в Excel. Хочешь сравнить с прошлым периодом? Ищешь другую Excel, но не факт, что она последняя. Версии отчетов множились: «Q3_final», «Q3_final_updated», «Q3_really_final». Коллеги пересылали файлы по почте, и все тонуло в хаосе. Работать вместе в Excel было сложно: нельзя запаролить часть строк (RLS), невозможно проверить, последняя ли это версия или у кого-то на компьютере лежит еще одна. Доступ к базам данных был только у избранных, а построить что-то новое без знаний основ дата-инженерии или хотя бы базового SQL — невыполнимая миссия.

Tableau стал глотком свежего воздуха. Мы начали внедрять его для цифровых продуктов МТС: спутникового ТВ, МТС-медиа, телекома, даже розничных магазинов. Я был и администратором, и аналитиком, и консультантом, и поддержкой. Активно помогал бизнесу переводить процессы на BI. Мы подключали базы данных и строили витрины — например, агрегированные продажи по магазинам МТС за год без персональных данных. Они были доступны сотням сотрудников: заходи, смотри, анализируй. Специалисты создавали интерактивные дашборды с фильтрами, группировками и графиками. Бизнес мог проверять гипотезы в пару кликов: «А если так? А в этом сегменте что?».

Все быстро улучшалось. Time-to-market отчетов сократился с недель до часов. Базовый дашборд можно было собрать за утро, попивая кофе. Более сложные продуктовые дашборды дорабатывались отдельными командами.

Приведу пример. Мы с руководителем делали дашборд по продажам в магазинах: кто сколько симок, телефонов или подписок продал. Отправили директору — он в восторге: «Круто, давайте разошлем всем директорам магазинов!». Но тут загвоздка: каждый руководитель должен видеть только свои данные, а не все, какие вообще есть. Раньше для этого делали отдельные Excel для каждого магазина. В Tableau мы настроили row-level security (RLS): один дашборд, но каждый пользователь видит данные только по своему магазину. Директор из Москвы мониторит московские продажи, из Питера — питерские, а президент — все разом. И это настраивалось в пару кликов, без глубоких технических знаний. За это и прочие упрощения в работе пользователи и полюбили BI.

К 2021 году у нас было несколько тысяч пользователей, и дэшборды в BI стали стандартом аналитики в МТС. Вот только Tableau — проприетарное ПО, дорогое и негибкое. Лицензии оплачивались для многих пользователей, но реально работали с этим инструментом не все: не во всех подразделениях утилизация лицензий была одинаково высокой. Да и использовали его по-разному: кто-то заходил каждый день, кто-то раз в месяц, а платили мы одинаково. У нас даже было несколько стендов с разными типами лицензирования под разные профили пользователей (персональные лицензии и серверные лицензии), сумма все равно получалась внушительная. Я все чаще задавался вопросом: зачем мы столько тратим и при этом не развиваем свои внутренние компетенции? Ведь можно сделать что-то своё!

Рождение Superset: от инициативы до замены Tableau

В начале 2021 года мой коллега в ответ на мое предложение создать собственный инструмент посоветовал сначала ознакомиться с имеющимся открытым ПО. Я начал изучать альтернативы и особенно заинтересовался Apache Superset — open source BI-инструментом с большим сообществом.

Тогда же в рамках цифровой трансформации я перешел в Центр Big Data, где вместе с Геннадием Алексеечкиным — девопсом, разработчиком, продактом и просто классным парнем — запустили Superset как эксперимент. Это был наш «внутренний стартап»: на чистом энтузиазме. Развернули, настроили и через пару дней концепт уже работал.

Поначалу Superset использовали только энтузиасты из центра Big Data — менее сотни человек. Он проще Tableau, но объективно уступал ему в функциональности. Например, некоторые настройки были не такими интуитивными, а интерфейс требовал привыкания. Особо переходить никто не рвался, многие даже не знали о нашем проекте. Люди в соседних отделах могли не подозревать, что у нас есть альтернатива Tableau. Но в 2022 году началась волна импортозамещения: вендоры, включая Salesforce с Tableau, ушли. И тут наш Superset стал спасательным кругом.

Мы с Геннадием на старте работали практически вдвоем, дополняя друг друга, и гармонично разделяя работы над отказоустойчивой инфраструктурой, миграцией пользователей и развитием аналитики. Это позволило нам двигаться быстрее, а главное — в одном направлении.

Миграция с Tableau на Superset стала достаточно сложной для всех. Так как автоматически перенести дашборды было невозможно — многое строилось с нуля. Команды сопротивлялись: они уже привыкли к Tableau, новый инструмент казался «не таким». Кто-то прямо говорил: «Это отстой». Были и объективные ограничения: некоторые функции работали иначе или вовсе отсутствовали. Например, в opensource-версии не было элементарной настройки палитр цветов и их выбора для конкретных категорий. Еще пример: связь график-дэшборд в Tableau — один к одному, а в Superset — один ко многим. То есть, один и тот же график может быть переиспользован в многих дэшбордах. Это не плохо, это просто по-другому, но и это вызывало определенные вопросы. Иногда пользователи просили некоторую кнопку «сделать именно вот так», как в Tableau, но в Superset это решалось другими путями. Мы проводили встречи, показывали, как добиться того же результата. Собирали списки требований, приоритизировали, искали решения. Приходилось дорабатывать инструмент, чтобы закрыть пробелы.

Психологические барьеры были не меньшей проблемой, чем технические. Некоторые пользователи надеялись, что старые сервисы вернутся, и не хотели изучать новый инструмент. Кто-то говорил: «Я поработаю тут и уйду, зачем мне это?». Мы тратили время на демо, объясняя, что Superset не хуже — просто он другой. Например, один аналитик хотел сложную визуализацию, которая в Tableau делалась в два клика. В Superset это требовало обходного пути. Мы показывали, как настроить, и в конце концов он признавал: «Окей, это реально работает». Такие маленькие победы помогали нарабатывать доверие к инструменту.

К концу 2022 года нам стало проще. К команде присоединился DevOps-инженер, и мы развернули продуктовый стенд Superset, чтобы окончательно мигрировать команды. За полгода число пользователей выросло в десятки раз. Superset стал не просто экспериментом, а реальной альтернативой. Мы доказали, что можем снять вендор-зависимость, не потеряв в качестве аналитики.

Построение DataOps.BI: команда, инфраструктура, подход

В 2023 году наш старт-ап оформился в полноценный продукт DataOpsBI. Мы объединились с другими продуктами Big Data (ETL, DQ, Catalog, Managed services и т.д.) в платформу DataOps, сейчас у нее новое название — MWS Data. Тогда это был переход от «стартапа из двух человек» к полноценной команде разработки. Но сначала пришлось доказать, что Superset — стоящее решение.

Для этого мы провели большое исследование: провели пилотирование с привлечением пользователей и протестировали: Superset, Redash, Metabase и даже китайский проприетарный FineBI. Развернули тестовые стенды, собрали фокус-группы из лучших аналитиков МТС. Они пробовали повторить свои дашборды в новых инструментах и давали обратную связь. Мы смотрели два фактора: насколько инструмент удовлетворяет требованиям пользователей и насколько просто его поддерживать и развивать. Superset победил благодаря простоте администрирования, большому Open-Source-сообществу и потенциалу для доработок. Redash и Metabase были для нас сложнее в доработке и администрировании, к тому же они набрали меньше «хороших» оценок от пользователей. А FineBI не только не решал глобального вопроса vendor-lock’а, но и не справился с рядом критических сценариев наших продуктовых команд. Superset оказался золотой серединой.

Исследование и фокус-группы убедили руководство выделить бюджет на команду. Мы начали с одного бэкенда и двух фронтенд-разработчиков, потом добавили тестировщика и аналитика. К началу 2025 года команда выросла до 14 человек, включая дизайнера. Мы дорабатывали Superset под нужды компании: переделывали интерфейс, меняли ролевые модели, перерабатывали управление графиками, добавляли новые визуализации и коннекторы.

Миграция завершилась в 2023 году. Итоговое число пользователей собственного корпоративного BI выросло в пять раз по сравнению с максимальным количеством пользователей Tableau. Мы не только заменили проприетарный инструмент, но и привлекли новых сотрудников, включая тех, кто раньше работал в Power BI.

Результат — DataOps.BI (теперь он называется MWS Data Compass) стал целевым инструментом BI-аналитики в МТС.

Миграция пользователей из заведомо более зрелых систем и инструментов стала настоящим испытанием для нас и нашего продукта. Зато оно закалило нас как команду и сформировало технологически зрелый продукт — BI от МТС.

Интеграция в MWS и рост инструмента

Итак, из разрозненных продуктов мы выросли в единую платформу. Это часть глобального тренда платформизации: продукты интегрируются, дополняют друг друга, создавая синергию. Там, где BI не справлялся, помогали инструменты ETL для ETL-процессов или DQ для проверки качества данных. Организационно мы тоже менялись: из MTС Digital стали MWS, из DataOps — MWS Data, а наш BI получил название Compass.

Команда росла, процессы постепенно усложнялись. Мы выстроили discovery-процессы: собирали требования, приоритизировали, согласовывали с пользователями. Внутренняя разработка Open-Source-инструмента стала отдельной историей. В 2023 году я выступал на конференции SmartData, рассказывая про наши доработки Superset. Посмотреть видео можно тут.

Отклик был отличный: все искали решения для импортозамещения, и наша история вдохновляла. Мы создали новый дизайн, унифицированную ролевую модель, интегрировались с внутренней экосистемой МТС. Например, наш инструмент поддерживает сложные сценарии доступа, где он разграничивается не только по ролям, но и по рабочим пространствам и папкам. Есть и дополнительная фильтрация — например, по логину пользователя (RLS).

Изначально у нас была идея передавать собственные доработки Superset в Open Source, но мы отказались, сосредоточившись на коммерческом продукте. Мы переключились на организацию работы: проводили исследования, приоритизировали доработки, выстраивали кросс-функциональную команду. Сейчас у нас новый виток — коммерциализация. Это уже давно не Apache Superset, а полноценный отдельный BI с множеством доработок.

Коммерциализация — это не только про продажи, но и про узнаваемость. Бывает, что даже внутри МТС люди не знают, что пользуются собственным продуктом. Платформа получает награды, а коллеги удивляются: «Это что, наш BI?». Хочется это изменить.

Что умеет корпоративный BI

Расскажу емко и коротко о самом продукте. Итак, BI — это инструмент для анализа и визуализации данных. Как и говорилось выше, он основан на Apache Superset, но значительно переработан и дополнен собственными доработками. Продукт в составе платформы помогает работать с данными на всех этапах: от хранения и подготовки до наглядных графиков и дашбордов.

Сначала пользователь подключает нужные источники — базы данных или, например, те же Excel-файлы. Потом формирует выборки и объединяет таблицы в так называемые датасеты. На этом этапе можно добавить вычисляемые поля, посчитать нужные метрики и подготовить данные для визуализации.

Ключевые возможности и особенности платформы:

• Создание интерактивных отчетов (дашбордов) с возможностью настройки Alerts&Reports.

• Поддержка работы с большим объемом данных. Возможность подключения широкого круга источников данных.

• Большой набор визуализаций.

• Моделирование данных в рамках одного источника данных.

• Расширенная ролевая модель, AD-группы, папки, workspaces.

• Удобный импорт/экспорт объектов.

• Экспорт данных в Excel, CSV, JSON, PDF.

• Возможность получить встраиваемые дашборды с использованием RLS.

• Работа с SQL-запросами прямо в интерфейсе приложения, возможность создавать из результатов запроса отчеты или извлекать из визуализации SQL-выборку (датасеты).

• No-code-редактор графиков и дашбордов с возможностью точечной настройки (SQL, CSS).

• Оптимизированный UI/UX.

Когда данные готовы, их можно исследовать через встроенный конструктор графиков. Все работает по принципу «собери сам»: нужные элементы перетаскиваются мышкой, а визуализации настраиваются прямо в интерфейсе. Для тех, кто хочет больше гибкости, есть встроенный редактор SQL-запросов. Он позволяет детально проработать логику расчетов, объединить несколько источников или просто получить нужную выборку.

Готовые графики собираются в дашборды — наглядные страницы с фильтрами, картами, диаграммами и текстами. Их можно не только просматривать, но и настраивать автоматическую рассылку на почту, делиться с коллегами или встраивать в другие системы. Визуализации можно выгружать в Excel, PDF, CSV.

Платформа рассчитана на разных пользователей. Аналитики и дата-инженеры работают в роли Creator — подключают источники, создают датасеты, строят графики, собирают отчеты. У них есть доступ ко всем настройкам, включая SQL-редактор и кастомизацию визуализаций.

А вот Viewer — это те, кто просто смотрит дашборды: сотрудники, руководители, специалисты из других отделов. Они применяют фильтры, настраивают рассылки — одним словом, работают с готовой аналитикой и делают это без единой строчки кода.

Роли в системе:

• Creator — создает датасеты, графики и дашборды, настраивает источники данных;

• Viewer — просматривает готовую аналитику, работает с фильтрами и отчетами;

• администраторы, которые управляют доступом, рабочими пространствами и группами.

Чтобы никто не мешал друг другу, все разделено на рабочие пространства. У каждой команды — свое изолированное окружение с папками, графиками и дашбордами. Можно делегировать права, давать доступ только на чтение или редактирование. Права настраиваются гибко по каждому объекту, а также через понятные правила и роли.

В продукте реализованы продвинутые карты с поддержкой многослойности, тепловыми зонами, геотегами и возможностью работы с geojson-файлами. Это особенно полезно для анализа территориальных данных.

Вся работа с продуктом ведется через браузер. Интерфейс полностью русифицирован и не требует навыков программирования, хотя при желании можно работать и с SQL, и с CSS. Так что инструмент удобен как для продвинутых пользователей, так и для тех, кому просто нужно быстро получить понятные отчеты.

Что дальше

MWS Data Compass используется внутри компании и вышел на внешний рынок. Теперь наша цель — сделать его еще более узнаваемым. В 2025 году мы продолжаем дорабатывать продукт: улучшаем интерфейс, добавляем новые сценарии аналитики, наращиваем базу пользователей. Планы амбициозные: успешно коммерциализироваться и конкурировать с другими BI-решениями.

Это только первый текст из цикла. В следующий раз расскажу про технические доработки продукта и платформы: как мы улучшали ролевую модель, интегрировали с экосистемой МТС и решали пользовательские задачи. Еще хочется поделиться историей команды: как мы выросли из двух энтузиастов до полноценной команды инноваторов, где каждый — большой профессионал своего дела и может реализовать любые инициативы. Все наши ребята — те самые герои, благодаря которым есть о чем написать на Хабр!

Рассказывайте в комментариях, как внедряли BI у себя, какие инструменты используете и по каким граблям уже походили. Будет интересно сравнить!