Привет, Хабр! Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу.

Меня зовут Дмитрий Лившин, и я руковожу цифровой трансформацией в Positive Technologies или, другими словами, занимаю пост CDTO. Потребность в BI — в нашей компании достаточно велика, потому что нам нужно отслеживать сразу целый набор метрик для довольно широкого круга задач — от  отслеживания задач различных подразделений до мониторинга результативности внутренних команд разработки и контроля за оценками пользователей работы сервисных подразделений.

До прошлого года мы точечно использовали для различных задач Qlik и Power BI. Выбор делался исходя из того, кому что удобно, и кто к чему привык. Однако в 2022 году мы, как и многие другие компании, столкнулись с невозможностью покупки новых лицензий на иностранные решения и продлением существующих. Одновременно с этим возникла идея внедрить единую платформу BI, которой могли бы пользоваться разные департаменты. 

Какую платформу выбрать?

Чтобы сделать выбор, мы провели достаточно большое исследование рынка. Разумеется, рассматривали только опенсорсные решения или разработки российских вендоров. В результате до этапа более подробного знакомства дошли только 8 платформ: ​​Apache Superset, Fsight (Форсайт),  INFOMAXIMUM, Modus BI, Metabase, Polimatica, Visiology и Qlever.

Учитывая, что BI планировалось сделать частью корпоративной культуры, мы стремились выбрать систему с широкими возможностями, хорошим запасом масштабируемости и потенциалом для развития. При этом важно было не только убедиться в широких возможностях и гибкости самой системы, но также проверить наличие достаточного количества сильных интеграторов, а также квалифицированных кадров на рынке труда, чтобы обеспечить дальнейшее развитие платформы и поддержку.

По итогу на исследования рынка, ознакомление с системами, пилоты, пентесты и выбор финалиста у нас ушло около двух месяцев. Нашими финалистами стали Visiology и ​​Apache Superset, на базе которых мы построили по дашборду, просчитали экономику поддержки, необходимую инфраструктуру и подобрали  ETL- (извлечение, обработку и транспортировку данных) инструменты для дальнейшей работы с данными.

Нам были необходимы обширный функционал системы, подробные материалы для обучения, интеграции с Loginom и ClickHouse, а также наличие сильного интегратора. В результате по сумме факторов Visiology оказалась намного удобнее опенсорсного SuperSet. 

Архитектура нашего BI

Стоит сразу оговориться, что источников данных у нас много — от CRM систем и 1C: УРПУХ до трекеров, корпоративных порталов. К ним добавляется большое количество вручную сформированных отчетов. 

Задачи ETLмы привыкли решать на базе Loginom. В качестве КХД (корпоративного хранилища данных) мы выбрали ClickHouse. В моей команде уже был опыт работы с этой СУБД. И на сегодняшний день все данные из наших систем в сумме будут для нее незначительной нагрузкой. То есть аппетиты в направлении BI у нас были серьезные, как вы видите.

Внедрение шло нашими силами, так как мы уже погружались в нюансы системы еще на пилоте, нам было не трудно раскатать всю инфраструктуру и саму систему, а также настроить доступы для первых пользователей. Тут, наверное, надо сказать, что уже выверенная интеграция Visiology и Loginom сыграла нам на руку. Дело в том, что Loginom выполняет у нас роль ETL-инструмента, и именно он обладает большими возможностями по извлечению и очистке данных. Таким образом, мы оставили задачи, связанные с проверкой и подготовкой данных в уже знакомой и понятной нам среде. Уже после обработки в Loginom данные попадают в пользовательские дашборды на базе Visiology.

Экспертиза BI внутри компании

Поскольку BI для нас задача серьезная, мы начали готовить собственные кадры для задач аналитики. Коллеги из Visiology порадовали удачным форматом обучения. Мы прошли пару  семинаров по несколько часов — в первой волне для широкого круга пользователей, а во второй — для тех, кто хочет создавать собственные дашборды. Адаптация к новой платформе продлилась меньше двух недель, при этом представители вендора приезжали к нам в офис и проводили обучения прямо в нашем конференц-зале, с открытой трансляцией для всех желающих.

Порадовало, что обучение — довольно простое, а порог вхождения в использование  системы для рядового пользователя не слишком высок. Это связано с понятным интерфейсом дизайнера дашбордов и обилием обучающих материалов на YouTube-канале Visiology  и в базах знаний.

Сейчас основная команда BI в Positive Technologies насчитывает 5 человек. Мы планируем расширять практику, и в этом году в штате появятся новые ETL и BI-разработчики. Пользователей сейчас более 20 человек, и их количество растет. Это связано с тем, что мы недавно запустили первые отчеты, а значит — только-только переходим из контура dev контура в prod. 

И здесь нам очень на руку появление все более зрелых версий Visiology 3, для которых порог входа окажется еще ниже — по крайней мере за счет поддержки языка DAX из Power BI и наличия понятной визуальной модели данных.

Что же дальше?

Что было самое приятное для меня, как для CDTO, выбранная BI-платформа полностью оправдывает наши ожидания. А учитывая, что от вендора и интегратора идет оперативная поддержка, мы продолжаем осваивать новое решение. Пока что выстроенная нами архитектура позволяет решать все аналитические задачи при помощи штатного функционала, а основным вызовом  остается формирование правильной архитектуры КХД с налаженными процессами по анализу качества данных и создания механизмов по их очистке. Это большая работа, которую предстоит выполнять на разных уровнях по мере подключения к BI различных функций нашей компании.

В сумме за 2023 год год нам предстоит создать 25 дашбордов для различных внутренних пользователей. Это довольно большой объем работы, но мы с оптимизмом смотрим на поставленную задачу. Уже сейчас понятно, что  мы сможем переиспользовать многие вещи, созданные в рамках других дашбордов. К тому же  вендор уже показал, что быстро возвращается с ответами на вопросы, а интегратор готов прийти к нам на помощь в работе с данными или визуализациями, когда нам не хватает своих ресурсов.

Сейчас мы взяли бодрый старт, и я уверен, что BI  будет развиваться в нашей компании очень активно, потому что мы –  одна из немногих компаний на рынке, где менеджеры и линейные сотрудники только поддерживают  цифровизацию. Более того, каждый готов выступать ее драйвером и амбассадором, как в рамках своей функции, так и в рамках всей компании. Благодаря этому уже сейчас, когда мы только предложили единую BI-платформу, в разных отделах коллеги уже начали получать свои результаты: 

• Команды разработки используют BI для того, чтобы отследить прогресс работы  в команде. Опираясь на визуализацию промежуточных результатов, лиды и менеджеры могут эффективно перераспределять ресурсы между развитием и поддержкой;

• По запросам бизнеса мы декомпозируем воронку по отраслям и продуктам, что дает нам возможность заранее скорректировать стратегию продаж. BI-платформа позволяет в реальном времени отслеживать динамику выручки, а также ее соответствие запланированным показателям. Благодаря этому руководители могут принимать те или иные меры, чтобы к концу года прийти к нужным результатам.

• HR-подразделение очень ценит такой инструмент BI, как воронка по набору персонала, а также пользуется динамической визуализацией опросов среди сотрудников.

• Отдел поддержки использует BI, чтобы просматривать количество задач по типам и клиентам, отслеживать выполнение  SLA, планировать усиление команд еще при первых признаках появления дисбалансов и перегрузок.

Но планов применения BI у нас намного больше. Об этом я расскажу в следующих постах.