Привет, Хабр! Сегодня хочу рассказать о том, как мы с партнером-интегратором разработали и внедрили аналитическую систему Modus с искусственным интеллектом. Поехали!
АО «ОЭЗ Технополис «Москва» - это особая экономическая зона, которая объединяет 6 производственных площадок общей площадью около 1 млн м2. Здесь работают порядка 90 компаний-резидентов и больше 15 000 человек.
Из-за увеличения арендных площадей, роста количества систем и источников данных, компания накопила такой объем информации, что вручную или офисными системами его уже нельзя было обрабатывать. Конечно, эта ситуация увеличивала риски принятия некорректных управленческих решений.
Нам нужно было систематизировать, очистить и сформировать свод данных по разным направлениям: аренда, услуги, управление активами, ведение и контроль экономической деятельности и т.п.
Проект выполнял наш партнер-интегратор компания «Смарт Тим Сервис».
За время проекта в компании «Технополис» внедрили Modus ETL и различные средства обработки данных, на базе самой платформы и с использованием сторонних скриптов на Python.
Автоматизировали и систематизировали сбор и анализ более 250 ГБ данных в управляемый формат и выстроили аналитическую систему, которая охватила 8 сфер бизнеса и состояла из 35 дашбордов.
Искусственный интеллект в аналитике
До старта проекта сотрудники компании «Технополис «Москва» собирали информацию о задачах и поручениях по 10 исполнителям вручную из системы МосЭДО, и на это уходило больше 2-3 часов каждый день. При этом информация была ограничена не только по исполнителям, но и за период.
Перед аналитиками компании «Смарт Тим Сервис» и пользователями встала интересная задача: нужно было сократить время на сбор данных, расширить число получателей и представить данные для каждого пользователя в понятной и удобной форме.
Разработали роботизированный алгоритм, который собирает, выгружает и обновляет поручения по всем исполнителям, а это порядка 200 человек. Искусственный интеллект анализирует полученный массив и классифицирует информацию, добавляет более детальные срезы для глубокого анализа.
Сформированные уточненные таблицы с детализацией по каждому поручению служат источником для двух направлений аналитики:
По расписанию формируется рассылка каждому исполнителю с ключевыми показателями и сравнительным анализом за прошлую неделю. Если пользователь хорошо поработал и выполнил все положенные поручения, то он получает письмо с благодарностью, а если результаты были ниже, то с просьбой «поднажать». В каждое письмо вложен реестр всех поручений с прямой ссылкой на источник.
На основании этой же информации формируется аналитический дашборд по исполнительской дисциплине, где каждый руководитель видит информацию по своему подразделению и сотрудникам. Второй дашборд выдает еще более укрупненную статистику генеральному директору по его заместителям и их исполнительской дисциплине, а также по их подразделениям.
Созданное решение сократило время на обработку рутинных задач и расширило круг получателей, дополнило данные другими источниками. В результате компания «Технополис» получила мощный инструмент аналитики для отслеживания и выполнения крайне важных поручений.
Мониторинг посещаемости для маркетинга c SimilarWeb
BI-систему интегрировали с web-аналитикой SimilarWeb.
С ее помощью маркетологи собирают и отслеживают информацию о посещаемости информационных ресурсов как «Технополиса», так других особых экономических зон России. Теперь сотрудники компании могут строить аналитические срезы и видеть эффективность своих событий и мероприятий, сравнивать свою статистику и показатели соседей по бизнесу.
Разработчики использовали стандартную версию сервиса SimilarWeb без расширений и API, собрали информацию по определенным источникам и свели в единый дашборд. В результате работа с аналитикой занимает не больше 3 минут.
До внедрения на ручную обработку этих же данных требовался отдельный сотрудник, который выгружал информацию по каждому ресурсу и сводил ее в один дашборд.
Кастомные дашборды
Солодовникова Екатерина, руководитель практики BI, Смарт Тим Сервис:
«Не все BI-системы поддерживают гибкую настройку. Часто, чтобы что-то доработать под требования заказчика, нужно знать внутренние языки и иметь в штате дорогих специалистов. А в Modus BI очень богатая палитра настроек и очень многое в дизайне можно сделать просто кликом мышки в версии «из коробки». Но и для более требовательных пользователей есть возможность превратить дашборд в искусство, используя всего лишь встроенный редактор CSS.
Например, чтобы «оживить» дашборды с помощью CSS можно добавить иллюстрации в KPI, сделать закругленные углы у визуализаций, поменять цвет фона всего дашборда или цвет заголовков. Для этого не надо изучать сложные скрипты и языки, достаточно знать CSS на базовом уровне. Часть элементов дашбордов в «Технополис» аналитики кастомизировали сами, без привлечения разработчика».
Двухуровневая архитектура баз данных
Еще одна задача была в ускорении обработки данных и работы аналитического портала в целом. Некоторые отчеты в компании «Технополис «Москва» работали под сильной нагрузкой пользователей, плюс сами визуализации были дополнительно нагружены большим количеством сложных вычислений. В моменты пиковой нагрузки снижалась производительность, и дашборды «подвисали» после каждого действия.
Было принято выстроить двухуровневую структуру аналитики Modus BI, особенность которой – это практически бесшовное встраивание в любую архитектуру. Источник для аналитического портала перенесли с PostgreSQL на более производительную ClickHouse в части высоконагруженных отчетов. В результате сократили скорость обработки данных до 5 секунд.
А что еще?
Разработали вспомогательные дашборды для оценки посещаемости пользователей и популярности тех или иных отчетов. Они служат одновременно и инструментом оценки, как пользователи воспринимают новый инструмент анализа данных, и источником информации для улучшения аналитического портала, чтобы все больше сотрудников компании «Технополис» пользовались системой.
«Смарт Тим Сервис» развивает дата-каталог с использованием Modus BI в части визуализации потоков данных от источников до каждого поля в дашборде. Это дает четкое понимание, что стоит за каждой цифрой, и где в источниках эта цифра содержится.
Новая модель данных охватывает все сферы бизнеса компании «Технополис». Поэтому собранные данные стали эталонными справочниками, которые используют все внутренние системы и подразделения компании
Солодовникова Екатерина, руководитель практики BI, «Смарт Тим Сервис»:
«Мы гордимся, что эти 12 месяцев работаем бок о бок с профессионалами из компании «Технополис», разрабатывая и улучшая аналитическую систему на базе Modus BI.
Созданные дашборды и отчеты отвечают передовым возможностям в области сбора, анализа и визуализации данных. Наша главная цель - упрощение сбора сложных данных и предоставление корректных, достоверных и своевременных выводов, что помогает «Технополис «Москва» принимать решения на основе достоверных фактов и цифр.
Разработанная аналитическая система открывает широкий спектр возможностей:
1. Интеграция данных
Выбранный подход позволяет собирать данные из различных источников и легко объединять их в единый аналитический инструмент. Это создает полную картину текущего состояния компании и дает ценные «инсайты» для бизнес-аналитики.
2. Интерактивная визуализация
Modus BI визуализирует данные и создает интерактивные дашборды для удобного мониторинга и управления бизнесом. Интуитивно понятные графики и диаграммы помогают быстро и эффективно представлять результаты анализа и делиться ими с командой, а адаптивный интерфейс - просматривать нужную информацию с любого устройства, например, со смартфона».