Привет, Хабр! Меня зовут Сергей Корнеев, и я хочу рассказать о том, как мы организовали сбор данных в компании “Россети”. На момент запуска проекта я работал в “Россети.Цифра” и руководил проектом внедрения BI-платформы. Нам с командой удалось решить проблему ручного сбора данных на базе Visiology Smart Forms, и именно об этом я расскажу сегодня. 

Как известно, BI — это удобный способ работы с данными. Основываясь на обширных, достоверных и своевременно полученных данных, можно составить четкую картину о состоянии дел, принять правильные решения и так далее. Но что, если данные не так уж достоверны, и не столь своевременно собираются? Эту задачу приходится решать сегодня многим российским компаниям.

На сегодняшний день я работаю уже в компании “Полианалитика”...но мы продолжаем решать те же самые задачи для других клиентов. И поэтому мне особенно хочется поделиться опытом успешного внедрения Smart Forms в крупной компании.

Данные. Много данных

“Россети” — холдинговая структура. В состав организации входит множество дочерних компаний, которые охватывают распределительные сети. Итого получается четыре уровня иерархии и более чем 15 “прямых дочек”на втором уровне (далее - ДЗО), и тысячи на четвертом. Логично, что для принятия решений о развитии электросетей было принято решение о полномасштабном внедрении BI-системы, и что также логично — в качестве основы была выбрана платформа Visiology, которая на тот момент уже использовалась в ряде крупных российских компаний. Свой вендор, возможность быстро получить поддержку и доработки…и как показали последние события, повышенная надежность с точки зрения доступности решений и сопутствующего сервиса.

Для того, чтобы внедрить Visiology у “Россети.Цифра” — основного интегратора ПАО “Россети”, было достаточно компетенции и собственных ресурсов. Поэтому команда самостоятельно развернула и поддерживает (по сей день) работу Visiology, предоставляя сервисы своим функциональным заказчикам внутри компании.

Как только у заказчиков внутри компании возникает потребность, команда начинает новую разработку. И одним из направлений, по которым пришлось серьезно закопаться, стал сбор данных.

Как видно на схеме выше, существует множество подсистем, которые либо были уже интегрированы с BI-платформой, либо для которых интеграция была запланирована. Однако самым слабым звеном оставался сбор данных из ДЗО. С одной стороны, эта информация нужна для аналитики по реальным показателям энергопотребления и выручки ДЗО, и без нее аналитика и визуализация была неполной. Но с другой стороны, традиционно сбор происходил в ручном режиме. 

От ручного ввода к Smart Forms 

До появления форм ввода на базе smart forms, информация о выручке ДЗО и других обществ просто передавалась в виде Excel-файлов по электронной почте, в мессенджерах — по различным каналам. Все это было связано с огромными трудозатратами по консолидации отчетности, а проблема человеческого фактора и ошибок снижали точность предоставляемых витрин и визуализаций, а также отсутствие или слабоструктурированная версионность данных.

При работе в ручном режиме для проверки данных нужно не только консолидировать показатели, но и локально в каждом отчете вести НСИ и контролировать соблюдение структуры файлов. После этих трудоемких процедур эксперты функционального направления могли приступить к проверке объемов показателей и верифицировать их, сопоставляя с эталонными показателями из информационных систем дочерних обществ. 

Внедряя Smart Forms, мы решили сразу несколько задач. Был разработан процесс согласования данных, создана унифицированная форма, которая используется для бизнес-плана и стресс-сценариев в аналитике.

Также пропала необходимость консолидировать отчетность вручную. Конструктор дашбордов Visiology помог нам подружить данные из Smart Forms и исторических данные, сделав возможным визуализацию, факторный анализ и демонстрацию показателей на дашбордах практически для любой исторической выборки.

Удобство

Сотрудники оценили возможность заполнять формы в едином формате — для всех компаний группы. Это был большой шаг вперед по сравнению с рассылкой электронных таблиц и их сбором (порой, принудительным). 

На базе XWiki была создана централизованная база знаний, разработаны инструкции по заполнению и сформирован справочник НСИ. В результате сотрудники получили возможность разобраться с тонкостями заполнения форм, а также обсуждать правила, предлагать свои оптимизации, чтобы удобнее было работать. И таких предложений поступало немало. 

Для аналитиков

Чтобы изучить собранные данные, внутри дашборда можно скачать форматированный регламентный отчет. Это достаточно простой на вид документ, который позволяет оценить результаты по всем ДЗО сразу. А после небольшого обучения эксперты компании получили возможность составлять монстр-отчеты с многоуровневыми шапками.

пример монстр-отчета:

Порадовало то, что при помощи разметки и шаблонов в SmartForms можно автоматизировать загрузку практически любой информацию в форму ввода. И при этом обучение человека, который будет заполнять форму — минимально. 

Кроме этого, в ряде кейсов мы использовали реестровый ввод. Он требуется, когда есть разногласия с абонентом — неверно начислена оплата за электроэнергию, по крайней мере, по его мнению. Также реестровый ввод позволяет отслеживать некоторые процессы в динамике. Например, если у контрагента есть договор на установку 500 приборов учета, можно отследить, “сколько установили сегодня?”, можно визуализировать процесс в динамике, даже если нет какой-то централизованной системы учета этапов реализации проекта.

Согласование введенных данных также идет максимально просто. Отправка “на подпись” происходит автоматически. Статусы документов и форм можно выбрать или назначить свои. Также можно оставлять комментарии. Все это делает согласование более быстрым, эффективным и удобным.

Не до конца согласованные данные можно использовать или не использовать в визуализациях. В Россетях, например, их не используют, так как считают  непроверенными и не выносят на дашборды, пока показатели не будут полностью утверждены.

Дополнительные факторы

В процессе перехода от ручной обработки таблиц к Smart Forms мы также получили инструменты для мониторинга тиражируемой отчетности. А это важно, если у вас 150 филиалов. Цветовая дифференциация в BI-дашборде позволяет увидеть, кто из коллег заполнил форму, а кто — еще нет. Своевременная реакция на необходимость ввода данных снижает необходимость дополнительного взаимодействия или запросов данных старыми методами (мессенджеры, почта и т.д.)

Также Smart Forms помогают в ведение реестра договоров на оснащение приборами учета потребителей. Формы ввода позволяют детализировать информацию о конкретных проектах. Для этого достаточно просто добавить нужные поля и предусмотреть для них правильный формат.

Для того чтобы новый метод ввода был эффективным потребовалось провести некоторые подготовительные работы. 

• Во-первых, мы настроили API для автоматического переноса информации в корпоративное хранилище данных. и обеспечили возможность работы с архивом подробных и четко описанных записей любым подразделением Россетей.

• Во-вторых, потребовалось качественно проработать справочники (НСИ), чтобы они были едиными для всех подразделений и на всех уровнях. Централизованный справочник позволяет выдерживать правильные наименования для каждого общества, четко следить за единообразием ввода. Это довольно кропотливая работа, но зато потом дашборды сводятся автоматически без ручной проверки и верификаций.

Доступ

Учитывая, что проект касался большой и распределенной компании, приятной возможность оказались настройки доступа (который иначе пришлось бы разграничивать самостоятельно и тратить дополнительное время). Ввод данных через Smart Forms позволил разделить сложную форму на части и предоставить доступ к каждой из них между коллегами.

Также есть функционал точечной настройки разделения прав по просмотру измерений или данных. В итоге одному человеку дашборд может показать одни данные, а другим - другие. Это логично: подразделения не интересует аналитика по “соседям”, а глава всей группы видит общую картину, для всех филиалов.

Визуализация

Стоит сказать и про визуализацию. Когда мы выполняли техническую часть проекта, формулы расчета параметров аналитики заполняли сами. Для этого не нужно знать язык программирования, можно создать из дизайнера (а в Visiology 3.0, судя по всему, все будет еще проще).

Отдельные задачи по построению дашбордов и подтягиванию данных для них мы решали как MVP с функциональными заказчиками. Каждое очередное подразделение или конкретный специалист предлагает нужный ему вид, сам рисует на бумаге, как он хочет это видеть. А мы уже предлагаем в ответ варианты визуализации. И все это опирается на данные, собираемые из Smart Forms.

Кстати, не только из Smart Forms! Мы использовали дополнительный JDBC драйвер, чтобы загружать нужную информацию в Visiology из ClickHouse, чтобы визуализировать и отслеживать более сложные метрики других данных. Это была полезная практика, поэтому переход в Visiology 3.0 на ClickHouse как основное хранилище данных лично мне кажется более чем логичным.

Вообще в целом впечатление от внедрения Smart Forms у меня осталось положительное, потому что мы смогли достаточно быстро и качественно выстроить казавшийся до этого совершенно хаотическим процесс. Этот опыт может оказаться полезным в любой организации, которой нужно собирать и анализировать большое количество данных, но получать их не из других систем, а от сотрудников лично. И чем больше точек и параметров такого ввода, тем ощутимее получается автоматизация на базе Smart Forms.