В статье очень кратко расскажу, что такое регулирование данных и почему в организациях сейчас к этой теме очередная волна интереса.

Мой опыт работы больше связан с темой анализа и оптимизации бизнес‑процессов, поэтому процессное регулирование (process governance) мне было знакомо не понаслышке: реестр процессов, владельцы процессов, непрерывный цикл улучшения процессов, требования к целевому состоянию процессов (описан, измеряется, оптимизирован, оцифрован). Еще помню еженедельные заседания комитета по бизнес‑процессам, секретарем которого я являлся несколько лет, а возглавлял этот комитет — ключевой руководитель в организации.

Поэтому, когда в мне потребовалось разобраться с системой управления данными, мне было не сложно, просто меняется объект управления и добавляется специфика объекта, то есть данных.

Для тех, кто не знает, что такое регулирование (governance) и чем оно отличается от обычного управления, регулирование — это практики для больших организаций, которые фокусируются на создании организационной среды, в которой «классическое» управление сможет эффективно функционировать, а также в поддержании этой среды на необходимом уровне.

Регулирование — это обеспечение условий «надлежащего» ведения бизнеса, и тут речь идет не об прямом планировании и контроле, а о руководстве, создании правил и политик для эффективного использования ресурсов для достижения стратегических целей. т. е. фактически в рамках регулирования создаются определенные правила, политики и требования, которые должны выполняться управленцами на уровне всей организации.

Теперь вернемся к необходимости организации регулирования и управления данными. Откуда дует ветер? Несмотря на массовую автоматизацию процессов, часто, в реальной практике, недостаточно внимания уделяется качеству данных обрабатываемых в процессах и потом поступающих в информационную систему. В качестве примера вспоминается одна из крупнейших энергетических компании, где в качестве отрасли в которой располагалась основная масса клиентов было значение справочника «не заполнено», что обнуляло инвестиции в автоматизацию, в части анализа данных в разрезе отраслей. Проблема была в том, что на уровне центров обслуживания клиентов менеджеры просто не заполняли поле отрасль при регистрации клиента.

Сейчас в моде концепции data driven decision making и даже AI‑native организация, однако, и в том и в другом случае качество данных становится еще более важным. В случае data driven, решения на некачественных данных будут соответствующие, ну а в случае с AI‑native все ML, LLM и Gen AI инструменты требуют обучения, и данные для их обучения тоже должны иметь определенный уровень качества.

Для понимания, в традиционном подходе значимые решения для бизнеса принимаются на основе опыта и усредненных значений рыночных показателей, а подход data‑driven decision making подразумевает, что значимые решения для бизнеса принимаются на основе показателей, которые транслируют, насколько эффективен выбранный инструмент для решения задачи.

Ну и пару слов про AI‑native‑организацию — это компания, которая не просто использует искусственный интеллект (AI) как инструмент, а строит на его основе всю свою бизнес‑модель, процессы и продукты. В таких организациях AI определяет стратегию, влияет на принятие большинства стратегических и операционных решений, в них AI ключевой исполнитель в процессах, что повышает эффективность и снижает затраты. При этом анализ данных с помощью AI в реальном времени позволяет быстро менять стратегию в зависимости от внешних условий.

Ну теперь, когда мы понимаем, что наведение порядка в данных необходимо для стратегического развития организации давайте разберемся как строить регулирование данных (Data Governance). Если мы что‑то хотим регулировать, значит нам нужно определить объект регулирования, определить ответственного за объект и сформировать требования к данному объекту.

В случае с данными это реестр данных/сущностей, ответственный руководитель за элемент реестра и требования к качеству данных сформированные на основании лучшего опыта или со стороны потребителей данных. Часто в виде реестра данных/сущностей выступает корпоративная модель данных, которая и становится той точкой правды о данных и ответственных за них. Не погружаясь в детали, для регулирования данных главное это определить ключевые данные, распределить их по ответвленным и сформировать целевое состояние и путь к нему.

Хочется отметить, что ведение реестра и постановка требований к качеству данных не обеспечит полного понимания картины, объекты реестра данных необходимо связать с другими объектами управления в компании, и кстати тут нам понадобятся инструменты управления корпоративной архитектурой. Как минимум, нужно понимать какие данные в каких бизнес‑процессах создаются и используются, а также в каких информационных системах данные обрабатывается, из этого следует, что нужно не только определить реестр с данными, но и простроить связи между данными и бизнес‑процессами, и данным и информационными системами.

Одним из ключевых инструментов Data Governance является комитет по регулированию данных, основная цель этого комитета, это определение основных параметров системы управления данных, а также принципов и требований к целевому состоянию объекта управления (целевого ландшафта), т. е. в нашем случае к целевому ландшафту данных в организации, определение дорожной карты движения к целевому ландшафту и формализация политик и правил для управления данными в организации.

В качестве примера приведу одно из требований: все данные должны передаваться в машиночитаемом формате. На основании утвержденных на комитете политик, правил и требований ответственные за данные, которых еще кстати нужно назначить, начинают двигаться в соответствии с дорожной картой.

На уровне управления данными создается витрина данных, которая как розничный магазин соединяет поставщиков и потребителей данных, что позволяет в разы быстрее получать доступ к данным в организации за счет прозрачности, какие данные у кого есть, а также выстроенному процессу получения доступа к данным уже размещенным на витрине. При этом, для большинства владельцев данных становится обязательным передача этих данных на витрину.

В качества одного из инструментов для повышения качества данных используется классический процесс регистрации инцидентов, только инциденты регистрируются не про отказы информационных систем, и про недостаточные качество данных. Далее эти инциденты разбираются, после чего ставятся запросы на улучшение качества данных на тех ответственных, которые за эти данные отвечают.

В целом без Data Governance сложно навести порядок в данных и обеспечить их качество, потому что в рамках регулирования происходит определение объекта управления и закрепления ответственности за этот объект, и именно поэтому сейчас столь много подобных инициатив в различных организациях, с другой стороны качественные данные создаются в бизнес‑процессах, и в конце концов все требования по улучшению качества данных прилетают к владельцам процессов, которые и работают над их повышением, поэтому системам управления процессами и управления данными нужно работать в связке.

Для тех, кто хочет дальше двигаться в теме управления данными рекомендую книгу «DAMA‑DMBOK. Свод знаний по управлению данными». Эта книга написана экспертами Международной ассоциации управления данными (DAMA) и представляет собой наиболее полное и актуальное введение в дисциплину управления данными с обзором лучших практик. Мне она помогла быстро погрузиться в дисциплину управления данными.

После того как мы разобрались, насколько важно наводить порядок в данных и обеспечивать их качество, логично обратить внимание на базовые навыки работы с информацией — курс «Алгоритмы и структуры данных». Он помогает правильно организовывать обработку информации, строить эффективные витрины данных и поддерживать прозрачность процессов. Чтобы узнать, подойдет ли вам программа курса, пройдите вступительный тест.

А если хочется системного роста, удобнее взять подписку OTUS: доступ к 200+ авторским курсам во всех ключевых направлениях. Собираете индивидуальный трек, меняете курсы ежемесячно под свои цели, получаете поддержку экспертов и новые программы — и всё это с ощутимой экономией по сравнению с разовыми покупками.