Введение

(клик по картинке ведёт внутрь публикации)

Развиваясь, организации внедряют всё больше и больше информационных систем совершенно различных направлений: бухгалтерский учет, управление персоналом, управление складом etc. Системы живут и развиваются независимо друг от друга до того самого момента, как компании не потребуется взглянуть на свои данные целиком. Объемы данных уже достигают критической точки и выясняется, что сопоставить и сравнить данные вручную становится просто невозможно. Решения основанные на противоречивых и невыверенных данных ведут к управленческим ошибкам, а дубли и неактуальность данных к неверным бизнес решениям.

Конечно же проблема описанная выше не нова и сегодня мы обсудим классический способ решения — систему управления мастер-данными.

Оглавление

1. Введение
2. Что такое MDM
3. Типы корпоративных данных: что такое справочные и транзакционные данные
4. Зачем оно нужно?
   
   • Зоопарк ИТ-систем и консолидированная отчетность
   • Интеграция систем
   • Единая база контрагентов
   • Очистка и нормализация данных
   • Случаи из жизни
5. Методы решения
   
   • Административное решение
   • Внедрение MDM-системы
6. Типы MDM-систем
   
   • Централизованная система
   • Аналитическая система
   • Гармонизированная система
   • Примеры реализации MDM-систем
7. Индикаторы необходимости внедрения СУ НСИ
8. Выводы

Что такое MDM

Master Data Management (сокращенно: MDM, МДМ, НСИ; варианты перевода: управление мастер-данными, нормативно-справочная информация) система — комплекс процессов, систем управления, стандартов и программ позволяющих единообразно работать с данными. Проще говоря, МДМ-система предоставляет целостный взгляд на все составляющие бизнеса, в том числе на источники данных, авторство, качество, полноту и на потенциальное использование данных. (Подробнее: Задачи управления мастер-данными)

(кликабельно)

Типы корпоративных данных: что такое справочные и транзакционные данные

Чтобы разобраться, чем являются и не являются мастер-данные разберем основные типы корпоративных данных.

(взято отсюда)

Неструктурированные данные — текст, почта, и другие данные, у которых нет формально определенной и описанной структуры.

Полуструктурированные — данные не имеющие определенной схемы (или имеющие переменную структуру), но тем не менее имеющие формальное описание в виде тегов и\или определенных маркеров. XML — пример, полуструктурированных данных.

Структурированные (транзакционные) данные — данные имеющие формально определенную схему.

Метаданные — это данные описывающие другие данные, например, схема базы данных клиентов, конфигурационный файл или шаблон отчета.

Мастер-данные — это данные, содержащие ключевую информацию о бизнесе, в том числе о клиентах, о продуктах, о работниках, о технологиях и материалах. Каждая из этих групп может разделяться на несколько предметных областей: в категорию люди входят клиент, продавец, поставщик. Так же может иметь набор правил валидации, которым должны удовлетворять данные.

Иногда в отдельную категорию выделяют иерархические данные — это данные, в которых хранятся отношения и взаимодействия между данными. Подробнее.

Пример, общей структуры мастер-данных и валидационных правил (кликабельно)

Зачем оно нужно?

Исторически многие системы хранения, анализа и визуализации данных развивались параллельно и не совместимы между собой. По мере роста компании интеграция данных становится всё более важной и во многих случаях критической задачей, согласно Microsoft уже компании среднего размера ощущают на себе последствия работы с разнородными данными.
Таким образом одной из задач МДМ-систем является синхронизация данных, что упрощает решение сопутствующих задач, как подготовка финансовой отчетности.

МДМ-система — это один из краеугольных камней в архитектуре бизнеса вместе с ERP и BI системами, позволяющий системам аналитики и ведения бизнеса иметь единое преставление о данных, независимо от источника и формы.

Рассмотрим несколько классических случаев, где необходимо использовать и внедрять систему управления мастер-данными.

Зоопарк ИТ-систем и консолидированная отчетность

Пусть в компании больше трех систем хранения-анализа данных. Заполняются они и развиваются независимо друг от друга. В какой-то момент появляется необходимость собрать консолидированную отчетность и необходимо синхронизировать нормативно-справочную информацию. Например, существуют компания Ромашка с оборотом в 1М и имеются две записи «Общ.огр. Ромашка» и «ООО Ромашка» в разных системах с оборотом 400к и 600к, без инструментов синхронизации, система создания отчетности не сумеет объединить записи.

Интеграция систем

Пусть имеется несколько 1С систем в отделениях компании и счета, выставленные ООО «Ромашка» необходимо выгрузить и проанализировать в CRM. Если в CRM заведены несколько дублей, например Ромашка и Общ. Огр. Ромашка, то встает вопрос к какой Ромашке в CRM эти счета привязать и есть ли среди этих Ромашек нужная?

Единая база контрагентов

Прежде всего создание единой базы необходимо, для качественной и достоверной информацию о контрагентах. Если клиент, уже подписавший контракт, получает дополнительные N звонков о необходимости выслать уже отправленные документы (т.к. «Общ.огр. Ромашка» и «ООО Ромашка» — синтаксически разные компании), то это негативно отражается на отношениях компании.

Очистка и нормализации данных

Описанные выше случаи — это задачи по очистке и нормализации данных (data cleaning and data quality).

Очистка и нормализация данных — это безусловно инструменты, цель — это повышение лояльности клиента (e.g. избегаем повторных звонков), создание отчетности (уверенность в корректности аналитики) и увеличение скорости выполнения задач (быстрее проходим цикл продаж).

Как правило, клиент приходит к необходимости внедрения системы управления НСИ. Например необходимость оперативного контроля над деятельностью предприятия может потребовать сбора консолидированной отчетности, что в свою очередь приведет к необходимости синхронизации НСИ в ИТ-система, что в свою очередь потребует внедрения системы управления НСИ.

Случаи из жизни

Четырнадцать 1С-ок

У одной компании N было четырнадцать 1С систем в филиалах и вот однажды им пришлось срочно предоставить отчетность о своей деятельности в какую-то там палату. Отсутствие единой отчетности грозило существенными проблемами и вот M сотрудников несколько недель вместе сводили и выверяли данные. А могли бы просто физически не успеть.

Фуры

Клиент из Астрахани отправил фуры заказчику в другой регион, а обеспечение в пути оказывала компания Х, у которой не было МДМ-системы и единой базы контрагентов. Во время путешествия фуры проходили обслуживание в двух регионах — и по окончанию поездки компания Х выставила счет клиенту по этим регионам по стандартному прейскуранту без положенной скидки за объем, так как клиент был записан в этих двух регионах под чуть-чуть по-разному и система не сопоставила имена. Итог — дополнительные разбирательства и ухудшение деловых отношений.

Повторные звонки

Однажды клиенту позвонили шесть (!) раз после того, как контракт был подписан. Из-за подобной некомпетентности лояльность клиента и контракт были под угрозой.

Методы решения

Рассмотрим два наиболее популярных метода решения проблем, описанных выше.

Административное решение

Административный подход — сначала вычистить уже имеющиеся дубли в ИТ-системах, разработать систему кодировок, по которым можно сопоставить записи в справочниках разных ИТ-систем, и регламенты. Такой метод относительно прост, но имеет ряд недостатков – он не предотвратит рассинхронизацию НСИ в разных системах, а регламенты всегда можно обойти.

Внедрение MDM-системы

Технологический подход — использование системы обеспечивающей синхронизацию и единое представление данных. Как правило большинство крупных компаний внедряют различные версии MDM, когда ручная консолидация справочной информации и отчетности становится невозможной, а внедрение любой новой системы вынуждает изменять регламент и кодировки, только усиливая хаос.

Безусловно, единовременное введение МДМ-системы не решит все проблемы и по мере развития бизнеса, должна развиваться и МДМ-система, может даже измениться и сам тип МДМ системы (основные типы освещены ниже), однако, как показывает практика MDM является оптимальным бизнес решением в подобных случаях.

Типы МДМ-систем

Мы рассмотрим три основных типа MDM-систем — подробнее можно прочитать тут.

Централизованная система

Выбирается одна IT система, это может быть как уже имеющаяся IT-система, так и отдельная система управления НСИ. Справочные данные в этой системе будут считаться эталонными, вестись в ней и рассылаться в другие системы. При этом создание и редактирование справочных данных в других IT системах запрещается. Преимуществами такого подхода являются:

• Простота внедрения;
• Простота поддержки актуальности и чистоты справочных данных во всех IT – системах, простота администрирования и разграничения прав;
• Актуальные и чистые справочные данные во всех IT –системах, что позволяет строить чистую локальную отчетность в IT системах.

Но данный метод имеет ряд недостатков — в других системах невозможно создавать и редактировать записи определенные в центральной системе. То есть изменяются внутренние бизнес-процессы компании, что часто нежелательно, а иногда и недопустимо. Так же система неустойчива к обрывам связи и работоспособность критически зависит от текущей доступности центральной системы.

Аналитическая система

В аналитической системе НСИ все элементы НСИ создаются в клиентских системах, откуда отправляются в систему НСИ, где из этих элементов формируется запись справочника НСИ. Это позволяет быстро внедрять систему, внося минимальные изменения в клиентские системы.

Но так как НСИ в отдельно взятой IT-системе ни с чем не синхронизируется, то в самой IT-системе могут быть дубли и отчетность может расплыться, поэтому построение оперативной отчетности затруднено (про локальную отчетность также говорят, что она «грязная» — локальные записи НСИ могут не соответствовать записям в системе НСИ).

Гармонизированная система

Эта система вобрала в себя лучшее из централизованной и аналитической систем. Она позволяет заводить данные в IT-системах, и затем сопоставлять с уже заведенными, умеет искать потенциальные дубли, разрешать конфликты, связанные с одновременным изменением одних и тех же данных в разных IT-системах, синхронизировать НСИ в IT-системах. Таким образом не меняются и не нарушаются бизнес-процессы, минимизируются ручная работа по подготовке отчетности — то есть просто строиться локальная отчетность. Однако данные подход является наиболее дорогим, трудоёмким и требуют серьезной экспертизы для построения, а так же может потребовать модификации клиентских приложений.

Примеры реализации MDM-систем

Примером аналитической системы управления НСИ является Navicon SalesOut, а примером централизованной и гармонизированной – разные конфигурации Navicon MDM.

Индикаторы необходимости внедрения МДМ-систем

Ключевые: необходима интеграция различных систем и единая отчетность на основе этих данных.

Частные предпосылки внедрения на примере с одним из клиентов


Общие индикаторы, при которых стоит задуматься о необходимости упорядочения НСИ, настройки процессов MDM:

• В первую очередь это наличие или планы по внедрению нескольких ИТ-систем;
• Потребности в автоматизации сквозных бизнес-процессов (т.е. процессов, в которые вовлечено несколько ИТ-систем) – потребность в интеграции;
• Потребность в консолидированной отчетности (т.е. в отчетности, использующей данные из нескольких ИТ-систем);
• Разработка ИТ-стратегии. Многие компании предпочитают решать проблемы с НСИ до их появления. Чем дольше справочные данные велись в ИТ-системах независимо друг от друга, тем сложнее будет в будущем их сверять, чистить, синхронизировать.

Выводы

Основные тезисы и выводы: синхронизация НСИ облегчает 1) внедрение новых информационных систем в IT инфраструктуру компании; 2) интеграцию имеющихся систем; 3) обработку корпоративных данных; 4) сокращает трудозатраты на актуализацию данных; 5) минимизирует риски, связанные с некорректными данными. Внедрение выделенной системы управления НСИ не всегда является обязательным, но о проблемах, которые могут возникнуть из-за рассинхронизации НСИ всегда стоит помнить при развитии IT инфраструктуры.