Привет, Хабр! На связи команда российского вендора Data Sapience. Наши специалисты в течение многих лет занимались внедрением и адаптацией различных ИТ-решений, в том числе MDM-систем: как российских, так и зарубежных. Объединив накопленные знания, мы выпустили собственный высокопроизводительный мультидоменный продукт Data Ocean Governance MDM.

Data Sapience стремилась сделать Data Ocean Governance MDM гибким, комфортным и производительным решением, поэтому внимательно изучала рынок и его потребности. Сегодня хотим поделиться с вами результатами анализа и порассуждать, зачем MDM-решения нужны современному бизнесу, какую роль они выполняют и какие задачи закрывают на примере клиентского домена данных.

Значение качества клиентских данных для бизнеса

Компании, начинающие внедрять программу «Знай своего клиента» (KYC), часто недооценивают важность качества клиентских данных. Если количество источников в организации еще не велико, как правило, принимается решение поручить ведение клиентских данных одной из SOR (System of record), например, на oCRM.

По мере появления новых источников данных, реплик клиентской информации и систем с обогащенными данными поддерживать качество клиентских данных становится сложнее. Бизнес-процессы вокруг систем-источников, как правило, изолированы, поэтому проблемы с качеством могут долго оставаться незамеченными и накапливаться. На данном этапе может быть инициирована попытка навести порядок и консолидировать все имеющиеся клиентские данные в одной витрине с разработкой скриптов дедубликации.

Подобные решения являются полумерой и, как правило, стагнируют, а системное решение проблемы корректно будет адресовать внедрению продукта класса MDM. Стимулом консолидации часто становятся процессы, сильно зависящие от качества клиентских данных. Это могут быть CVM-инициативы, развитие AML или Data Science проекты.

Если дата-стратегия не учитывает необходимые организационные изменения, кадровые и процессные преобразования, а фокус сделан на трансформации исключительно через внедрение ИТ-решений, если внедрению MDM отводится лишь второстепенное значение, то и эти проекты рискуют столкнуться с серьезными проблемами или даже провалом.

Собственная разработка или готовое решение: требования и вызовы

Реализовать модель, как на картинке выше, можно различными способами:

• Собственная разработка с нуля;

• Разработка на базе одного из имеющихся в организации решений;

• Внедрение готового MDM-решения;

Первые два подхода сопряжены с определенными рисками и базовой негибкостью технологий. При создании собственного аналитического MDM клиент неизбежно столкнется с самыми распространенными проблемами:

• UI, вероятнее всего, будет отсутствовать. Анализировать работу механизма придется на уровне базы данных;

• Модель данных будет администрироваться на уровне базы данных; 

• Функциональность хранения истории изменений и логирования, вероятно, будет исключена с целью экономии.

Расходы на подобное решение могут многократно превысить изначально отведенный бюджет. 

Стратегически более правильно будет сосредоточиться на внедрении профессионального MDM-решения, которое должно обладать следующими характеристиками:

• Автоматический процесс формирования золотой записи
  Пользователь должен иметь возможность участвовать. Но чем реже сотрудники будут вмешиваться в работу системы, тем больший эффект она сможет дать. Особенно важно это учитывать, когда в системах-источниках десятки миллионов записей о клиентах;

• Бизнес-логика для работы с требуемым доменом
  Важно, чтобы клиент мог вносить изменения без участия вендора. Бизнес непрерывно развивается, и если правила устранения опечаток или разбора адресов по ГАР меняются редко, то правила классификации или разбора наименований по словарям нужно детализировать несколько раз в год. Многие решения на рынке предлагают кастомизацию бизнес-логики, но это не имеет смысла, если ее нужно разрабатывать с нуля в течение месяцев;

• Возможность донастраивать и расширять модель данных
  Непрерывная работа над качеством данных и подключение к системе новых источников требуют, чтобы модель данных могла меняться. Система должна уметь следить, по какой версии хранятся те или иные записи, и обладать инструментарием для апгрейда версий. Особенно это важно при подключении больших массивов внешних данных и добавлении полей для хранения производных;

• Горизонтальная масштабируемость и возможность работать в операционном высокопроизводительном режиме
  Установка MDM является лишь первым шагом к пониманию данных организации. И, в соответствии с планом активностей дата-стратегии, подготовку к внедрению real-time потребителей клиентских данных лучше начинать за несколько месяцев до начала соответствующих проектов. На данном этапе обычно нет необходимости развертывать MDM-решение в ресурсоемком операционном режиме, но после выполнения нескольких циклов улучшения качества и по мере выполнения проектов внедрения потребителей такая необходимость потребуется.

Внедрение MDM – первый важный шаг в борьбе за качество клиентских данных. Data Ocean Governance MDM как готовое решение для бизнеса

Мы, команда российского вендора Data Sapience, занимаемся разработкой ИТ-продуктов для бизнеса, в том числе в сфере управления мастер-данными. В продуктовой линейке компании есть высокопроизводительное решение для очистки, обогащения, стандартизации и дедубликации клиентских данных Data Ocean Governance MDM, которое будет полезно для среднего и крупного бизнеса, развивающего принцип “Know Your Client” (“Знай своего клиента”). Инструмент отвечает всем принципам, перечисленным в предыдущем блоке.

Работа над качеством данных не может быть ограничена непосредственным внедрением системы. Это непрерывное выполнение исследовательских и корректирующих мероприятий, отвечающих потребностям организации. Система должна быть достаточно гибка и адаптивна, чтобы поддерживать их выполнение. 

В Data Ocean Governance MDM существует несколько уровней фокусировки внимания команды на процессе улучшения качества данных:

1. На первом уровне лежат коды качества – самая многочисленная сущность. Она сопутствует каждой крупице информации, проходящей через решение. Правила бизнес-логики, срабатывающие над записью, помечает поле, группу полей или всю запись результатом своей работы.

   

   Одними кодами отмечаются поля, в которые система внесла изменения самостоятельно, другими – случаи, когда автоматическое внесение изменения невозможно и требуется внимание человека. В случае, если проблема, соответствующая коду, исправлена и код более не действителен, он будет автоматически снят, но информация о том, что код когда-то устанавливался, навсегда останется в истории для проведения ретроспективного анализа и разбора статистики.

2. Когда становится понятно, что код качества или группа кодов требует особого внимания, настраивается правило создания инцидентов. В Data Ocean Governance MDM по умолчанию не создаются инциденты на любое найденное системой событие, чтобы не перегружать внимание пользователей. Инциденты создаются и автоматически назначаются на исполнителей согласно определенной заранее логике. Если причина возникновения инцидента устранена, то он будет автоматически закрыт с фиксацией даты и времени. Каждый пользователь видит инциденты, назначенные на него, и может сфокусироваться на их разборе.

3. Для проактивной работы над качеством данных существуют механизмы визуализации, поиска и фильтрации, которые позволяют отобрать особенно важные нарушения качества данных, сформировать из них плановые мероприятия и распределить их между ответственными сотрудниками.

   

Финальные мысли

Правила формирования мастер-записей индивидуальны для каждой организации. Качество данных в источниках может быть разным. Какие-то системы могут быть более доверенными, чем другие, а в некоторых случаях логика принятия решения, из каких записей должны быть получены значения в поля мастера, может быть еще более сложной. Разбор инцидентов и проактивное исследование данных часто приводят к тому, что логику формирования мастеров нужно корректировать: добавлять обработку тех или иных случаев. 

В этот момент важно, чтобы система имела инструментарий для автоматического переформирования мастер-записей с учетом возможных изменений в слияниях и разделениях и максимально деликатно обращалась с уникальными клиентскими идентификаторами. От этого зависит, насколько органично изменения будут приняты другими системами ИТ-ландшафта организации, подписанными на обратный поток данных из MDM. Решение Data Ocean Governance MDM изначально спроектировано таким образом, чтоб максимально учитывать все возможные аспекты интеграции.

Наведение порядка в данных – непростая задача, и важно строить этот процесс с современным, гибким и высокопроизводительным инструментом, как Data Ocean Governance MDM.