Беспорядок в справочниках, хранящих основные данные компании – частая проблема, доставляющая не мало неприятностей, среди которых путаница в первичных документах из-за неправильного заведения номенклатуры или закупка товаров, по факту находящихся на складах компании. Этого можно избежать, внедрив MDM-систему и нормализовав данные.

Нормализация избавляет справочники от лишней информации, делает записи в них единообразными и стандартными. Это позволяет пользоваться качественными и структурированными данными, брать их из единого источника и быть уверенным, что они корректны.

Давайте рассмотрим, как принято нормализовывать справочники, хранящие основные данные компании, и как можно избежать дорогостоящего и трудоемкого процесса.
Для примера возьмем справочник материально-технических ресурсов (Номенклатура). Нормализация такого справочника требует большого количества времени, денег и экспертов для вычистки данных.

Что такое нормализация?

Нормализация – это приведение информации в справочниках к стандартному виду, исключая дубли и устаревшие записи, дополняя (по возможности) неполные позиции.

Предполагается, что после нормализации ваши справочники будут хранить актуальную и непротиворечивую информацию, которой совместно смогут пользоваться сотрудники компании для выполнения своей работы.

Как проводят нормализацию сейчас?

Нормализация справочников классически проводится в два этапа:

1. Содержание исходных справочников обрабатывается перед загрузкой в MDM-систему. Эта процедура называется первичной нормализацией.
2. После загрузки в MDM-систему записи в справочниках добавляются или изменяются по методике нормализации, принятой в компании.

В чем недостатки описанного подхода?

Главный недостаток такого подхода кроется в первичной нормализации.

Допустим, в компании ведется справочник «Номенклатура» в 200 000 записей. Чтобы провести первичную нормализацию такого объема данных перед загрузкой в MDM-систему выделяется 20 экспертов.

Исходя из условной нормы обработки записей одним экспертом в 1 000 позиций в месяц, получим, что такое количество записей может быть нормализовано примерно за 10 месяцев работы.
Учтем в нашем расчете, что эксперты не роботы, а люди, и добавим к сроку обработки еще полтора месяца на возможные форс-мажоры, болезни, отпуска и непредвиденные ситуации. Получим, что исходный справочник будет обработан 20 экспертами примерно за один год.
Важно отметить, что за этот год справочник будет пополняться новыми записями. На их нормализацию тоже понадобится время. Итак, срок первичной обработки записей справочника может растянутся еще на месяцы.

При этом пользователи смогут увидеть корректные записи только после внедрения системы в эксплуатацию. В это же время начнут выявляться и недостатки проведенной нормализации, что потребует дополнительной обработки контента справочника.

Сколько вы заплатите за первичную нормализацию?

Средняя цена первичной нормализации одной записи справочника «Номенклатура» в Москве – 150 рублей. В нашем примере – 200 000 записей. Первичная нормализация данных такого справочника будет стоить 30 000 000 рублей.

И здесь нужно помнить, что при обычном подходе вы оплатите первичную нормализацию всех записей справочника: актуальных и уже не используемых компанией.

Почему продолжают проводить первичную нормализацию?

Первичную нормализацию проводят, чтобы получить полностью нормализованные записи исходных справочников. Однако часто после первичной нормализации в исходном справочнике остается около 40% обобщенных и неточно описанных данных, которые признаются ненормализуемыми и в исходном виде загружаются в MDM-систему.

В случае со справочником «Номенклатура» такие записи могут быть уточнены только при сверке номенклатуры экспертами на складах компании по внешнему виду или техническому паспорту (инвентаризация). Что прибавит работы и займет немало времени.

Как нормализовать справочники выгоднее и эффективнее?

• Исключить первичную нормализацию.
• Проанализировать записи справочника для определения групп записей по степени важности и актуальности данных.
• Определить возможные пиковые моменты обновления записей. Ими могут быть централизованные закупочные кампании, которые проводятся с определенной периодичностью.
• Загрузить в MDM-систему исходный справочник.
• Блокировать от изменения часть или все данные справочника.
• Обновлять заблокированные данные постепенно по заявкам пользователей.

В MDM-систему при таком подходе попадут все исходные данные. Нормализованы они будут постепенно уже после загрузки, что позволит:

• Ввести систему в эксплуатацию в короткие сроки, без ожидания завершения первичной нормализации справочника.
• Нормализовать то, что действительно используется сотрудниками в их работе и не обрабатывать устаревшие записи.
• Не тратить деньги на оплату работы экспертов по первичной нормализации справочника.

В этом случае процент наличия неполно описанных данных сведется к нулю. Такая точность достигается тем, что при обновлении данных справочника по заявкам пользователя эксперты смогут уточнить все данные у автора заявки.

Как это работает на примере справочника «Номенклатура»?

Помним, что у нас есть справочник «Номенклатура» объемом в 200 000 записей. Мы не проводим его первичную нормализацию и в исходном виде загружаем в MDM-систему. Уже на этом этапе мы не тратим около года на первичную обработку записей и на оплату работы 20 экспертов. В этом случае у нас есть несколько вариантов его нормализации:

1. Мы анализируем записи и разделяем весь объем данных на группы по важности и цене.
2. После загрузки блокируем для изменения самую востребованную и дорогую часть номенклатуры. Теперь для закупки этих позиций сотрудники компании должны оформлять заявки.
3. При обработке заявок штатными экспертами постепенно будет нормализована заблокированная группа записей справочника, и далее аналогично – остальные группы номенклатуры. Блокировка записей справочника не будет распространятся на операции списания, что позволит работать с данными в штатном режиме.
4. Без заявки пользователя заблокированные позиции номенклатуры актуализироваться не будут. Подобные позиции будут перенесены в архив по правилам компании: в ходе очередной инвентаризации или после списания остатков по ним. Исходя из опыта, из всего массива в 200 000 записей будет нормализована только часть действительно актуальных и используемых позиций (как правило, около 20% (40 000) существующих записей).

Процедуру можно провести и иначе – заблокировав для изменения все записи справочника «Номенклатура», а не отдельные группы. Таким образом, в справочнике постепенно будут появляться только нормализованные записи, а неактуальные позиции также выявлены и перенесены в архив. Но в этом случае есть риск неравномерной загрузки экспертов по обработке записей в пиковые периоды закупки номенклатуры. Это необходимо учесть при проведении аналитики и грамотно определить нагрузку экспертов.

Исходя из практики, при использовании нового подхода справочник «Номенклатура» будет нормализован в среднем за один год. Это время обычно тратится на первичную нормализацию всех записей справочника – как нужных, так и устаревших. Поэтому сроки нормализации останутся теми же, но проведена она будет без лишних затрат денег, экспертов и оттягивания даты ввода MDM-системы в эксплуатацию.

Таким образом, при новом подходе вы получите все то, что ожидаете от первичной нормализации: актуальные и корректные данные справочников, которые используются в повседневной работе, но с меньшими затратами. Сэкономленные средства при этом можно будет потратить на проработку классификаторов, шаблонирование наименований, развитие функциональности системы и прочие улучшения, о которых я расскажу в следующих статьях.

Не мыслите шаблонно: изучайте актуальные подходы к решению старых проблем, которые сэкономят ваши деньги и время!