Цифровизация предприятия ведется за счет внедрения интегрированных программных систем для управления бизнес-процессами и базами данных. Комплексное программное обеспечение задает класс систем вида ERP, который часто в русскоязычной литературе называют корпоративными информационными системами. Сложность имплементации ERP-систем состоит в том, что одновременно должны решаться задачи по оптимизации бизнес-процессов, разработке программ, переносу данных, управлению изменениями, настройке технической инфраструктуры и «дирижированию» проектом. Миграция информации из исторической системы в целевую систему является одной из важнейших проектных задач, так как низкое качество начальных данных может заблокировать выполнение бизнес операций и их отражение в программной системе. Качественный процесс переноса данных обеспечивается правильно подобранной и реализованной стратегией миграции. Какие стратегии существуют, каковы их особенности и способы выполнения? Мы постараемся найти ответы на эти вопросы в данной статье.

Несмотря на важность вопроса мигрирования данных корпоративных информационных систем, литературных источников, дающих исчерпывающее представление о переносе информации не так много. Но даже в них есть изъяны: или слишком поверхностное описание, или излишняя детализация, исключающая стратегию как таковую. Примером первой категории работ служит статья [1], повествующая о миграции данных в SAP ERP, однако тонкости и детали переноса основных и переменных данных в ней не раскрыты. Прочие работы [2-3] дают максимум информации по автоматизированным средствам переноса данных в той же системе SAP, хотя взаимосвязь между техническими средствами и концепцией, стратегией, видением не прослеживается. Все это подчеркивает необходимость детального анализа миграции данных ERP-систем, что особенно актуально для транзакционных информационных систем.

Целью данной работы является анализ концепций, способов и методов миграции данных корпоративных информационных систем на примере программного решения SAP для обеспечения качественного и эффективного процесса имплементации ERP-систем. Решение озвученной цели потребует выполнения следующих задач:

• обзор проекта внедрения SAP ERP с точки зрения миграции данных;

• рассмотрение разновидностей данных и способов их миграции;

• анализ плана миграции как составной части плана перехода;

• организация процесса миграции данных;

• формирование концепции миграции. 

1. Обзор процесса миграции 

1.1. Основные термины и определения

Начнем рассмотрение тематики миграции данных в ERP-системах с введения основных терминов и определений, которыми мы будем пользоваться на протяжении всей работы:

• данные;

• миграция данных;

• план перехода;

• тестовая миграция;

• историческая система.

Данные есть представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе. Тогда миграция данных представляет собой процесс селекции, подготовки, извлечения, преобразования данных и переноса из одной компьютерной системы хранения в другую. Миграции подлежат данные из исторической системы (Legacy), представляющей собой информационную систему, используемую на предприятии до внедрения целевой ERP-системы (в общем случае историческая система может отсутствовать, например, если в компании все операции выполняются вручную).

Процесс переноса данных ведется путем выполнения тестовых циклов миграции, где под тестовой миграцией подразумевается перенос данных ERP-системы, выполняемый многократно для выявления ошибок (начинается с технической проверки средств загрузки, завершается испытанием 100% данных, подлежащих продуктивной миграции). Продуктивная миграция данных является составной частью плана перехода, который определяется как план подготовки к продуктивному старту и содержит описание технических задач в ERP-системе, бизнес-операций для обеспечения работы компании, а также миграции данных для запуска программного решения [4].

1.2. Проект внедрения системы SAP ERP

Миграция данные играет одну из ключевых ролей в успешном запуске ERP-решения. Если данные не будут перенесены в срок в целевую систему или будут мигрированы с большим числом ошибок, продуктивная эксплуатация системы будет невозможна. Согласно каскадной модели внедрения программного обеспечения проект имплементации ERP-системы разбивают на ряд этапов (рис. 3.1):

• подготовка проекта;

• проектирование;

• реализация;

• подготовка к опытно-промышленной (или опытной эксплуатации);

• опытно-промышленная (или опытная эксплуатация);

• переход к промышленной эксплуатации;

• промышленная эксплуатация.

Каждый шаг указанных этапов внедрения проекта предполагает выполнение череды операций. Так на этапе подготовки проекта  формируется концепция реализации содержания проекта и готовятся шаблоны документов. Анализ требований, подготовка проектных решений и функциональных спецификаций на разработку ведутся на фазе проектирования. Этап реализации требует выполнения настройки и доработки ERP-системы, а также проведения функционально-модульного, системного и интеграционного видов испытаний. 

На этапе подготовки к опытно-промышленной эксплуатации готовятся сценарии тестирования, проводится обучение ключевых пользователей и заводятся тестовые данные для проведения испытаний. Приемочное тестирование и устранение дефектов осуществляется на фазе опытно-промышленной эксплуатации. Этап перехода к промышленной эксплуатации предполагает решение задач по технической подготовке системы и миграции данных. Запуск системы и ее работа в режиме реального времени, передача системы на поддержку заказчику ведутся на завершающем этапе промышленной эксплуатации.

Внедрение корпоративных информационных систем ведется по уровням, представляющим группировку задач. Так выделяют уровни (рис. 3.2):

• проекта;

• процессов;

• приложений;

• данных;

• технической инфраструктуры;

• изменений.

Как видно из списка выше, один из уровней касается данных. Задачи этого уровня решаются отдельной командой (команда по миграции), ключевая цель этой команды – выполнить качественную миграцию основных и переменных данных в продуктивную  ERP-систему [5]. 

Уровень данных содержит огромное число проектных документов, которые описывают все необходимые шаги для выполнения миграции информации из исторической системы в целевую. В частности, требования к миграции фиксируются в матрице отслеживания требований. Кроме того, для описания данных готовится стандартный пакет документов: проектные решения и функциональные спецификации на разработку. С точки зрения реализации системы ведутся конфигурирование и доработка средств загрузки и валидации данных.

К доступным средствам анализ требований к данным и процессу их миграции можно отнести следующие опции:

• использование знаний, накопленных в процессе внедрения информационных систем на аналогичных предприятиях;

• проведение опроса;

• анализ управленческой документации;

• рассмотрение документооборота на предприятии;

• наблюдение за выполнением наиболее критичных операций.

Наиболее эффективными методами выявления требований являются:

• демонстрация системы (Workshop), т.е. показ работающей ERP-системы в режиме онлайн, либо демонстрация презентационных слайдов, которые показывают интерфейс и логику работы информационной системы;

• прототипирование, где создается демонстрационный образец работы определенной функции ERP-системы.

Идентифицированные требования к данным приоритизируются и участвуют в процедуре Fit/Gap-анализа (рис. 3.3). Цель анализа состоит в определении областей покрытий и дефицитов предъявляемых требований и стандартного функционала ERP-решения. Если представить функционал системы и требования в виде овала, то пересечение этих двух областей есть часть Fit покрытия, т.е. это те требования, которые уже реализованы в ERP-системе. Неокрашенная часть овала, которая относится к требованиям, будет соответствовать Gap части, т.е. области функционального дефицита, которую необходимо покрыть дополнительной программной разработкой или доконфигурированием системы. Конфигурирование и разработка системы ведется на основе двух видов документов: проектные решения для конфигурации и функциональные спецификации для доработки.

Проектные решения готовятся для всевозможных потребностей проекта. В частности, для описания бизнес-процессов, организационной структуры и данных предприятия, а также проведения миграции данных и настройки ролей и полномочий. Указанные виды проектных решений относятся к категории системных. Кроме того, существуют проектные решения, относящиеся к нормативным и кадровым составляющим организации, например: должностная инструкция, структура и штатная численность предприятия. С точки зрения миграции данных, мы будем работать с проектными решения по:

• организационной структуре предприятия и объектам данных;

• миграции данных.

В документе проектного решения по организационной структуре предприятия и объектам данных приводится описание технической организационной структуры компании в системе ERP для различных функциональных модулей, а также атрибуты объектов данных. Решение включает следующее:

• оргструктуру предприятия по всем функциональным областям системы ERP: закупки, управление запасами, сбыт, производство, ремонт оборудования, финансовый и налоговый учеты, кадры;

• перечень основных и транзакционных данных системы для всех функциональных областей, наименование таблиц баз данных, описание их полей, типов данных и размерности;

• список доработок и настроек, необходимых для покрытия требований к оргструктуре и данным в ERP-системе. Документ подтверждается бизнес представителями.

Проектное решение по миграции данных содержит описание порядка обработки данных, находящихся в исторической системе, для их преобразования и загрузки в новую ERP. Документ включает:

• шаблон загрузки данных с описанием полей, размерности и обязательности их заполнения, который в последующем будет содержать информацию к загрузке в формате целевой ERP-системы;

• детали средств автоматизированной загрузки данных в ERP-систему. Преимущественно используются стандартные средства миграции информационной системы;

• описание механизма валидации данных, загруженных в новую информационную систему с использованием заполненного шаблона и средства миграции из текущего проектного решения.

1.4. Данные и способы их миграции

Говоря о процессе миграции, следует уточнить, что подразумевается под структурой данных в ERP-системе. Архитектура данных состоит из двух частей [6]:

• таблицы баз данных, с указанными атрибутами, ключевыми полями, размерностями и типами данных;

• взаимосвязи между таблицами, которые называют ER-диаграммами (диаграмма сущность-связь).

Данные, которые необходимо мигрировать из исторической системы в целевую могут относиться к одной из четырех категорий: 

• две наиболее важные категории:

  • основные данные;

  • переменные данные.

• прочие категории:

  • организационная структура;

  • справочники данных.

Основные данные задают ту информацию в ERP-системе, которая очень редко изменяется или не меняются вовсе после создания. Переменные данные в отличие от основных подлежат частой процедуре обновления. Основные и переменные данные, которые часто называют мастер и транзакционными данными, описывают бизнес-объекты системы путем заполнения атрибутов в таблицах баз данных. Число таких атрибутов исчисляется десятками, а то и сотнями для каждого объекта. Организационная структура определяет структуру предприятия в технических терминах ERP-системы (наименование заводов и складов, юридических лиц и МОЛ, и т.д.). Справочники задают перечисленный тип данных, сущности которых характеризуются 1-10 атрибутами. В качестве примеров основных и переменных видов данных в SAP ERP можно привести следующее:

• основная запись материала, основная запись партии, основная запись поставщика как пример основных данных;

• контракт на закупку, инфо-запись, заказ на закупку, складской запас как демонстрация переменных данных.

Достаточно часто примеры этих данных подлежат мигрированию в целевую SAP-систему в реальных проектах. К критичным объектам миграции основных данных в системе SAP ERP преимущественно относят:

• основную запись материала;

• основную запись кредитора;

• основную запись дебитора.

Эти объекты важны, так как все последующие переменные данные при миграции будут ссылаться на них. Критическими объектами переменных данных служат:

• складской запас;

• дебиторская задолженность;

• кредиторская задолженность.

Для переноса данных определяется список объектов миграции (материалы, партии, контрагенты и т.д.). Далее за каждым из объектов закрепляется единая точка контакта, называемая владельцем данных. Владельцем данных может служить сотрудник какого-либо отдела, наиболее погруженный в проблематику миграции со стороны заказчика. Тем самым все вопросы по ведению информации, ее проверке и мигрирыванию будут обсуждаться с одним человеком. Это значительно упрощает процесс коммуникации, так как, во-первых, число объектов достаточно велико, во-вторых, объектам миграции из разных областей назначаются отличные ответственные сотрудники со стороны заказчика. Перенос информации из исторической системы в целевую включает в себя четыре обязательных шага (рис. 3.4):

• очистка, т.е. удаление из исторической системы нерелевантной информации;

• выгрузка, когда из исторической системы осуществляется выгрузка необходимых данных;

• трансформация, когда информация, выгруженная из исторической системы, преобразуется в заданный формат, позволяющий загрузить информацию в целевую систему;

• загрузка, в рамках которой преобразованная информация из исторической системы переносится в целевую информационную систему.

Каждый шаг миграции данных завершается подзадачей валидации, т.е. очистку, выгрузку, трансформацию и загрузку данных завершают проверкой корректности  проведенной обработки, которую обычно осуществляют представители клиента. 

Не все переменные данные подлежат переносу в продуктивную систему. Мигрируются только открытые позиции, т.е. документы, по которым ожидаются дальнейшие действия в целевой системе. Кроме того, переносу преимущественно подлежат  те объекты, которые были созданы за последние несколько лет. Это делается для того, чтобы исключить миграцию той информации, которая в будущем не будет использоваться в продуктивной среде. Исключенная из мигрирования информация будет храниться в исторической системе в течение установленного законодательством времени.

Для каждого выбранного объекта миграции, который релевантен переносу, определяется способ переноса. Миграция данных из исторической системы в целевую может быть выполнена следующими методами:

• вручную, когда ведется ручное заведение данных в целевую систему;

• автоматизированно, где используются цифровые программные решения;

• комбинировано, включающего одновременное применение ручного и автоматизированного способов  переноса данных.

Критериями включения объектов в автоматическую миграцию служат:

• объект должен входить в список миграции;

• необходимость объекта миграции к переносу подтверждена представителями бизнеса;

• предполагаемое число записей для указанного объекта превышает заданную величину, например, 100.

Обычно перенос информации из исторической в целевую информационную систему ведется многократно для того, чтобы проверить и улучшить средства миграции информации ...

Литературный источник:

Степанов Д.Ю. Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1) // Корпоративные информационные системы. – 2020. – №1(9). – С. 49-61. – URL: https://corpinfosys.ru/archive/issue-9/89-2020-9-datamigration.