Привет, друзья! Я — Василь Фатихов, работаю в ИТ подразделении ВТБ. Одной из моих повседневных задач является загрузка данных в корпоративное хранилище. Именно с этими данными работают потом «колдуны — аналитики», извлекая из них новые возможности для бизнеса.

Сейчас многие сталкиваются с проблемами, связанными с переходом на альтернативное программное обеспечение. Именно по этой причине мы с коллегами решили написать эту статью, чтобы показать возможные варианты решений и предупредить о трудностях.

До 2022 года мы активно использовали продукт Informatica PowerCenter для выполнения интеграционных процессов при загрузке корпоративного хранилища (КХ). Но в определенный момент банк не смог продолжать работать с этим производителем программного обеспечения (ПО) в силу множества причин. Тогда нам пришлось задуматься об использовании альтернативы — обратить свой взор на решение от компании DIS GROUP и заменить Informatica PowerCenter на Плюс7 ФормИТ.

Теперь давайте перейдем к самой задаче. Я расскажу вам про наш план и причины, которые побудили нас действовать. 

Много лет мы использовали инструмент интеграции (ETL) от американской компании Informatica. Интеграционные процессы, построенные на этой платформе, нас вполне устраивали, но в определенный момент нам пришлось задуматься об альтернативе. Во-первых, компания Oracle, база данных, которой использовалась в качестве репозитория, перестала обеспечивать поддержку своего программного обеспечения на российском рынке. Вторая причина — это российское законодательство, которое требовало от крупных организаций отказа от иностранного программного обеспечения такого, как ОС Red Hat Enterprise Linux operating system (RHEL).

Альтернатив виделось две: переход на открытое программное обеспечение (open source) или попытка найти вариант полноценного ETL средства среди российских производителей. При этом надо было учитывать трудозатраты на переход.

При исследовании темы выяснилось, что open source — это хороший подход, но требует огромного количества доработок и дополнительных затрат на сопровождение процессов. Которые ежедневно должны перемещать миллиарды данных, и падение которых может негативно сказаться на бизнес-процессах всей организации.

Второй вариант — это поиск готовых промышленных решений на рынке. Составили список требований и пошли изучать предложения. Необходимо было, чтобы решение закрывало если не все задачи, то большую часть, или чтобы специалисты были готовы оперативно что-то доработать по нашей просьбе. При детальном анализе выяснилось, что на рынке есть выбор альтернатив, но наиболее полный функционал готова предложить только компания DIS GROUP в рамках своей интеграционной платформы Плюс7 ФормИТ (сравнение альтернатив представлено в таблице 1). Именно у них нашлось подходящее решение, а также готовность адаптироваться и доделывать что-то непосредственно под наши задачи.

Оценив результаты анализа всех вариантов, мы собрали сравнительную таблицу плюсов и минусов разных подходов.

В результате выбрали второй вариант. План перехода мы задумали такой: провести первоначально пилотный переход для загрузки основного аналитического хранилища на ETL отечественного производителя, далее, при успешном исходе, осуществлять перевод всех интеграционных процессов на этот ETL инструмент. Схема процесса перехода с Informatica на ФормИТ представлена на рис. 1.

Инфраструктура, принятая для проведения пилотного проекта, выглядела следующим образом. Имелось 2 геораспределенных по ЦОД сервера с установленной платформой Informatica. В качестве сервера базы данных репозитория ETL использовался Oracle, а операционной системой была RHEL. Общая архитектура пилотного стенда представлена на рис. 2.

Первым шагом перехода был перевод репозитория с Oracle на базу данных PostgreSQL.

На данном этапе возникла первая трудность: в совместимости разных БД, так как репозитории имели разную структуру и отличались по размерности и типами полей.

Проблему решали следующим образом:

1. Выравнивание по версиям Informatica PowerCenter, чтобы репозитории были одной версии;

2. Проверка наличия паролей в коннекторах соединений с источниками и приемниками. Так как при конвертации метаданных, пароли не переносятся в целях безопасности. Их необходимо будет в ручном режиме вводить заново в коннекторах;

3. Перенос осуществлялся путем переноса директорий из репозитория на БД Oracle в репозиторий на БД PostgreSQL.

В качестве российской операционной системы была выбрана AstraLinux. Плюс7 ФормИТ был разработан специально для внедрения на российском рынке и полностью адаптирован под операционные системы, зарегистрированные в Росреестре. Для AstraLinuх у Плюс7 ФормИТ имеется сертификат о возможности полноценной поддержки работы серверной части. НО здесь мы столкнулись со второй и основной проблемой — это использование клиентского объектно-ориентируемого программного обеспечения на компьютере разработчика или автоматизированном рабочем месте (АРМ) под управлением AstraLinux. Для решения данной проблемы был использован Wine в ОС AstraLinux. С помощью коллег из других департаментов был оптимизирован установочный пакет клиента Плюс7 ФормИТ для работы с ОС AstraLinux. Процесс затянулся и повлек за собой много доработок. Клиент Плюс7 ФормИТ был скомпилирован и требовал под клиентом AstraLinux установки. Процесс установки клиента представлен на рис. 3.

Получили по итогу ярлыки на рабочем столе AstraLinux. Вид экрана на рис. 4.

И по ярлыкам открываются все инструменты разработки. На рис. 5 представлен экран с мониторингом процессов.

Таким образом, пилотный проект по переходу на российское программное обеспечение оказался выполнен в кратчайшие сроки и при минимальных затратах.

Итог пилотного проекта таков — переведено на новый ETL два сервера (сервер разработки и сервер промышленной среды), в рамках пилота переведено в промышленную эксплуатацию более 2000 интеграционных процессов.

Следующий этап перехода на российское программное обеспечение — перевод всех ETL процессов банка на платформу Плюс7 ФормИТ. Это порядка 50 серверов в ландшафте всей организации.

Вместо заключения

Напоследок предлагаю смотреть на этот мир и текущую ситуацию глазами полными оптимизма и уверенности. Даже если проверенное иностранное решение больше недоступно, то выход есть! Можно найти альтернативное решение из того, что предлагает сейчас российский рынок. Конечно, придется немного проявить фантазию и смекалку, ну и потратить немного (или много) времени, но итоговый результат вас не разочарует.