После ухода с российского рынка зарубежных вендоров BI-решений (Qlik, Tableau, Power BI), бизнес столкнулся с риском превращения инструментов аналитики в «кирпич». В течение первого года многие компании еще пользовались действующими лицензиями, однако далее вопрос вставал остро: пытаться поддерживать действующее решение, закупая лицензии через дружественные страны, или начать миграцию в новую BI-систему.
Наиболее веским основанием остаться на прежнем BI-решении, несмотря на все риски, для многих компаний была трудоемкость - необходимость заново собрать и организовать большие массивы информации и создать модель данных, чтобы «скормить» это новой BI-платформе.
Однако, в случае если компания работала на платформе Qlik, часть задач по переносу аналитической отчетности в новую систему может быть решена с помощью использования уже существующих QVD-файлов (специально оптимизированных для систем Qlik) - содержат как сами данные, на основе которых QlikView или Qlik Sense строят дашборды, так и большой объем метаданных.
Возможность чтения QVD-файлов открывает для бизнеса новые возможности использования уже готовых таблиц для построения отчетов и визуализаций в новой BI-системе и существенно упрощает процесс миграции.
Сложность в том, что QVD - собственный формат Qlik. Воссоздать для дальнейшей работы реляционную таблицу на основе QVD стандартными методами невозможно.
На помощь приходит универсальный конвертер, специально разработанный нашей командой для решения таких задач: QvDB–Qlever. В данном материале мы рассмотрим кейс миграции на DWH (хранилище данных) с применением нашего конвертера QVD-файлов, который включен в реестр российского ПО.
Кейс миграции на DWH с сохранением 1 Тб исторических данных для анализа
Компании с разветвлённой сетью розничных магазинов особенно остро ощутили на себе трудности миграции. Не исключением стал и наш клиент, одна из крупнейших отечественных сетей розничной торговли.
Инфраструктура компании-клиента составляла более 100 торговых точек, которые генерировали большие объемы данных: таблица с ценами составляла >300 млн строк в месяц, и примерно такой же объем данных содержала таблица с доступными остатками. Суммарно объем данных составлял более 1Тб информации, которая хранилась в QVD-файлах.
Подобные объемы данных делали использование классических СУБД нецелесообразным и трудоемким. Было принято решение реализовать ETL-процессы на базе open source технологий с построением хранилища данных (DWH), которое должно было содержать имеющиеся исторические данные из Qlik.
Сложность также состояла в том, что часть исторических данных отсутствовала без возможности восстановления.
Решением существующей проблемы стало использование технического средства QvDB–Qlever. Конвертер отлично себя зарекомендовал, показав отличное быстродействие - среднее время загрузки файлов объемом 100–150 мб составило до 10 сек. На загрузку 1–2 ГБ тратилось порядка 2–3 минут, а самый массивный файл (5.67 ГБ) был загружен менее, чем за 10 минут.
По итогам реализации проекта руководитель службы аналитики Заказчика отметил: «Проект миграции с Qlik на DWH оказался непростым: были очень сжатые сроки, лицензия заканчивалась и не было возможности продлить ее использование. Благодаря QvDB удалось сократить время проекта на 3 месяца от изначального плана, а возможность переиспользовать QVD файлы позволила добавить в DWH данные, которые просто невозможно достать из других источников».
Программное обеспечение, позволяющее повторно использовать исторические данные, содержащиеся в QVD-файлах, существенно ускорило и упростило процесс миграции. Многолетний опыт команды Qlever Solutions и экспертные знания платформы Qlik позволяют в сжатые сроки реализовать проекты миграции на новые BI-платформы с построением DWH с гарантированным сохранением максимального объема аналитических данных бизнеса.