Сегодня многие организации работают на базе решений из семейства 1С. Но для того, чтобы получить развитые практики BI – то есть реализовать полномасштабную аналитику для принятия управленческих решений на базе данных из 1С, всегда нужно было принимать немало дополнительных усилий. Все потому, что встроенные в платформу технологии не позволяют добиться уже привычного уровня гибкости, а использование промежуточных структур несет в себе ряд технологических неудобств. Все это стало причиной появления собственного коннектора Visiology к 1С.  В этой статье мы рассказываем о том, какие проблемы возникают при попытке настроить автоматическую аналитику на базе 1С, и как новый компонент платформы Visiology помогает решить их все в комплексе.

Преимущества SAP BI, Oracle BI и прочих решений, предлагающих комплексный анализ всех имеющихся корпоративных данных в том, что эти технологии работают прозрачно. Они могут не давать такого многообразия визуальных компонентов, как специализированные BI-платформы, но зато позволяют получать любые срезы данных для оценки ситуации.

Проблема взаимодействия с 1С для большинства BI-платформ заключается в том, что получать доступ к базе данных 1С напрямую невозможно. Информацию нужно сначала выгрузить из нее. И тут, как правило, применяются промежуточные структуры – то есть отдельная внешняя СУБД, в которую сначала таблицы выгружаются из 1С, а потом из нее забирает данные BI-платформа.

И тут начинаются многочисленные проблемы – от проблем соответствия названий столбцов и типов значений до потери консистентности данных, когда BI-платформа забирает наполовину вчерашние, наполовину сегодняшние данные. Все их, конечно, можно решить, но когда вы хотите получать аналитику во времени близком к реальному, возникает потребность искать другое решение.

Работа с 1С в Visiology

Начиная с релиза 3.14 в Visiology появился свой коннектор к 1С, который позволяет настроить выгрузку данных из ERP-платформы, CRM, бухгалтерской подсистемы – вообще из любой базы 1С – прямо во внутреннее хранилище Visiology.

Как я уже говорил, 1С не настроена изначально для того, чтобы делиться данными с какими бы то ни было системами. И поэтому для подготовки таблиц к передаче в BI необходимы дополнительные инструменты, а именно – плагин под названием «Экстрактор Visiology».

Добавить плагин в информационную базу 1С может администратор системы 1С, просто запустив файл-установщик. Если выполнить эту процедуру, Экстрактор Visiology будет отображаться в списке подсистем 1С.

Работать с ним достаточно просто. Таблицы, данные из которых необходимы для аналитики и принятия решений, выбираются в разделе «Проекты». В нашем случае Проект – это сопоставление между исходным объектом 1С (например, справочником), и форматом промежуточной таблицы внутри платформы Visiology (да, именно, это не итоговая структура таблицы – ведь позже пользователь Visiology сможет настроить финальное отображение при первичной загрузке данной таблицы).

Настроив Проекты на стороне 1С через Экстрактор Visiology, вы получаете возможность использовать данные из подготовленных таблиц в Visiology. Найти их можно в разделе «Подключения набора данных» и «Получить данные».

Так выглядят таблицы из 1С в окне «Подключения рабочей области». Данный раздел доступен только администратору платформы и используется для выдачи доступа к таблицам, которые поставляет Экстрактор, пользователям платформы.

А вот так выглядят таблицы из 1С при первичной загрузке:

Настраивая загрузку пользователь может выбрать из списка те таблицы (или папки, содержащие несколько таблиц), которые нужны ему в работе. А сам перечень доступных элементов определяется на этапе подготовки данных Экстрактором Visiology.

После выбора таблиц пользователь Visiology может настроить структуры выгружаемых таблиц. В этом окне можно убрать или переименовать столбцы, изменить их тип, исключить ненужные элементы, переименовать сами таблицы и так далее.

После нажатия на кнопку «Добавить», вы увидите стандартный для Visiology процесс загрузки из источника данных.

После окончания процесса вы получите уведомление об успешной загрузке таблиц.

Не разовая выгрузка, а постоянный процесс

А теперь начинается самое полезное с точки зрения профессиональной работы с данными – как на уровне аналитика или Data Scientist’a, так и бизнес-пользователя, который работает в режиме Self-Service и хочет получать оперативные обновления дашбордов и таблиц с каждым изменением данных в 1С.

Поскольку мы провели предварительную настройку соответствий для каждой таблицы (те самые Проекты), то для уже загруженных таблиц появляется возможность настройки обновлений по расписанию.

Вы можете выбрать любой режим – от ежемесячного до ежеминутного. Все зависит от того, какие вы решаете задачи на данных из 1С и какой объем информации обновляется в исходных таблицах. Параметры обновления настраиваются для каждой таблицы отдельно, так что вы можете получать оперативные данные чаще, при этом не создавая лишней нагрузки на серверы 1С.

Чтобы эта функция работала хорошо, коннектор Visiology берет на себя контроль процессов выгрузки данных. Благодаря этому движок ДанКо «знает», в каком состоянии находится очередная выгрузка. Также коннектор перезапускает задачи, если в ходе их исполнения возникли ошибки. Таким образом мы гарантируем загрузку данных, исключаем проблемы консистентности и непрерывно контролируем процесс работы с базами 1С. И если на стороне источника возникают какие-либо проблемы, администратор тут же узнает об этом и может устранить их, а пользователи имеют возможность работать с наиболее актуальными корректными данными.

Результат

После этого на данных из загруженных таблиц можно построить любой дашборд с виджетами.  В этом отношении таблицы из 1С никак не отличаются в этом плане от остальных источников данных: Также можно комбинировать данные из 1С и других источников, чтобы работать с более сложными моделями.

Такая схема взаимодействия Visiology и 1С позволяет агрегировать на базе одной платформы Visiology информацию из любого количества инсталляций 1С. Таким образом появляется реальная возможность использовать движок ДанКо, обходящий по производительности любые доступные в России BI-продукты, для централизации всей актуальной информации в компании, обеспечивая аналитику и управление на основе данных для структур любой сложности. В настоящее время подобные схемы постоянного получения данных из различных баз данных 1С с разной частотой уже прорабатываются для ряда крупных федеральных компаний, и мы обязательно расскажем о них подробнее по мере завершения соответствующих проектов.