В современном информационном обществе данные играют ключевую роль в принятии решений и развитии различных отраслей. Однако для того, чтобы данные были максимально полезными и доступными, необходимо создание эффективных инструментов и платформ для их хранения, анализа и предоставления.

В статье Центр цифровой трансформации Республики Татарстан рассказывает о создании региональных витрин данных – мощных инструментов, которые способствуют управлению информацией на уровне региона, открывая новые возможности и решая существующие проблемы.

История реализации

СМЭВ (система межведомственного электронного взаимодействия) была разработана в России, чтобы упростить и усовершенствовать взаимодействие госорганов и организаций через электронные каналы связи.

В широком смысле это государственная информационная система, включающая базы данных, сведения об истории движения электронных сообщений, а также программные и технические средства, обеспечивающие взаимодействие информационных систем органов и организаций при предоставлении в электронной форме государственных и муниципальных услуг и исполнении государственных и муниципальных функций.

За свою историю СМЭВ эволюционировала в несколько версий.

Версия СМЭВ 2 была разработана и внедрена в 2011 году. Система позволяла обмениваться информацией – отправлять запросы и получать онлайн-ответы. В процессе участвовало несколько сторон: потребители, непосредственно СМЭВ, через которую проходили их обращения, и ведомственная информационная система, которая обрабатывала запросы и оперативно отвечала на них. Зачастую она не справлялась с объемом обращений в режиме онлайн.

Версия СМЭВ 3 запустилась с обновлениями и усовершенствованиями в 2015 году, в том числе, буфером очереди для распределения нагрузки на систему и увеличением объема прикрепляемой информации.

Сегодня активно развивается версия СМЭВ 4. Уже сейчас с уверенностью можно сказать, что она будет иметь еще больший функционал и способствовать более эффективному и удобному взаимодействию государственных и муниципальных организаций.

Неоспоримым преимуществом СМЭВ 4 является использование подсистемы обеспечения доступа к данным (ПОДД) с направлением регламентированных запросов (РЗ) без необходимости реализации адаптеров для получения различных типов данных. Также для владельца витрины преимуществом является то, что после реализации витрины РЗ для получения данных может сделать практически любой компетентный сотрудник Потребителя данных.

Механизм работы СМЭВ 4

СМЭВ 4 предназначена для обмена сведениями между организациями или органами власти (участниками взаимодействия) в рамках сеансов обмена.

Участники взаимодействия могут быть в роли:

• Поставщиков – предоставляют данные в виде таблиц распределенной СУБД;

• Потребителей – получают данные в виде результата выполнения SQL-запроса.

Потребители данных могут получать сведения из Витрин Поставщиков данных путем:

• отправки РЗ;

• подписки на изменения сведений.

Поставщики данных ПОДД СМЭВ:

• осуществляют подключение Витрин к ПОДД СМЭВ, размещают и актуализируют данные на Витринах;

• регистрируют Регламентированные запросы в ПОДД СМЭВ для получения сведений из Витрины Поставщика.

Запросы и ответы направляются в ПОДД СМЭВ от имени организаций и подписываются электронными подписями органов власти (ЭП-ОВ). Идентификация и аутентификация информационных систем в ПОДД СМЭВ выполняется по сертификату ЭП-ОВ, загруженному в ПОДД СМЭВ при регистрации ИС Участников взаимодействия.

Для подключения к СМЭВ 4 необходимо соответствовать ряду требований.

Технические требования:

1. Наличие защищенного канала и сетевой связанности до СМЭВ.

2. Наличие необходимого ИТ-ландшафта для инсталляции ПО «Агента ПОДД» и «Витрины данных».

3. Наличие средств защиты информации, в том числе, наличие КриптоПро CSP 5.0 и КриптоПро JCP 2.0, КЭП ОИВ.

Функциональные требования:

1. Информационная система ОИВ является участником взаимодействия СМЭВ.

2. Информационная система ОИВ зарегистрирована в ТСМЭВ и СМЭВ.

3. ОИВ, как обладатель государственных данных, определил состав данных для вывода на витрину данных в СМЭВ 4.

Опыт создания региональных витрин данных

В 2022 году Центром цифровой трансформации Республики Татарстан в составе команды Минцифры Республики Татарстан была реализована витрина данных «Сведения о выданных и аннулированных охотничьих билетах». Владельцем данных витрины является Государственный комитет Республики Татарстан по биологическим ресурсам.

Рассмотрим основные этапы реализации витрины данных. Во-первых, для реализации проекта требуется последовательное выполнение нескольких этапов работ, первым из которых является заведение модели данных в ЕИП НСУД:

1. Создание Информационного ресурса (ИР) на основе НПА, который требует заполнения следующих обязательных форм:

• Наименование участника – владельца системы;

• Полное и краткое наименования ИР;

• Указание нормативно-правового акта, на основе которого заводится ресурс;

• Уровень межведомственного использования данных ИР;

• Способ ведения;

• Ответственное лицо за ведение ИР.

Созданный ИР направляется на согласование в Минцифры РФ.

2. Создание Информационной системы (ИС), состоящей из заполнения следующих разделов:

• Полное наименование;

• Полное официальное название организации;

• Краткое наименование;

• Назначение ИС;

• ИР, заведенный ранее;

• НПА;

• Ответственное за ведение ИС лицо.

Для ИС заводятся атрибуты и заполняются следующие разделы:

• Наименование;

• Атрибут ИР, с которой связан атрибут ИС;

• Технологическое наименование;

• Тип данных;

• Формат хранимых данных;

• Единица измерения.

После заполнения всех необходимых атрибутов ИС должна быть согласована минцифры РФ.

3. Заведение витрины данных (ВД) на основе атрибутов ИС или зарегистрированного набора данных, включающих себя заполнение следующих разделов:

• Поставщик данных – наименование организации;

• Мнемоника – кодировка витрины, которая будет использоваться при обращении к ней потребителями;

• Шаблон витрины – если есть в наличии;

• Наименование витрины;

• Дата начала действия версии – с какого момента формируемая версия витрины активна;

• Отрасль;

• Описание ВД.

Для ВД также необходимо заполнение таблицы. После наполнения перечнем таблиц необходимо перейти к описанию атрибутов.

Набор атрибутов – добавление атрибутов из набора данных;

Атрибут 1 – N – добавление нескольких атрибутов витрины, связанных с одним атрибутом ИС, например, «Адрес» из ИС выводится на витрину как несколько атрибутов «Населенный пункт», «Улица», «Дом»;

Атрибут N – 1 – добавление одного атрибута витрины, связанного с несколькими атрибутами ИС, например, «Серия» и «Номер» из ИС выводятся на витрину как «Номер»;

Атрибут сервис/функция – ручное добавление атрибута без создания набора данных.

После проверки добавленных атрибутов в витрину, ее необходимо было направить на согласование. Согласующий (Минцифры РФ) проверяет ВД на корректность, после чего меняет статус на Согласовано.

Регистрация заведенной модели в Ядре ПОДД СМЭВ4

После того как витрина согласована, необходимо зарегистрировать модель в тестовом ПОДД. В результате формируется и отправляется в тестовый ПОДД файл «Состав запроса – XML». Результатом обработки ПОДД являются возвращенный файл «Состав ответа – XML» и изменение статуса на «Принят».

После того как витрина будет принята, можно перейти к добавлению связи ИС и ВД в ЛК УВ, при добавлении связи в списке доступных ВД будет отображаться зарегистрированная витрина.

Протестированная витрина должна быть также зарегистрирована в продуктивной среде ПОДД.

Настройка ПО витрины

Программное обеспечение предоставляется в виде уже готовых docker контейнеров, которые уже «с коробки» имеют настройки синхронизации между собой. Для разворачивания ПО витрин данных нам потребуется две виртуальные машины (ВМ), установка ПО производилась на РЕД ОС 7.2.

Среди виртуальных машин была ВМ ansible (с настройками пользователя, ssh доступа и т.д), которая запустит playbook загрузки контейнеров.

Схема работы такова, что в уже готовом из образа конфиге Ansible прописывается IP адрес второй ВМ, username с уже прокинутым ssh соединением и топик ПОДД агента. Запуск установки выполняется через активацию уже преднастроенного yml конфига.

Для удобства работы с Docker контейнерами среди компонентов имеется portrainer.

Состав Docker контейнеров был следующий:

Далее проводится проверка контейнеров на доступность, выполнены настройки мониторинга. Все интересующие нас конфиги после разворачивания системы уже базово настроены:

• Агент СМЭВ 4, указана мнемоника системы и ОГРН агента;

• КриптоПро в части указания рабочего ключа;

• Роль ВД для работы в качестве поставщика или потребителя данных;

• Подключение к Pulsar, настройки подключения и авторизации в Keycloak для получения JWT;

• Подключение ко всем ЦОД с установленным ПО ядра по готовому шаблону;

• REST сервера исполнения и обработки SQL запросов;

• API gateway;

• Модуль подписания печатных форм.

Выводы

Создание региональных витрин данных является важным шагом в управлении информацией на региональном уровне. При создании СМЭВ версии 4.х учтен опыт эксплуатации предыдущих версий и применены самые передовые технологии, позволяющие гражданам получить:

• автоматическое предзаполнение форм на госуслугах;

• моментальное получать информацию;

• госуслуги «в один клик».

Все это напрямую влияет не только на качество и скорость оказания госуслуг, но и на качество жизни граждан, безопасность их данных и многое другое.