Привет, Хабр! Меня зовут Денис Мишкин, я - Product Manager одного из инструментов отчетности компании «Форсайт». Весной этого года мы выпустили новый продукт «Форсайт. Умные таблицы», который призван ускорить импортозамещение табличных редакторов, а-ля MS Excel, и BI-систем. Хочу рассказать вам о новом классе продукта, который сделает процесс создания аналитических отчетов максимально удобным и комфортным для пользователя, обогащая их опыт новыми уникальными возможностями.

Место нового продукта в экосистеме продуктов «Форсайт»

«Форсайт. Аналитическая платформа» – это универсальное и гибкое решение класса Enterprise BI, для реализации задач любой сложности. Оно дает не только возможности создания многомерной кубовой модели данных средствами загрузки этих данных (ETL), но и средствами доставки этих данных конечному потребителю в виде отчетности. Инструменты отчетности можно разделить на 2 крупных блока:

- информационные панели (дашборды) + Ad hoc, позволяющие легко и наглядно визуализировать данные;

- Pixel Perfect + табличная отчетность, которая призвана подготавливать регламентированную отчетность в строгой структуре и оформлении (регламентные отчеты).

Работая в сегменте Enterprise решений, за последние несколько лет мы увидели тенденцию по работе с классом отчетности, которая приближена к Excel-подобному интерфейсу. Пользователи используют привычный им табличный редактор, а данные из смежных BI-систем получают, применяя настроенное подключение к этим системам. Работает это через надстройку над Excel, которая, как правило, идет в поставке BI-решения.

Но Excel в контексте импортозамещения во многих компаниях становится недоступен, как и пролонгация лицензий на него. Как следствие компании вынуждены смотреть на альтернативные офисные пакеты, разработанные российскими производителями ПО, при этом явного лидера в перспективе нескольких лет сейчас определить сложно.

Доля российских решений в структуре рынка офисного ПО в 2024 году составила 37%. При сохранении текущих тенденций к концу 2030 года российские вендоры будут обеспечивать более половины продаж офисного ПО.  Ссылка на статью на TAdviser здесь.

В наших исследованиях мы не могли обойти стороной пользовательский опыт и отметили для себя следующие решения:

Несмотря на разнообразие технологий и возможностей, работа представленных решений сводится к созданию постоянного подключения к поставщику данных и дальнейшей работе с моделью данных, соответствующей конкретному BI-решению. Отметим, что MS Excel умеет подключаться к любым источникам данных, имеющим соответствующие драйверы (ODBC), но это плоские выборки из таблиц, которые не всегда могут решить задачу бизнес-пользователя по анализу данных.

Каким путем пошли мы и почему?

По большому счету, мы могли бы реализовать аналогичную связку в виде надстройки над MS Excel, где в качестве поставщика данных выступала «Форсайт. Аналитическая платформа», после подключения к которой мы получили бы возможность работать с объектной моделью, выбирать источники, работать со справочниками и строить отчеты всё в том же Excel. Но мы отказались от такого подхода и вот почему:

- перечисленные выше решения требуют для работы постоянного подключения к поставщику данных;

- эти решения завязаны на конкретное офисное приложение, в частности MS Excel. В тренде импортозамещения потребовалось бы для каждого офисного приложения реализовывать надстройку, обеспечивать совместимость с разными версиями этого офисного приложения и «мириться» с ошибками, например, опенсорсных решений, снижая удовлетворенность клиента;

- мы увидели четкую потребность в инструменте, который был бы независимым от BI-решения и при этом сохранял важную функциональность без постоянного подключения к поставщику данных.

На этапе формирования видения нового инструмента и его позиционирования мы определили для себя ряд ключевых функций и принципов, которые нужно было заложить на старте разработки «Умных таблиц»:

1.       Самостоятельное кроссплатформенное десктоп решение

• Поскольку инструмент должен быть независим от BI, то это должно быть настольное приложение, которое бы запускалось с ярлыка на рабочем столе и умело работать без активного подключения к платформе. Инструмент должен поставляться в виде самостоятельного инсталлятора (дистрибутива) и поддерживать установку не только на Windows, но и на Astra Linux 1.7, 1.8, РЕД ОС 7.3, Rocky Linux 8.

• Инструмент должен открывать файлы XLSX и ODS в том виде, в котором их создал пользователь, в том числе в Excel, и сохранять в эти форматы.

2.       Встроенный табличный редактор (Grid), напоминающий Excel

Пользователь должен работать в привычном для него Excel-подобном интерфейсе. Основной областью работы пользователя должна стать таблица в виде строк, столбцов и ячеек, с поддержкой множества листов, редактором формул, инфографикой и визуальными объектами. Ниже представлен пример отображения сводной таблицы с соответствующей визуализацией.

Одно из ключевых требований к работе с таблицами — это их скорость, и мы уделили этому значительную часть времени при разработке и стремились, чтобы скорость не уступала Excel. Сравнение проводили на стандартном офисном компьютере.

Результаты нашего тестирования представлены ниже:

3.       Расчетчики

Пользователи должны уметь обогащать свои отчеты расчетными данными.

Вариантов реализации методов расчета и построения формул достаточно много. Кто-то использует DAX, кто-то MDX, а у кого-то это T-SQL. Мы выбрали самый простой для понимания пользователя путь – мы повторили формулы Excel. Решение было подкреплено масштабным опросом всех наших пользователей – и нет, российское общество пока не готово к MDX, все тяготеют “a+b/c”, особенно это касается финансовых департаментов.

Как и в вопросах скорости открытия файлов, здесь важно, чтобы формулы рассчитывались быстро, копировались и вставлялись в лист мгновенно. В Excel реализованы модули многопоточных вычислений и алгоритмы кэширования результатов расчетов, что дает многократный прирост на простых операциях растягивания формул. Мы учитываем этот фактор и запланировали необходимые работы с целью максимального увеличения скорости.

Результаты нашего тестирования:

В инструменте встроено более 500 формул, сгруппированных по различным типам функций, для решения разнообразных задач. Мы также уделили внимание поддержке ссылок на ячейки из других книг (XLSX, ODS файлов). Таким образом, формулы могут быть как на уровне ячеек листа, так и со ссылками на ячейки другого листа и другой книги (файла XLSX, ODS).

Мы ориентируемся на пользовательский опыт и внедрили удобный мастер функций, с которым будет удобно и привычно работать адептам Excel.

4.       Использование различных видов источников данных

«Умные таблицы» умеют работать в онлайне с активным подключением к репозиторию «Форсайт. Аналитическая платформа».

Это дает возможность использовать все возможности формирования отчетности на основе модели данных платформы. Мы выделили для себя 4 источника данных к которым мы можем подключаться:

a.    Dice

Точка/капля в контексте OLAP движков. Позволяет вам, подключившись к источнику данных «Форсайт. Аналитическая платформа», вывести значение ячейки многомерного куба. Все, что нужно для этого сделать — это зафиксировать отметку по всем разрезам куба. Для этого мы реализовали специальные функции GetCubeValue и SetCubeValue, которые считывают и записывают значение соответственно. Для удобства использования мы реализовали их поддержку в нашем мастере функций.

b.       Olap-slice

Это привычные сводные таблицы, в которых вы формируете шапку и боковик и размещаете таблицу на листе. Поддержка фильтрации ячеек, расчет итогов, сортировка, транспонирование и оформление таблицы – все присутствует.

c.       Smart-slice

Альтернативный тип размещения данных на листе, где мы конструируем каждую строчку или столбец таблицы и указываем значения аналитик прямо в ячейках через выпадающее меню, вводом или вставкой текста из буфера обмена.

d.       Relation table

Реляционные источники позволяют отображать реляционные таблицы из базы данных на листе с поддержкой постраничного вывода. Мы активно работаем над этой функцией, она появится весной следующего года.

Поддержка нескольких видов источников дает широкие возможности по решению различных бизнес-задач, под каждую из которых подходит тот или иной вид. Подытожив типы источников, мы можем их объединить в такую таблицу:

Таким образом, под каждую задачу найдется вариант источника данных для эффективной работы.

 5.       Online и Offline

Пользователю необходимо иметь возможность работы с данными, которые он получил из платформы без активного подключения к ней.

Мы долго думали, где хранить привязки срезов и дополнительные метаданные, которые обеспечивают работу при активном подключении к «Форсайт. Аналитическая платформа». Поставили себе амбициозную цель – хранить всё в файле (XLSX или ODS). Это означает, что при сохранении файла в XLSX формат мы не только сохраняем видимый для пользователя контент в виде таблиц, графиков и диаграмм, но и метаданные привязки срезов, с которыми мы работали в онлайн режиме. Такой подход позволяет работать с этими файлами без доступа к сети и в любом редакторе, который эти форматы поддерживает, включая Excel.

Открыв такой файл, «Умные таблицы» учтут все правки, сделанные в офлайне и отобразят «живой» онлайн срез. Этот функционал дает широкие возможности не только выполнять работу в палатке, сидя у костра без интернета, но и организовывать сбор данных от множества пользователей на основе файлов, которые работают в других офисных приложениях с последующей их консолидацией в базе данных.

6.       Поддержка writeback

В продолжении предыдущего пункта хочу рассказать вам о том, как работает офлайн ввод данных с последующим сохранением данных в платформу.

В части онлайн сохранения данных процесс обработки выглядит так: пользователь размещает источник данных любого типа, вводит новые данные в ячейки, платформа подсвечивает изменения с базой данных, по нажатию на «сохранить» данные сохраняются в базу. Что делать, если мы летим в самолете и связь пропала: открываем сохраненный XLSX и точно так же вводим/корректируем данные в срезе. По прилету открываем файл, подключаемся к платформе и «Умные таблицы» подсветят все измененные данные, которые мы сделали в офлайне.

Схема writebaсk с поддержкой офлайна выглядит следующим образом:

Результат измененных данных в офлайне в любом редакторе, поддерживающем XLSX, ODS форматы подсвечивается зеленым (настроенным) цветом в соответствующих ячейках. Такие данные можно в один клик сохранить в базу данных:

7.       Кастомизация отчетов

Перенимая опыт Excel и макроязыка VBA, мы понимаем, что есть прикладные задачи, требующие автоматизации тех или иных процессов. Простыми словами, мы добавили в «Умные таблицы» поддержку FORE - полноценный объектно-ориентированный язык программирования. Это значит, что можно заложить любую логику в поведении пользователя и отчета, применить реализованные макросы не только по клику на ячейки, но и добавить пользовательские кнопки прямо на панель инструментов.

Делается это удобными мастерами настройки:

8.       Комментирование и история изменений ячеек.

Опыт работы с формами для сбора данных, с которыми могут работать несколько пользователей, определил необходимость фиксировать эти изменения. Так появилась функция, которая отображает: кто, когда и что именно поменял в той или иной ячейке. Это позволяет сделать процесс работы с данными из одного источника более прозрачным и понятным для пользователя.

9.       Сохранение результатов работы не только в файл

Возможность сохранения и открытия отчетов из репозитория «Форсайт Аналитическая платформа».

За счет тесной интеграции с платформой и использования единой модели, «Умные таблицы» могут сохранить результат своей работы не только в файл, но и в регламентный отчет в репозиторий платформы. Это означает, что вы можете делиться ссылками на готовые отчеты и шаблоны форм сбора данных в веб-приложении «Форсайт».

10.       Офисные функции

Мы смотрели на Excel и заложили полезные функции по поддержке условного форматирования, форматов ячеек, шаблонов и стилей таблиц, горячие клавиши, Undo/Redo, формат по образцу и настройки отчета для печати.

Резюмируя

Мы проанализировали множество решений и пользовательский опыт, систематизировали полученные данные и реализовали умный инструмент, который позволяет решать любые бизнес-задачи на отечественном программном обеспечении в различных сферах бизнеса, с минимальным порогом входа для пользователя. Мы постоянно ведем работу по развитию инструментария «Умных таблиц», добавляя новые, востребованные пользователями функции.

Следите за нашими новостями и анонсами на сайте.