Являясь сторонником решений с открытым исходным кодом в области бизнес-аналитики (BI), я был рад принять участие в онлайн-вебинаре Visiology в прошлый четверг. Я присоединился к увлекательной дискуссии не только для того, чтобы предаться интеллектуальному спору, но и для того, чтобы продемонстрировать практичность технологий с открытым исходным кодом на конкретных примерах.

Ландшафт BI меняется, и недоступность традиционных коммерческих решений заставила многие российские компании пересмотреть свои стратегии. Я продемонстрировал потенциал решений с открытым исходным кодом, объясняя, почему они могут быть прагматичным выбором для компаний, стремящихся к экономичности, свободе технической разработки и свободе от привязки к поставщику (вендор-лок).

Однако эта дискуссия не была односторонней. Мне противостоял Евгений Скребанов, опытный профессионал, который твердо поддерживает проприетарное программное обеспечение BI. Евгений, обладающий обширными знаниями в области аналитических систем и не понаслышке знакомый с западным и российским рынками BI, представил иную точку зрения.

Хотя мы понимаем, что в этой дискуссии нет однозначного "победителя" - разные платформы и системы подходят для разных ситуаций, - наша цель - дать вам полное представление об обоих подходах.

Выражаю благодарность всем участникам данного батла за то, что потратили вечернее время на в увлекательную дискуссию о будущем BI-технологий и были активны в чате.

В данной статье, я открою материалы встречи и отвечу на вопросы, которые задавались в чате вебинара (это был самый активный чат из всех последних вебинаров). Если у вас есть вопросы по теме выбора BI или своя точка зрения, буду рад увидеть ее и ответить в комментариях под постом.

Для дискуссии было предоставлено 3 кейса. Оригинальный файл будет выложен в ссылке в комментарии.

Краткое описание кейсов:

  • Пример 1 касается производителя мебели, который пережил значительный рост, но испытывает трудности с эффективностью и доверием к своим отчетам, в основном создаваемым с помощью Excel и выгрузки 1С. Руководство стремится к автоматизации для отслеживания производительности в режиме реального времени, а главный операционный директор стремится оптимизировать бизнес. Критическим ограничением является необходимость получения четкого ROI перед выделением значительного бюджета на BI и аналитику.

  • Пример 2 посвящен строительному рынку B2B, сталкивающемуся с проблемой работы с множеством подрядчиков. Компания намерена внедрить аналитический портал самообслуживания для предоставления информации как поставщикам, так и потребителям, но их способная команда разработчиков в настоящее время перегружена поддержкой основного сервиса. Дополнительной проблемой является предоставление аналитики внутренним подразделениям, требования которых часто меняются и итеративно уточняются.

  • Наконец, в примере 3 представлен банк из топ-20 РФ, стремящийся развивать экосистему потребительских услуг и поощрять культуру управления данными среди менеджеров среднего звена. В настоящее время в банке применяется разрозненный подход к BI, при этом различные подразделения используют разные инструменты. Их ключевые задачи включают перевод нормативной отчетности на независимый от импорта стек и унификацию BI-решений в рамках всей организации для создания центрального центра компетенции BI.

Являясь горячим сторонником BI-решений с открытым исходным кодом, я рассматриваю эти три случая как яркие примеры того, что решения с открытым исходным кодом могут принести огромную пользу.

В первом случае экономическая эффективность BI с открытым исходным кодом может быть ключевым моментом принятия решения в пользу open-source BI. Отсутствие платежей за лицензии могут стать решающим фактором, а первоначальные затраты, связанные с обучением или наймом квалифицированных разработчиков не так велики, как может показаться.

Второй случай представляет собой ситуацию, в которой экономическая эффективность, масштабируемость и гибкость BI с открытым исходным кодом могут проявиться в полной мере. В любом пропиетарном ПО необходимо будет оплачивать либо лицензию на каждого потребителя отчетности, либо лицензировать ПО по ядрам (или по другой схеме). Лицензионные платежи будут ОГРОМНЫ. В то время, как с помощью open-source BI, предлагаемый портал самообслуживания может быть создан на заказ без оплаты лицензий на пользователей. При наличии большой квалифицированной команды разработчиков решение с открытым исходным кодом может обеспечить настраиваемое и экономически эффективное решение. Также в этом случае, можно продавать данные услуги по аналитики потребителям и за счет этого сделать данный проект приносящим доходы и прибыль.

Наконец, для банка в третьем случае инструменты с открытым исходным кодом предлагают путь к независимости от импорта и гибкости. Это может быть особенно полезно, учитывая требование банка перейти на независимый от импорта технологический стек. Прозрачность и адаптивность решений с открытым исходным кодом также может способствовать созданию центрального центра компетенции BI, прокладывая путь к более единому, основанному на данных подходу к принятию решений.

В заключение хочу сказать, что, хотя у каждой организации свои уникальные потребности и ограничения, я считаю, что BI-решения с открытым исходным кодом предлагают целый ряд преимуществ, включая экономическую эффективность, адаптацию, масштабируемость и поддержку сообщества. Эти преимущества могут сделать BI с открытым исходным кодом привлекательным вариантом для многих компаний, сталкивающихся с различными проблемами в своем стремлении стать управляемыми данными.

В рамках чата было задано много вопросов и я хотел бы ответить на них развернуто (курсивом написаны вопросы/комментарии):

open-source BI - экономия мнимая, обучение разработчиков это очень большие вложения

так же как и обучать в bi работать

открытые bi имеют большой порог входа по скилам

Я понимаю ваши опасения, и это правда, что у BI с открытым исходным кодом есть свои уникальные проблемы, но такой они также предлагают и различные преимущества, которые, при правильном использовании, могут перевесить трудности:

Аргумент 1: BI с открытым исходным кодом - мнимая экономия

  • Отсутствие затрат на лицензирование: В отличие от проприетарного программного обеспечения, программное обеспечение с открытым исходным кодом не требует затрат на лицензирование. Экономия средств только за счет этого может быть значительной, особенно для крупных организаций.

  • Гибкость при масштабировании: При использовании проприетарного программного обеспечения стоимость расширения может быть высокой, поскольку большинство поставщиков взимают плату за каждого пользователя или за каждый сервер. С открытым исходным кодом вы можете увеличивать или уменьшать масштаб без дополнительных затрат на лицензирование.

  • Контроль над расходами: Если команда обладает необходимыми навыками, вы можете выбрать самостоятельную поддержку и не платить за дорогостоящие пакеты поддержки. И наоборот, при использовании проприетарного программного обеспечения вы часто привязаны к структуре поддержки поставщика.

Аргумент 2: Обучение разработчиков - это очень большие инвестиции

  • Переносимые навыки: Навыки, необходимые для работы с BI-инструментами с открытым исходным кодом, зачастую легко переносимы. Например, знания Python или R уже являются мейнстримом и  используемые в одном инструменте, могут быть перенесены в другой. Это делает обучение технологиям с открытым исходным кодом инвестицией в общий набор навыков ваших разработчиков, а не только в конкретный инструмент.

  • Поддержка сообщества и ресурсы: Сообщество разработчиков с открытым исходным кодом известно своим характером сотрудничества. Это означает, что разработчики имеют доступ к широкому спектру ресурсов, учебников и форумов, которые могут помочь им в обучении и непрерывном процессе обучения.

  • Свобода экспериментов: Благодаря отсутствию затрат на лицензирование разработчики могут свободно экспериментировать, учиться и внедрять инновации без финансовых ограничений.

Аргумент 3: BI с открытым исходным кодом имеет большой порог вхождения с точки зрения навыков

  • Широкий спектр инструментов: Экосистема BI с открытым исходным кодом включает в себя множество инструментов (Apache Superset, Metabase, Redash и многие другие), рассчитанных на разные уровни квалификации. В то время как некоторые инструменты могут потребовать обширных технических знаний, другие разработаны так, чтобы быть удобными и доступными для пользователей с базовыми техническими навыками.

  • Кривая обучения - это инвестиции: Хотя кривая обучения для BI с открытым исходным кодом может быть крутой, ее преодоление вооружает команду навыками, которые очень востребованы на рынке данных. Эти долгосрочные инвестиции часто перевешивают первоначальные усилия.

  • Адаптивность: С открытым исходным кодом у вас есть возможность гибко изменять и адаптировать инструмент под свои нужды. Это может потребовать некоторых предварительных усилий в плане обучения, но это также означает, что решение будет лучше адаптировано к вашим потребностям по сравнению с проприетарным инструментом.


для apache superset нужно просто уметь писать sql запрос

я об этом и говорю, qlik не обязательно sql знать

Предметные аналитики, зачастую, не знают SQL значит им будет сложно работать с SuperSet. И для подготовки любой новой витрины данных надо будет привлекать

Аналитикам вообще надо готовить витрину и, желательно, готовить инструмент. Это нормальная практика

Перед тем как писать sql запрос надо создать правильное хранение данных... и это основная сложность

Конечно, верно, что для эффективного использования Apache Superset необходимо иметь базовое понимание SQL. Однако в мире аналитики данных и бизнес-аналитики SQL является фундаментальным навыком, который обеспечивает прочную основу. Умение писать SQL-запросы дает аналитикам возможность напрямую взаимодействовать с базами данных и извлекать точные данные, необходимые для анализа.

С другой стороны, хотя Qlik BI предлагает более визуальный интерфейс в стиле drag-and-drop, который может показаться более привлекательным для аналитиков, не имеющих навыков работы с SQL, он имеет свои ограничения. Запросы, которые вы можете построить в такой системе, по своей сути ограничены возможностями, предоставляемыми интерфейсом. В отличие от этого, SQL позволяет создавать более сложные, настраиваемые запросы.

Что касается необходимости участия аналитиков в подготовке витрины, то я считаю, что это способствует более глубокому пониманию и владению данными и полученными результатами. С помощью такого инструмента, как Superset, аналитики могут непосредственно формировать процесс исследования данных, что может привести к более глубоким и релевантным результатам.

Что касается хранения данных, то здесь вступает в силу концепция управления данными (Data Governance). BI-инструменты с открытым исходным кодом, такие как Apache Superset, поддерживают широкий спектр баз данных и решений для хранения данных. Такая гибкость позволяет предприятиям выбирать хранилище данных, которое наилучшим образом соответствует их потребностям и существующей инфраструктуре.

Создание и поддержание надлежащего хранилища данных - действительно сложная задача, но она не является специфической для использования BI-инструментов с открытым исходным кодом. Независимо от того, используете ли вы Superset, Qlik BI или любой другой BI-инструмент, вам необходимо создать надежное и эффективное решение для хранения данных. Надлежащая практика управления данными, которая включает в себя управление данными, качество данных, конфиденциальность данных и соответствие нормативным требованиям, имеет важное значение для любой инициативы BI. В этом отношении инструменты с открытым исходным кодом могут предложить большую гибкость и прозрачность, что может быть полезно для эффективного управления данными.


Open-source ETL пока побеждает РФ-ный ETL?

Нет. Есть достойные российские продукты класса ETL. Более подробная информация в исследовании ETL-круг Громова.


я бы сказал что superset - это только аналитика, для то го что бы назвать его полноценным bi - требуется airflow (или другой инструмент ETL)

А есть ли opensource альтернатива для airflow+suprset?

Действительно, вы правы, утверждая, что Superset - это в первую очередь аналитическая платформа, с акцентом на визуализацию и исследование данных. Однако важно отметить, что "полноценный" BI означает не просто наличие инструмента ETL, а скорее сочетание инструментов и процессов, позволяющих извлекать, преобразовывать, загружать, хранить данные, моделировать данные, визуализировать, создавать отчеты и анализировать.

Что касается комбинации Apache Superset для аналитики и Apache Airflow для задач ETL, то это распространенная пара с открытым исходным кодом в реализации BI. Они оба принадлежат к Apache Software Foundation и хорошо интегрируются друг с другом.

Airflow - это мощный и гибкий инструмент, который может обрабатывать сложные рабочие процессы и планировать их. В сочетании с Superset он позволяет создать сквозное BI-решение, в котором данные извлекаются, преобразуются и загружаются с помощью Airflow, а затем анализируются и визуализируются с помощью Superset.

Если вы ищете альтернативы этой комбинации с открытым исходным кодом, вы можете рассмотреть несколько вариантов:

  • Apache NiFi: Подобно Airflow, NiFi - это инструмент, предназначенный для маршрутизации, преобразования и посредничества данных в системе. Он может быть проще в использовании для тех, кто предпочитает графический интерфейс для проектирования потоков данных.

  • Luigi от Spotify: Это еще один инструмент для создания конвейеров данных, который помогает создавать сложные конвейеры пакетных заданий, обрабатывать разрешение зависимостей, управлять рабочими процессами, визуализировать, обрабатывать сбои, интегрировать командную строку и многое другое.

  • Apache Kafka: Это более продвинутая система, которая может обрабатывать потоки данных в режиме реального времени. Это распределенная потоковая платформа, которая может быть более сложной в настройке, но может работать с крупномасштабными конвейерами данных в реальном времени.

  • Pentaho: Эта система обеспечивает как интеграцию данных (Pentaho Data Integration, также известная как Kettle), так и аналитику (Pentaho BA). Это более комплексное решение, которое может потребовать более тщательной установки и настройки.

Решение о том, какие инструменты использовать, будет зависеть от ваших конкретных требований, существующей инфраструктуры, ресурсов и навыков команды. Однако во всех этих сценариях сохраняется главная сила решений с открытым исходным кодом: гибкость, прозрачность и широкая поддержка сообщества, которые помогут вам решить любую задачу BI, с которой вы можете столкнуться.


На рынке имеются компании, которые внедряют тот же superset и осуществляют его поддержку. Такой вариант к какому "лагерю" относится?

Что такое платная поддержка OS?  И создать хорошее хранилище - это не тривиальная задача, которая не сильно зависит от ПО.

Платная поддержка OS - это когда интегратор предоставляет услуги поддержки примерно так же, как в случае проприетарного ПО.

Нужна она для того, чтобы быстро решать проблемы в проде. И/или допиливании инструмента под нужды Бизнеса.

Я полностью согласен с тем, что компании, внедряющие и поддерживающие решения с открытым исходным кодом, такие как Superset, безусловно, могут стирать грань между "лагерями". По сути, эти компании помогают преодолеть разрыв между миром открытых и проприетарных технологий.

Когда вы пользуетесь такой услугой, вы по-прежнему используете технологию с открытым исходным кодом - в данном случае Superset - но при этом получаете определенную поддержку, которую можно было бы ожидать от проприетарного решения. Я бы сказал, что такая модель сохраняет преимущества технологии с открытым исходным кодом (экономическая эффективность, отсутствие привязки к поставщику, гибкость, прозрачность кода и т.д.), но при этом снижает одну из ключевых проблем - необходимость наличия собственных специалистов для внедрения и поддержки решения.

Что касается вопроса о платной поддержке open-source, то это именно то, на что похоже - оплата профессиональных услуг, связанных с поддержкой, сопровождением и, возможно, улучшением программного обеспечения с открытым исходным кодом. Хотя само программное обеспечение является бесплатным, компании часто выбирают платную поддержку, чтобы иметь возможность оперативно решать любые проблемы или модификации, с которыми они не в состоянии справиться собственными силами. Это способ воспользоваться опытом тех, кто специализируется на конкретном программном обеспечении с открытым исходным кодом, которое вы используете.

Создание хорошего хранилища - действительно важная задача и часто один из самых сложных аспектов внедрения BI. Она требует тщательного планирования, моделирования данных и понимания потребностей бизнеса. Однако стоит отметить, что эта проблема характерна для всех внедрений BI, а не только для тех, которые основаны на программном обеспечении с открытым исходным кодом. Преимущество инструментов с открытым исходным кодом в том, что они предлагают большую гибкость в настройке и адаптации хранилища данных к вашим конкретным потребностям.


я еще не встречал OS который бы сразу из коробки заработал. Или постоянно мучиться нужно, того нет, сего нет.

postgres ставится из коробки и работает сразу.

из bi например metabase. скачивается докер образ и запускается.

Я понимаю ваше беспокойство, и это правда, что некоторые инструменты с открытым исходным кодом требуют конфигурации и настройки, прежде чем их можно будет использовать в полной мере. Однако мнение о том, что никакое программное обеспечение с открытым исходным кодом не работает "из коробки", не совсем верно. Возьмем, к примеру, PostgreSQL - реляционную систему баз данных с открытым исходным кодом, которая работает сразу после установки и обладает широким набором функций, которые зачастую превосходят возможности проприетарных аналогов.

Что касается BI с открытым исходным кодом, то Metabase является отличным примером. Это простой, легкий в использовании инструмент BI, который можно быстро установить с помощью образа Docker. После установки вы можете сразу же начать использовать его для создания приборных панелей, визуализаций и проведения аналитики. Он разработан с дружественным интерфейсом и низкой кривой обучения, специально для того, чтобы быть как можно более "из коробки".

Конечно, инструменты с открытым исходным кодом иногда требуют дополнительной установки или настройки, но эти дополнительные усилия приносят пользу в виде большей гибкости и настройки. Эти инструменты разработаны с учетом ваших уникальных потребностей, а не предлагают универсальное решение. Такая гибкость часто является значительным преимуществом в долгосрочной перспективе.

Поэтому, несмотря на возможную первоначальную настройку, я твердо убежден, что преимущества и экономия средств от использования инструментов с открытым исходным кодом намного превосходят эти первоначальные инвестиции, особенно для организаций со специфическими или меняющимися потребностями.


Postgresql. До merge (15 версия) был on conflict и всё работало. Партиции -развиваются, а в чём проблемма курсоров?

MERGE в какой версии добавили? курсоры? может партиции нормально работают?

в on conflict не было опции DELETE, курсоров тоже не было, потом добавили. Я просто мигрировал oracle-postgres там десятки если не сотни мелких и крупных фич которые не поддерживаются. Производительность  унылая. В общем поделка, как с мерса на раздолбанную телегу.

В какой версии Postgresql нет курсоров? Никто не говорит, что Postgresql - это круто, но другого решения нет.

Ваши опасения обоснованы, но важно понимать, что PostgreSQL, как и любая другая технология, развивается с течением времени, и в каждой версии появляются новые функции и улучшения. Например, PostgreSQL добавил поддержку курсоров в версии 7.4, выпущенной еще в 2003 году, а с версии 9.5 поддерживается условие ON CONFLICT, позволяющее выполнять функцию upsert.

Что касается опции DELETE в ON CONFLICT, стоит отметить, что этот вид операции обычно не встречается в сценариях UPSERT. UPSERT обычно используется для вставки записи или, наоборот, для ее обновления, если она уже существует. Операция DELETE в таком сценарии была бы нестандартной, и поэтому неудивительно, что эта опция не поддерживается из коробки.

Что касается производительности, то PostgreSQL в целом хорошо известен своей надежностью и эффективностью. Однако на производительность может влиять множество факторов, включая аппаратное обеспечение, состояние сети, конфигурацию базы данных и оптимизацию запросов. Поэтому очень важно убедиться, что эти аспекты учтены должным образом, чтобы получить максимальную отдачу от системы.

Да, PostgreSQL может не обладать всеми теми незначительными функциями, которые есть у Oracle или других проприетарных баз данных. Однако он предлагает множество основных функций базы данных, имеет активное сообщество разработчиков, которые постоянно работают над расширением его возможностей, и, что очень важно, он поставляется без высоких лицензионных сборов, связанных с проприетарными системами. Речь идет не о том, чтобы назвать PostgreSQL "крутым", а о том, чтобы признать его способным и экономически эффективным решением, особенно для компаний, работающих в условиях ограниченного бюджета.

Одним словом, PostgreSQL, как и любая другая технология, имеет свои сильные и слабые стороны. Возможно, он не идеально подходит для всех случаев использования, но он предлагает жизнеспособную и экономически эффективную альтернативу для многих сценариев, особенно в паре с другими инструментами с открытым исходным кодом для создания комплексного стека анализа данных.


PG для DWH - это запрещено

только GP

ну может только если для совсем мелкого ХД

Хотя верно, что определенные возможности PostgreSQL могут ограничивать его эффективность в качестве хранилища данных для некоторых крупномасштабных приложений, это не означает, что его нельзя использовать вообще. Утверждение, что PostgreSQL "запрещен" для хранилищ данных (DWH), кажется слишком абсолютным. Прежде чем делать столь категоричные заявления, следует рассмотреть множество факторов, таких как размер и сложность данных, конкретные случаи использования и бюджетные ограничения.

Greenplum (GP), который по сути является расширением PostgreSQL, действительно может быть хорошим выбором для больших задач по созданию хранилищ данных. Он включает в себя функциональные возможности, специально разработанные для обработки больших объемов данных, включая параллельную обработку, разбиение на разделы и масштабируемость. Но, опять же, не каждый проект требует такого масштаба, который предлагает Greenplum, особенно небольшие или средние проекты.

Поэтому говорить, что только Greenplum подходит для DWH, несколько радикально. PostgreSQL может быть жизнеспособным решением для задач DWH в зависимости от сценария, особенно для малых и средних предприятий или стартапов. Выбор технологии всегда должен зависеть от конкретных потребностей, ограничений и целей каждого конкретного проекта. Решения с открытым исходным кодом, такие как PostgreSQL и Greenplum, дают компаниям свободу выбора инструмента, соответствующего их конкретным требованиям, без финансового бремени, связанного с дорогостоящими лицензиями на проприетарное программное обеспечение.


в опенсорсе плохой self-service?

Утверждение, что self-service плох в BI с открытым исходным кодом, является слишком широким и не учитывает весь спектр доступных инструментов с открытым исходным кодом. Важно помнить, что BI-платформы с открытым исходным кодом сильно различаются по своим возможностям, как и их проприетарные аналоги. В то время как некоторые инструменты могут иметь ограниченные возможности self-service, другие разработаны с акцентом на функции self-service.

Эффективность BI self-service во многом зависит от навыков пользователей и качества архитектуры данных. Self-service BI может быть улучшено с помощью надлежащего управления данными и обучения пользователей, независимо от того, является ли платформа BI платформой с открытым исходным кодом или проприетарной. Гибкость BI-инструментов с открытым исходным кодом позволяет разрабатывать индивидуальные функции самообслуживания, отвечающие потребностям компании.


нужно витрины делать нормальные и тогда от BI меньше зависимости

странно пытаться запихать все в BI

что значит нормальные?

которые подходят для группы пользователей, оптимизрованы по скорости, содержат неоходимую информацию

А как вам кейс - когда руководство говорит "завтра утром нужен отчет вот с этим показателем :)" и тут нет времени на запрос в ИТ для подготовки витрины...

В тех случаях, когда вас просят быстро подготовить отчет, которого нет в ваших текущих хранилищах данных, это подчеркивает важность наличия гибких, адаптируемых BI-инструментов, способных выполнять специальный анализ (например open-source).

Под "нормальными" я подразумеваю хорошо структурированные и оптимизированные хранилища данных, которые отвечают общим потребностям группы пользователей. Хотя наличие таких "обычных" витрин крайне важно для повседневной работы, всегда будут случаи, когда вам нужно будет выйти за рамки готовых представлений, покопаться в данных и генерировать идеи на лету. Это две стороны одной медали, и комплексный подход к BI должен удовлетворять обеим.

Очень важно поддерживать хорошо управляемый ландшафт данных. Самообслуживание BI наиболее эффективно, когда оно поддерживается надежными методами управления данными, обеспечивающими точность, безопасность и согласованность данных во всех анализах.

Таким образом, хотя "впихивание всего в BI" может показаться экстремальным, наличие универсального, адаптируемого BI-решения позволяет организациям удовлетворять как обычные, так и специальные потребности в анализе данных, что и составляет реальную ценность бизнес-анализа.


Какой приблизительно нужен штат,для развертывания СПО (open-source)?

Персонал, необходимый для развертывания self-service BI / отчетности (СПО) с открытым исходным кодом, зависит от ряда факторов, включая сложность инфраструктуры данных, объем и разнообразие данных, специфические требования организации и опыт имеющейся команды.

Если мы говорим о настройке таких решений, как Apache Superset, Metabase или Redash, то вот примерная разбивка:

  • Архитектор данных/инженер для создания и поддержки инфраструктуры данных, обеспечивая ее оптимизацию для инструмента.

  • Разработчик BI с открытым исходным кодом, имеющий опыт работы с выбранным инструментом, который будет заниматься установкой, конфигурацией и настройкой СПО.

  • Аналитики данных или BI-аналитики, которые могут работать с BI-инструментом, создавать необходимые dashboard и поддерживать пользователей в использовании СПО.

  • (Необязательно, но рекомендуется) Сотрудник или группа по управлению данными для контроля целостности данных, безопасности и соответствия требованиям.

  • (Необязательно) Системный администратор, который будет заниматься установкой и обслуживанием сервера или облачной инфраструктуры, где размещен инструмент.

Однако стоит отметить, что инструменты с открытым исходным кодом также часто пользуются преимуществами сообщества разработчиков, которые могут стать ресурсом для решения проблем и расширения функциональности инструмента.

После развертывания СПО текущие потребности в персонале во многом зависят от объема данных, сложности выполняемых анализов и того, насколько широко инструмент используется в вашей организации. Чем больше у вас пользователей и вариантов использования, тем больше вероятность того, что вам потребуется специальный персонал для их поддержки.

Однако помните, что это всего лишь рекомендации. У каждой организации будут свои уникальные требования и ограничения, которые могут сделать реальные потребности выше или ниже. Прелесть открытого исходного кода в том, что он предлагает гибкость, позволяющую начинать с малого и расширять масштабы по мере роста потребностей вашей организации.


все какие-то коммерческие кейсы. Вот например есть гос классические университеты: один большой с тремя-четырмя ит отделами но не дорогих топ-итишников в городе почти миллионнике и второй  в маленькиом городе 300т населения с одним отделом в 4 итишника. задачи одинаковые - графики аналитики он-лайн по успеваемости/закупкам/выполнению госзаданий по образованию/анализ долгов за обучение и образовательные услуги.... интеграции с1с специфичной - 1С университет ПРО, 1с зарплата гос, 1с финансы бюджетной организации.... и разные lms системы расписаний и расчета нагрузок/зарплат - госзакупок. что порекомендуете таким вузам? маленький никогда bi не видел а большой технический всю жизнь на powerbi жил.

 ВУЗам вообще нужно только опенсорсом заниматься ))

большое кол-во полубесплатной рабочей силы

а "учиться лучше на механике" :))))

 Это к вопросу перехода вуза с Power BI - есть такие кейсы, как в плане внутренней аналитики, так и в плане учебных программ. Главное, DAX не надо заново учить))

это медвежья услуга - засорять человеку мозг узкопроприетарной ерундой

всесто универсального специалиста мы получает "зомбированного" bi-ofrf? который думает, что DAX - это какая-то суперфигня, без которой жить нельзя

Вы попали в точку, говоря о важности внедрения решений с открытым исходным кодом, особенно в образовательных учреждениях.

Для небольших университетов с небольшой ИТ-командой идеальным вариантом может стать инструмент с открытым исходным кодом, такой как Metabase. Он удобен в использовании, имеет относительно легкую кривую обучения и может удовлетворить потребности в базовой аналитике и отчетах. Для крупных университетов, которые уже имеют опыт работы с Power BI, переход на более надежную альтернативу с открытым исходным кодом, такую как Apache Superset, может стать отличным шагом. Это позволит им использовать более мощный инструмент без затрат на лицензирование Power BI.

Более того, как вы правильно заметили, акцент на ПО с открытым исходным кодом в образовательных учреждениях полезен для развития всесторонне развитых ИТ-специалистов. Обучение работе с инструментами с открытым исходным кодом, которые часто включают в себя универсальные языки и концепции, помогает сформировать универсальный набор навыков. Когда студенты и сотрудники знакомятся только с проприетарными технологиями, такими как Power BI и DAX, они могут стать слишком специализированными и упустить более широкую перспективу.

Кроме того, важно помнить, что университеты - это не только потребители технологий, но и инкубаторы талантов и инноваций. Принимая программное обеспечение с открытым исходным кодом и внося в него свой вклад, они могут стать частью большого сообщества, которое способствует технологическому прогрессу.

Что касается интеграции с существующими системами, такими как 1С, большинство BI-инструментов с открытым исходным кодом имеют коннекторы или API, которые могут облегчить интеграцию данных. Очень важно, чтобы ИТ-отделы университетов оценили совместимость и простоту интеграции при выборе инструмента.

Наконец, использование инструментов с открытым исходным кодом может также дать университету возможность взаимодействия с широким сообществом, потенциально привлекая участников, которые могут помочь в разработке и совершенствовании BI-решений, чтобы они идеально соответствовали их потребностям. Это также может способствовать созданию среды, в которой студентов и сотрудников поощряют думать не только об использовании инструментов, но и о том, как они могут участвовать в их создании и совершенствовании.

Комментарии (6)


  1. GromovBI Автор
    20.06.2023 07:31

    Материалы по вебинару можно скачать в папке https://disk.yandex.ru/d/z3ig7AFlGDV45g


  1. GromovBI Автор
    20.06.2023 07:31

  1. economist75
    20.06.2023 07:31
    +1

    Полезно, спасибо, особенно за расчет (по ссылке в 1-м комменте).

    В расчете СПО-дэшборд за 3 года обходится в 40 млн. руб., а на базе ППО QlikSense - аж в 130 млн. руб. Удобно таким расчетом пугать представителей МСБ: понимая что "этот BI" сожрет всю прибыль компании - собственник МСБ на десятилетия решит и дальше "идти по приборам", имеющимся только в его голове.

    Для крупного бизнеса (1+ млрд $ выручки в год) - расчет, имхо, верен. Но у этого сегмента BI уже есть, а острой дилеммы СПО/ППО - нет, поскольку зависимость проще продлевать, чем избавляться от нее.

    Чего не хватило? - Вернемся к МСБ. За рамками баттла остались растущие BI-решения, внедрение которых обойдется в сотни тыс. руб. и , которые можно поднять силами имеющихся аналитиков: без консалтеров, сисадминов, нового железа и новомодных agile/scram-заморочек. Я про Plotly Dash, Panel и, конечно, про Streamlit. Данные для них готовятся в Excel, Python+Pandas, и весь МСБ эту страничку, как правило, уже для себя давно открыл. Да-да, экономисты ежедневно делают ETL на пути форм отчетов из 1С в Excel, умеют в SQL и Pandas, а главное - они хорошо знают предметную область бизнеса. Но серверные и web-технологии для них тяжелы. А еще они понятия не имеют о pipeline, контейнеризации и вообще надежности. Аврал - это их нормальное состояние. Но история на их стороне: все компании когда-то родились и окрепли без автоматизированного BI, на скудных отчетах и интуиции топов и собственника. Современный BI настолько непубличен, что его обязательность - для МСБ не доказана.

    Вот как раз для таких МСБ-предприятий появились fullstack BI-frameworks типа Streamlit, в которых все сложное обернуто в пару строк кода, были бы данные (а они есть всегда - 1С, Excel итп). Жаль что они остались за кадром.


    1. GromovBI Автор
      20.06.2023 07:31

      Спасибо за комментарий. Есть и расширенная версия расчета. Можете обращаться с наших сайтов BI Consult (с любой формы). Да, компания должна дозреть до внедрения BI со всеми вводными (стоимость, трудность). Еще 10 лет назад анализ данных не был таким мейнстримом, но объемы данных растут и необходимость становится все более острой. Да, МСБ не может позволить себе тратить много денег и выкручивается, как может. Но со временем, автоматизация становится необходимой. Еще есть вопрос: а что считать МСБ? 1млрд выручка - это еще МСБ или еще нет? Заграницей - да, это МСБ. А у нас уже серьезный крупный бизнес, который в идеале должен быть data-driven. Да, есть большое кол-во интересных инструментов.


  1. economist75
    20.06.2023 07:31
    +1

    Постановление ППР от 4 апреля 2016 г. N 265: МСБ это до 1,5 тыс.чел.и до 2 млрд. руб. выручки в год.
    На мой взгляд удачный критерий, хорошо сегментирующий экономику на:
    - МСБ (микро+малые+средние ПП) с лимитами 120, 800, 2000 млн. руб.;
    - КБ, крупный бизнес.

    Степень проникновения BI в МСБ низкая, кмк не более 20%. В крупном бизнесе - оцениваю как 80%. Вся надежда на то что OpenSource в части BI/DS/ML сгладит конкуренцию между МСБ и КБ, имеющую подчас уродливую форму, рождающую диспропорции. КБ активно выкачивает мозги, идеи, ресурсы из МСБ (и недра по всему остальному). КБ является рефугиумом оверпрайса и примером странных решений в части палочного импортозамещения. BI нужен всем, и только в КБ он делается любой ценой. А по сути - это всего лишь рядовой инструмент управления.


    1. GromovBI Автор
      20.06.2023 07:31

      да, сотрудников с такими зп (а другим ничем не привлечь), может позволить только КБ. Согласен с утверждениями. Правда "микро и малые" не могут себе позволить хорошие решения, для них скорее больше подходит, например Qlik (да, стоит денег, но быстро и легко внедряется и работает сразу). А от "средних" можно уже думать обо всех вариантах. Все-таки на поддержку open-source надо 2-3 человека с хорошими скиллами.