В последние годы на российском BI-рынке появилось огромное количество BI-систем: по данным некоторых исследований, их число уже перевалило за сотню! Конкуренция растет, приложения стремительно развиваются, а выбор BI-системы для конкретного внедрения становится сложной задачей, что порождает спрос на сравнительный анализ, рейтинги и всевозможные исследования рынка BI. 

Для бизнеса, на первый взгляд, такие рейтинги могут показаться находкой – вон он, способ быстро и просто выбрать лучшее BI-решение. Однако на деле всё совсем не просто – можно заметить не только различия от рейтинга к рейтингу, но и очевидные противоречия.

Почему так происходит? И как всё-таки выбрать BI-систему для компании? Попробую разобрать ключевые моменты.

Много рейтингов — много вопросов

Если изучить рейтинги и исследования подробно, возникает вопрос: как так выходит, что одна и та же BI-система занимает первую строчку в одном рейтинге и оказывается в конце списка в другом? Все дело в методологии и подходе.

Каждый производитель рейтинга или исследования использует собственные критерии и методы оценки, которые могут значительно отличаться друг от друга.

Один рейтинг делает акцент на масштабируемости системы и работе с большими объемами данных, что критически важно для крупных компаний.

Другой фокусируется на удобстве интерфейса и self-service возможностях.

Третий рейтинг скрупулезно оценивает функциональность, проверяя наличие самых разных параметров, например, наличие прогнозной аналитики, геоаналитики, количество встроенных визуализаций или интеграций с различными СУБД.

А четвертый главным критерием своего рейтинга ставит выручку, как, например, это делает рейтинг TAdviser.

Разные цели — разные результаты

Еще один важный момент — это цели, которые ставят перед собой авторы исследований. Они могут значительно влиять на его результат.

Не секрет, что на рынке существуют заказные рейтинги и исследования, направленные на продвижение конкретной BI-системы, с которой исследователи имеют тесные коммерческие связи. Такие рейтинги легко распознать по нескольким признакам.

Во-первых, тут сразу бросается в глаза, что "продвигаемая" система вырывается вперед буквально по всем параметрам, чуть ли не с идеальными показателями. Особенно это заметно, когда система показана как безусловный лидер, с огромным отрывом от конкурентов — тут уже можно начинать сомневаться в объективности этих результатов.

Во-вторых, еще один маркер заказного рейтинга — отсутствие единой методологии оценки для всех участников. Разные системы оценивают по разным параметрам. Одна платформа получает высокие оценки за наличие встроенных ETL-инструментов. У платформы-конкурента этот функционал тоже есть, но в рейтинге он вовсе не упоминается. Внимание читателей концентрируют на тех аспектах, где выбранная система выглядит лучше всего, а сильные стороны конкурентов игнорируют. Картина искажается.

Авторы подобных исследований таким образом искусственно создают контраст между выбранной платформой и конкурентами, оставляя впечатление, что нужная система превосходит всех остальных. Это приводит к тому, что конечный пользователь может принять неправильное решение, полагаясь на такие данные.

Еще одна проблема — кто стоит за проведением исследования. Если рейтинги составляют авторитетные аналитические агентства или известные отраслевые порталы, можно надеяться на определенную объективность и прозрачность. Обычно такие рейтинги сопровождаются пояснением методологии, что дает компаниям шанс понять, насколько подходы и критерии релевантны для их нужд. Но нередко рейтинги составляются теми, чья компетентность и объективность могут вызывать сомнения, и тут уже есть о чем подумать. Что стоит за этими результатами? Какие мотивы у тех, кто их публикует? И вряд ли можно говорить о полной объективности.

Ошибки и неточности

Кроме методологических вопросов, существует еще одна большая проблема — технические ошибки и неточности в самих публикациях. Особенно часто проблемы возникают там, где составители обзоров не взаимодействуют с вендорами. Если вендор не участвует в процессе подготовки рейтинга, ему не дается возможность исправить ошибки и неточности. В итоге — неверная информация, которая может вводить в заблуждение.

Причем, обычно сами вендоры всегда охотно идут на контакт и готовы предоставить всю необходимую информацию, ссылки на соответствующие разделы в документации и многое другое. Но, но…

Как следствие – искажения, неточности и даже фактические ошибки, как о вендоре, так и о популярных и хорошо известных на рынке системах. Досадные опечатки, вряд ли сильно повлияют на впечатление о продукте. Например, в одном из недавних рейтингов ClickHouse был написан через дефис: Click-House. А вот странные утверждения могут сильно испортить впечатление.

Например, про нас написали следующее:

Основными способами развертывания Luxms BI являются: виртуальная машина на основе CentOS 7, Docker, Облака, OpenShift, ArenaData Cluster Manager, Multi-Tenan

Я был сильно удивлён, что из всех рассматриваемых систем именно Luxms BI поддерживает редкий способ развёртывания Multi-Tenan. С одной стороны, приятно, что Luxms BI обладает уникальным функционалом, по мнению независимых экспертов. С другой, я про Multi-Tenant кое-что знаю, а вот термин Multi-Tenan прочёл впервые. Рейтинг просто-напросто опечатался? Но ведь multi-tenant - это архитектура, и на фоне OpenShift и облаков выглядит как то самое слово из тестов “Найди лишнее”, которое надо вычеркнуть.

Кроме того, CentOS 7 уже прошёл свой EOL 30 июня 2024 года, и мы, как ответственный вендор, заблаговременно подготовились к этому. С нашей точки зрения, основными способами развертывания Luxms BI являются: пакеты для Linux (Rocky 8/9, Astra 1.7/1.8, RedOS 7/8), Arenadata Cluster manager (ADCM), возможно развёртывание тестовых и разработческих сред в OpenShift.

Очевидно, что имея пакеты под Linux, можно развернуть Luxms BI в любом облаке, но является ли это основным способом развёртывания? Наверное, нет.

Такие ошибки и опечатки могут возникать из-за невнимательности авторов или банальной нехватки компетенций...

На фоне общей для всей IT-отрасли проблемы нехватки квалифицированных кадров, взаимодействие с вендорами при подготовке рейтингов — это простой и доступный способ устранить неточности и исправить опечатки до момента публикации. Но обращаются к нам не всегда, и это, к нашему сожалению, приводит к печальным результатам.

Доверять рейтингам или тестировать самим

Рейтинг не может стать решающим критерием для выбора такой сложной и важной системы, как BI. Он может стать отправной точкой для предварительного отбора нескольких систем, которые требуют дальнейшего тестирования и апробации. Окончательное решение должно быть основано на глубоком анализе потребностей конкретной компании с учётом её индивидуальных требований.

 Вот несколько моментов, которые стоит учесть при выборе системы:

• Анализ потребностей конкретной компании. Для каких задач требуется BI-система? Какой функционал является критичным? Кто будет основными пользователями — топ-менеджеры или аналитики? Понимание конечного пользователя и его потребностей — первый шаг к правильному выбору.

• Учёт опыта реальных внедрений. Ничто не характеризует систему лучше, чем успешные проекты, реализованные на ней. Стоит изучить опыт компаний, особенно тех, которые работают в вашей или смежной отрасли. Также стоит обратить внимание на крупных и известных клиентов — у них, как правило, высокие требования к безопасности, производительности, интеграции и функционалу. Опять же, найти эту информацию совсем не сложно и никакой рейтинг для этого не нужен - вендоры сами охотно рассказывают об успешных кейсах на сайтах и мероприятиях. Мы своими недавно поделились на большой конференции. Кстати, посещение мероприятий вендоров тоже может помочь - можно сразу задать все интересующие вопросы непосредственно самим пользователям.

• Тестирование функционала. Не нужно верить на слово! Стоит запросить доступ к демоверсии и самостоятельно протестировать необходимый функционал. Например, крупные компании, такие как «РЖД» и «Газпром нефть» проводят длительные внутренние тестирования и апробации BI-систем перед внедрением. Это включает проверку на совместимость с уже существующими системами, нагрузочные тесты, проверки на соответствие требованиям безопасности, оценку возможностей расширения функционала и доработки системы, и чаще всего проводят пилотные проекты на реальных данных. Такой подход позволяет понять, насколько система действительно отвечает потребностям компании, а не просто соответствует критериям какого-то абстрактного рейтинга.

• Развитие системы. Насколько активно вендор развивает продукт и как формируется карта развития? Как часто выходят новые релизы, какие фичи добавляются? Соответствует ли развитие системы вашим будущим потребностям? Сможете ли вы участвовать в развитии BI-системы, насколько вендор готов учитывать ваши требования? Это даст представление о том, сможете ли вы получить необходимый именно вам функционал и на каких условиях. Смотрим эту информацию на сайтах вендоров: все публикуют свою карту развития, а также делятся новым функционалом в релизах.

• Наличие технической поддержки. Поддержка — ключевой элемент при работе с любым IT-решением. Важно понимать, как быстро и эффективно вендор решает возникающие проблемы.

• Интеграция с существующими системами. Насколько легко BI-система интегрируется с существующими именно в вашем ландшафте решениями? Хорошо интегрированная система сокращает сроки внедрения и снижает риски возникновения технических проблем в будущем.

Вместо вывода

Рейтинги могут быть полезным ориентиром, но их недостаточно для надёжного выбора BI-решений. Проводите внутренний анализ, опирайтесь на реальные примеры внедрений и тестируйте решения на ваших собственных данных и мощностях. Только так можно выбрать систему, которая полностью соответствует потребностям именно вашей компании.

Поделись своим опытом: обращаете ли внимание на рейтинги при выборе ИТ-решений? Насколько им доверяете — полагаетесь на них полностью или рассматриваете просто как отправную точку для собственного анализа?

А в продолжение можно почитать еще вот эту интересную историю по выбору BI.