Привет, Хабр! Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это время мне стало очевидно, что примерно 50% действий, которые мы сделали, можно было и не делать, а 20% не стоило делать вовсе. В итоге получилась практически инструкция “как не надо” выбирать себе BI-систему, если вы хотите, чтобы она действительно начала приносить вам пользу ASAP.

Я работаю в секторе логистики, и за прошедшие годы руководство уже привыкло принимать решения на основе данных, которые предоставляла нам платформа Tableau. Было выстроено DWH на базе Postgres, в которое сгружались самые разные данные, а уже для расчетов и визуализации мы настроили их забор на BI-платформу. И все было бы хорошо, но в дальнейшем продлении лицензий официально нам отказали. Срок действия существующих был достаточным, и мы начали выбирать себе новую платформу. Быть может, именно эта расслабленная позиция, что “время еще есть” и стала причиной зря потраченных ресурсов. Но из-за этого я приобрел опыт, который точно пригодится мне в будущем. А может быть пригодится и кому-то из вас, дорогие читатели моего поста.

Русский BI — это особый колорит

Думаю, каждый человек, который сталкивается с необходимостью выбирать российский BI, неизбежно удивляется тому, сколько разного БиАя есть на земле русской! Я даже нашел пост на Хабре, посвященный именно этому вопросу. 

Это просто удивительно, что трем самым популярным на глобальной арене BI-системам противопоставляется две дюжины российских аналогов! Конечно, во всем этом хочется разобраться и сделать правильный (для себя) выбор. Я не буду останавливаться на том вопросе, что взять и полностью заменить ваш старый BI на российский без усилий и потерь не получится — мне кажется, это уже для всех очевидно, хотя некоторые вендоры все-таки заявляют о “простом переходе” в своей рекламе. Но, естественно, хочется убедиться, что выбранная платформа вообще будет работать как вам надо. И тут начинаются те самые нюансы, о которых я хочу вам рассказать. То, что приведено ниже — результат моих собственных находок, а также некоторая компиляция “синяков”, которые собрали наступая на одни и те же грабли коллеги по цеху. 

Тут вас точно обманут

Будут ли вендоры вас обманывать? Точно будут! Этим занимаются все и всегда, включая Microsoft, Google и прочих. Но в сфере BI есть свои специфические моменты, которые оказываются совершенно бесполезны при выборе новой платформы. 

Ответьте на наш опросник

Да, практически каждый вендор (а точнее его отдел продаж) или партнер-интегратор охотно ответит на все вопросы, которые вы им зададите. Конечно, возникает соблазн составить длиннющий опросник, в котором выяснить все факты соответствия платформы вашим ожиданиям. Проблема в том, что сформулировать вопросы так, чтобы вендор не интерпретировал их в свою пользу, практически невозможно. 

Например, вы хотите узнать: “Поддерживает ли ваша платформа Self-service?”. Ну что за вопросы? Конечно же, поддерживает — ответит вам практически любой менеджер по продажам, которому этот опросник попадет в руки. 

Чтобы этого не произошло, нужно уточнять, что именно вы понимаете под Self-service? Например, мы конкретизируем: “Может ли аналитик сам создать дашборд, без помощи программиста?”

Ответ будет: “Да, может!” (правда перед этим нужно потратить N часов на подготовку шаблонов, и работать это все будет только в ситуациях А и Б, причем вы не сможете перенести этот опыт на другой раздел без знания Python — но об этом заполняющий, конечно же, скромно умолчит). 

“А может ли он это сделать без подготовки шаблона программистом?”

И снова ответ “Да, может!” (но только в случае если вы используете простую гистограмму и два ряда данных).

И так с каждым пунктом. Получается, что сформулировать критерии максимально четко в рамках опросника просто не реально. Вы прождете месяц-другой, и вам вернут просто бесполезные листочки, в которых почти везде будет стоять ответ “да” или “ожидается”.

Пилот силами вендора — от лукавого

Естественно, вам хочется попробовать систему на реальной задаче, желательно на своей. Как посмотреть работу BI на ваших данных? Пусть вендор сам вкалывает (или его партнер) и покажет, на что способен. 

Это плохо. Объясню почему. Мы — не слишком крупная компания. И на пилоте у одного из вендоров ему мы были не очень интересны. Как следствие, наш проект “спихнули” партнеру, но не просто какому-то, а новичку. Ребята разбирались, ковырялись и один из них проговорился, что они сами только выясняют, что к чему в системе, и фактически тратят наше время. У меня сразу возник вопрос — а если они ни черта (извините) не знают, как они смогут показать нам потенциал платформы?

Думаю, если вы крупная компания и интересны вендору как якорный заказчик, то может выйти еще хуже. Команда супер-профессионалов из человек 5-10 пару недель без сна и полностью на RedBull будет пилить то-то уникальное с кучей кастомных элементов и получится конфетка, которая “типа это элементарно сделать у нас”. Дальше вы купите лицензии, начнете делать это для других задач… А все не так просто. Нужно много часов и дорогих специалистов, и окажется, что весь цирк совершенно экономически неэффективен, и лучше было взять что-то универсальное из цветника российского BI.

Hе верьте роадмапам

Роадмэп — страшная штука. Она не выполняется никогда и никакими вендорами на 100%. Причин этому целая куча — ведь при смене ситуации любой нормальный руководитель будет пересматривать бэклог и принимать решения о смене приоритетов, если что-то стало важнее другого. 

В разговорах с вендорами меня больше всего порадовали следующие фразы:

№1. “О, да! Это очень важная фича. Она появится очень скоро, подождите буквально месяц/год”. Интересно, а почему же ее не сделали раньше, если она очень важная? Были другие приоритеты? А что, если снова изменятся?

№2. “Это отличное предложение! Мы прямо сейчас добавим его в роадамап. Сделаем в релизе 7.2!” А что, я первый про это спросил? А если при разговоре со следующим клиентом мой запрос выкинут, а другой — достанут. 

№3. “Наш роадмап подробно расписан, на каждый релиз на протяжении года запланированы конкретные возможности”. Ну это вообще очень сложно. Как угадать, сколько уйдет часов разработки, если возникнут сложности? Подобный роадмэп похож на маркетинговую картинку скорее.

№4. “А у нас нет роадмэпа. То есть он есть, но мы его никому не показываем, потому что все время все меняется и мы адаптируемся под клиентов”. Тут вообще без комментариев.

Мне кажется, хорошо, когда есть приоритеты, общие вехи, понимание, куда движется платформа. Излишняя детализация и частности, на мой взгляд, должны вызывать опасения.

Нагрузочное тестирование — особые сложности

На самом деле для российского BI вопрос нагрузки остается открытым. Многие платформы еще “молоды и зелены”, и поэтому точно никто не может сказать, выдержат ли они анализ, скажем, 100 Гб информации в режиме real-time с нагрузкой в параллель для 50 аналитиков? 

Проверить это сложно. Может быть, сделать силами вендора? “Покажите нам, может ли ваша система работать с таким-то объемом данных?” — так и хочется задать вопрос. И мы даже пробовали.

Но когда речь идет о поддержке Больших Данных, неизбежно возникает вопрос: “А насколько больших?” Любой вендор будет трактовать в свою пользу возможность просто запустить DWH на ClickHouse, оптимизировать его силами крутого DBA и потом тянуть данные в BI. Это, насколько я понимаю, можно сделать в любой BI-платформе. Поэтому хочется провести прямо вот реальный тест.

И если вы обращаетесь к вендору, тут возникает два варианта: либо проект будет длиться месяцами, а потом вам покажут какие-то общие варианты нагрузки, которые не гарантируют ничего. Либо высококвалифицированные специалисты покажут, что на тесте все замечательно. А в реальной жизни к каждому дашборду придется приставлять по 2 архитектора и проводить оптимизации, стоящие времени и денег.

Разбираться с нагрузкой, увы, нужно самостоятельно. Правда, если делать это качественно, чтобы можно было доверять результатам — это очень серьезный проект, на месяцы. Делать это даже только для BI-платформ из шортлиста? Мне кажется, такое могут потянуть только очень большие ИТ-команды, которые никуда не торопятся, и у которых полно свободных ресурсов. На мой взгляд, единственный разумный способ — это найти референсы, поговорить с людьми, которые уже делали это на такой же платформе (это возможно на отраслевых мероприятиях, конференциях — проверено). Но вендору тут я бы доверять точно не стал.

Осторожнее

Впрочем, не всегда разочарование будет 100%. Как я выяснил на своей шкуре, есть также вероятность несколько обмануться в ожиданиях. Поэтому я предложил бы проявлять максимальную осторожность.

При общении с вендором/инетгратором 

Ведь с вами будет общаться команда пресейл. А те, кто возьмет на себя реализацию проекта — это совсем другие люди. А техподдержка — вообще третья команда, как правило. 

Конечно, при выборе BI-платформы также хочется получить профессионалов, которые помогут ее поддерживать, развивать и осваивать. Поэтому не хочется купиться на одно, а потом получить другое. 

Позитивное общение лучше подкреплять отзывами тех, кто имел опыт реальных внедрений с данным вендором/интегратором. А качество работы поддержки можно проверить, поиграв в “тайного покупателя”. 

При изучении исследований, рейтингов и сравнений

С одной стороны, без базового обзора вообще никуда — иначе как отличить этих вендоров друг от друга. Но с другой стороны, нужно помнить, что каждый из авторов каким-то образом искажает реальность, у него есть своя оценка, своя мотивация. Да, чем выше репутация у автора рейтинга, тем более релевантным будет рейтинг, но я бы не стал ориентироваться на “Вот это лучшая BI-система”. 

В конечном счете все зависит от ваших задач. И если уж рассматривать результаты какого-либо рейтинга, то лидерами нужно считать ТОП 3 или даже всех ТОП 5. А те рейтинги, в которых отсутствуют лидеры по версии других авторитетных источников (а такие есть — это точно), нужно просто пропускать мимо.

Подделать невозможно

Впрочем, есть и хорошая новость. Существуют факторы, которые невозможно подделать. Одним из них (на который я сначала не обращал внимания — посыпаю голову пеплом), являются…

Профессиональные сообщества

Если они существуют не для галочки, и если там идут обсуждения реальных задач — одни спрашивают, другие делятся опытом, значит продукт живет. Кстати, перечень сообществ активно мониторят в Russian BI Chat. Но будьте осторожны — не смотрите только на цифры. Важно, чтобы в чатах обсуждались актуальные для вас задачи, а не количество спящих членов сообщества.

Контент в открытой форме

Доступность открытого контента — это важный показатель. При этом если речь идет о ролике на YouTube или какой-то статье, обратите также внимание на количество просмотров и на содержательность материала. Если проводить аналогии с западными вендорами, то у всех лидеров — просто невероятное количество материалов по работе с платформой. Это касается, и Qlik, и Tableau, и Power BI.

Если у вендора реально есть накопленная база How-To и количество материалов, необходимых для работы, постоянно растет, это хороший знак. Если же кругом только анонсы, релизы и заявления — то, наоборот, стоит насторожиться. 

Кейсы и истории успеха

Тут, быть может, я сыграю в КО, но наличие кейсов — это реальная метрика. Например, если вендор делает все проекты только в одной крупной монополии, стоит задуматься, подойдет ли вам его продукт? А если кейсов нет вообще, никто из сторонних компаний не говорит о решении, то возникает вопрос — стоит ли тратить время на эту систему.

Кадры

Еще один момент, который невозможно ни скрыть, ни спрятать, ни подменить — это наличие спроса на кадры, а также возможностей эти самые кадры подготовить. Заходите на HH и смотрите, нужны ли специалисты по такой-то платформе? Ищут ли их работодатели? Если нет, то можно задуматься.

С другой стороны, сейчас все вузы так или иначе, начинают переводить свои рельсы на российский BI. И если система действительно смогла заинтересовать академическую среду, и подходящие вам университеты будут готовить кадры под этот BI-продукт, значит, он будет развиваться.

Особые фичи

Да, у некоторых платформ есть какие-то особенности, которые позволяют выделить их среди других для вас лично. И это может быть дополнительный аргументом, если вам важны какие-то фишки. Например, это может быть бесплатность у Yandex DataLens, наличие SmartForms для ввода данных у Visiology, изначальная интеграция с RPA у PIX и так далее. Это будет объективный фактор, но его стоит рассматривать только как дополнительный аргумент. Ведь если система не потянет, например, ваш объем данных, какой в этом всем смысл?

Заключение

Но вернемся к практике. Мы потратили кучу времени на анализ данных, которые были бесполезны и попытки сопоставить фактически маркетинговые уловки разных вендоров. Поэтому, когда вы выбираете BI, важно не погрузиться в непродуктивную работу, которая может съесть кучу времени. На своем опыте я бы дал три совета на эту тему:

• Нужно ориентироваться на те вещи, которые невозможно подделать

• Не стоит углубляться в теоретические сравнения — у вас все равно не получится идеального.

• Попробуйте что-то сделать в системе своими руками/ Поговорите с теми, кто реально делает что-то и кому вы не то чтобы доверяете, а хотя бы не имеете оснований не доверять. Собирая фидбек по системе, берите непредвзятых людей, а не тех, кого привел вендор. Последние могут быть ангажированы просто потому, что сотрудничество с вендором важно для них.

Другими словами, не расходуйте много времени на подготовку, а просто берите подходящую по большинству факторов систему, узнайте о ней от тех, кто уже что-то внедрил, и начинайте что-то делать. Потому что после длительного сравнения и демагогии все равно придется поступить именно так.

P.S. Как вам мемчики из моего любимого фильма? По-моему, очень даже в тему вышли. :)