Привет, Хабр! Меня зовут Евгений Мичурин, я senior BI-разработчик в Авито.

Если у вас BI растёт хаотично — вы наверняка сталкивались с тем же, что и мы: сотни дашбордов, разный стиль, неясные владельцы, дублирующиеся датасеты. В какой-то момент это превращается в хаос, где пользователи не доверяют данным, а self-аналитика становится невозможной.

Мы решили навести порядок и создали фреймворк автосертификации BI‑отчётов. В этой статье рассказываю, как он работает, какие критерии мы выбрали и как мотивировали команды участвовать в процессе.

Введение. Проблема отсутствия маркера качества

В Авито, как и во многих больших компаниях, BI развивался органично и изолированно. Каждая команда создавала дашборды под свои нужды, используя разные подходы, источники, стандарты и стайлгайды. В итоге мы оказались в точке, где имели:

• сотни дашбордов с разной скоростью работы;

• пустые или формальные описания, в которых невозможно разобраться;

• неясных владельцев — люди уходили из компании, а отчёты оставались;

• дашборды с прямыми запросами к продовым базам, тормозившие систему;

• дублирующиеся датасеты с минимальными различиями, занимавшие место на диске.

Последствия были предсказуемыми: 

• 62% пользователей испытывали трудности при поиске нужного отчета в Redash;

•  41% не доверяли данным и требовали валидации у аналитиков; 

• self‑service аналитика была невозможна;

• внедрение ИИ‑ассистентов становилось рискованным — они могли «научить» пользователей на плохих данных.

Мы поняли: нужны стандарты качества. Так появился фреймворк сертификации BI‑отчётов — система автоматической проверки по ключевым аспектам.

Позже мы добавили понятие «ключевого отчёта», но сначала поговорим о сертификации.

Что такое сертифицированный отчёт

Сертифицированный отчёт — эталонный BI‑продукт, прошедший автоматическую и комплексную проверку по стандартам качества. Его использование обеспечивает:

• надежность данных — точность и актуальность;

• производительность — высокая скорость работы;

• понятность — полные описания и метаданные;

• поддержку — закреплённый ответственный разработчик.

Мы полностью переработали интерфейс Redash под нужды сертификации: добавили статус качества в хедер, изменили главную страницу поиска с акцентом на сертифицированные и ключевые отчеты.

На главной странице нас сразу встречает:

• название отчета;

• признак ключевого отчета;

• дата обновления всех источников;

• статус автосертификации:

  • ✅ Сертифицирован

  • ? Нужны доработки

  • ? Не сертифицирован

  • ? На проверке;

• иконки для каналов поддержки и документации.

При наведении на иконку можно увидеть, в каком блоке отчета есть проблемы. 

В поиске также сделан акцент на сертифицированные и ключевые отчеты.

Критерии автосертификации

Мы определили четыре основные группы критериев, из которых складывается признак автосертификации.

Метаданные

Подробное описание метаинформации отчёта положительно сказывается на опыте пользователя — ему легче найти отчёт в поиске, понять его назначение и найти ответственных.

Специально под эти критерии мы разработали и добавили в интерфейс Redash «Админ‑панель», где автор должен полностью описать все поля меты: название, подзаголовок, описание для поиска, целевую аудиторию и ссылки на каналы поддержки или документацию.

Условия для прохождения проверки:

• отчет должен иметь корректное название (без капса, цифр подряд и т.д.);

• Readme (подробное описание отчёта) должно быть ≥ 300 символов;

• заполненный Description (краткое описание) — отображается при поиске отчёта в Redash;

• External links (внешние ссылки) — обязательно хотя бы одна ссылка на канал поддержки;

• Target audience (целевая аудитория) — должна быть заполнена, чтобы отчёт попадал в блок рекомендаций для нужной группы пользователей.

Это нужно, чтобы улучшить поиск и сократить время онбординга новых пользователей.

Производительность

Сертифицированный отчет должен быть оптимизирован и быстро работать. Это технический критерий, который складывается из двух пунктов:

• скорость — время отклика дашборда < 7 секунд (среднее за месяц). Хорошо оптимизированный отчёт меньше нагружает систему и дает пользователю лучший опыт;

• процент ошибок — доля открытий с ошибкой < 5% (среднее за месяц). Это показывает, что разработчик проработал все сценарии использования. Простейший пример — ошибка деления на 0 при отсутствии данных в определенном срезе.

Для повышения производительности мы рекомендуем использовать специально подготовленный гайд по оптимизации.

Источник данных

Сертифицированный отчет должен быть построен на проверенных и качественных источниках.

Во-первых, Health Score датасета > 85%. Это внутренняя метрика качества, которая рассчитывается по формуле:

HealthScore = 0.3 Техническое cостояние + 0.25 Архитектурная чистота + 0.25 Актуальность источника + 0.1 Гигиена кода + 0.1 * Бизнес‑значимость

Во-вторых, отчёт построен на датасетах — продовые отчёты не содержат прямых запросов к Vertica/Trino. Мы делаем весь BI на ClickHouse (с редкими исключениями).

Статус качества датасета прозрачен и доступен для проверки каждому пользователю.

Актуальность

В сертифицированном отчёте каждый объект должен иметь актуального владельца и быть доступным в поиске.

• У всех объектов отчета есть владелец, работающий в компании.

• Нет архивных объектов — в Redash нельзя удалять объекты, мы их архивируем, но они не должны попадать в сертифицированный отчёт.

• Отчет опубликован и доступен для поиска.

• Отчет не находится в песочнице. Для этого мы добавили в Redash новое свойство проекта — is sandbox.

Это самые простые и базовые критерии из всего списка.

Ключевые отчеты: фокус на главном

Теперь подробнее про признак «ключевого отчета» — отчета, который:

• собирает больше всего трафика в своём домене;

• отвечает на самые важные бизнес‑вопросы;

• рекомендуется к использованию внутри домена («этим отчетом сейчас точно можно пользоваться»).

Ключевые отчёты получают специальную метку в интерфейсе. Это помогает новым пользователям быстрее находить верхнеуровневые отчёты, в которых они наверняка смогут получить проверенные данные. Разработчикам это дает четкую фокусировку на конкретном пуле отчётов — мы не распыляем силы на всё, а делаем упор на избранной прослойке отчётности.

Если автосертификация работает в независимом режиме, то признак «ключевого отчёта» проставляется вручную и накладывает дополнительную ответственность BI‑тимлидов.

Как мы сейчас влияем на качество отчетов?

Сертификация — это цель, но нужно как-то агитировать людей на её достижение. Для этого несколько раз в год мы проводим мероприятие BI‑субботник.

Что такое BI‑субботник? Это регулярная активность, где:

• Аналитики работают над своими отчетами (каждая команда ограничена по‑своему, но в среднем это 3 SP в спринт);

• BI‑разработчики помогают аналитикам и оптимизируют объекты;

• BI‑партнеры (ответственные за домен) курируют процесс, следят за прогрессом и обосновывают необходимость изменений.

Наш последний субботник был в основном направлен на заполнение отчетов новыми полями метаинформации и удаление ненужных витрин.

Для долгосрочных задач — оптимизация медленных запросов; устранение дублирования датасетов; перенос расчётов на ClickHouse — мы создаём специальные задачи в Jira с тегом bi‑health, что даёт нам понимание нагрузки.

Ну и конечно, проще сделать сразу хорошо, чем потом исправлять, поэтому мы пропагандируем продуктовый подход к разработке отчётности.

Прогресс сертификации отслеживаем через дашборды.

Ключевым для скорости итераций оказалось архитектурное разделение ответственности: команда Redash предоставила нам гибкий бэкенд для интеграции, а команда BI отвечает за расчет и передачу признаков автосертификации. Это позволило независимо тюнить бизнес-логику проверок и мгновенно добавлять новые критерии — без блокировки на релизах Redash и без ожидания чужих спринтов.

Результаты

За 1,5 месяца мы смогли:

✓ Сертифицировать порядка 440 отчётов (≈12% от всех);

✓ Актуализировать статус у около 3 тысяч дашбордов;

✓ Переработать UI Redash в лучшую сторону.

Что дальше?

Сертификация — не разовая акция, а культура качества данных. Наши следующие шаги:

• автоматизация проверки — чтобы статус сертификации обновлялся в реальном времени. Пока мы живем с лагом;

• введение цикла ревью ключевых отчетов — ручные проверки отчетов, с повторным подтверждением статуса «ключевого» через полгода;

• интеграция с внутренними ИИ‑ассистентами — чтобы они рекомендовали в первую очередь сертифицированные отчёты;

• расширение автосертификации на другие объекты — датасеты, витрины и т. д.;

• создание удобных сертифицированных коллекций отчётов, которые будут размещаться на специальном BI-портале.

• программа «BI‑Амбассадоров» — лучшие практики от самых качественных команд.

Советы для других компаний

Если вы задумываетесь о внедрении подобной системы:

• начните с фреймворка сертификации — четкие критерии лучше абстрактных пожеланий;

• автоматизируйте сбор метрик — Health Score стал нашими «глазами»;

• проводите регулярные субботники с конкретными целями — можно начать с одного раза в год, потом постепенно увеличивать и в конечном итоге дойти до автоматизации процесса (что мы и планируем).

• вовлекайте обе стороны — и владельцев (аналитиков), и разработчиков;

• создайте канал поддержки — это снижает трение и ускоряет процесс;

• не наказывайте, а помогайте — субботники это не про KPI, а про улучшение экосистемы;

• не бойтесь менять планы — в процессе реализации могут всплыть неожиданные вещи, как у нас с «ключевыми отчетами».

Заключение

Чистота BI — это не про эстетику, а про эффективность. Качественные данные → быстрая аналитика → правильные решения → рост бизнеса.

Сертификация дашбордов в Авито — это наш способ навести порядок в данных, чтобы каждый сотрудник мог самостоятельно находить ответы и принимать решения.

Но самое важное — это часть более глубокого подхода к дашбордам как к продукту. Мы, как и многие, проектируем новый опыт получения инсайтов через Gen AI-ботов. В этой перспективе юзкейсы дашбордов будут естественным образом сужаться до мониторинга и репортинга, а задачи исследований и разовых выгрузок будут всё больше уходить к AI-инструментам.

Однако этот эффект не отменяет дашборды как сущность — а наоборот, делает их роль еще более важной. Если Gen AI будет рекомендовать и строить выводы на основе данных, то критически возрастает важность разметки здорового контента, сертификации источников и рекомендаций на основе объективных метрик качества. Чем лучше мы разметим нашу BI-экосистему сегодня, тем умнее и полезнее будут наши AI-ассистенты завтра.

В конечном счёте, автосертификация — это не только про порядок в данных, но и про подготовку инфраструктуры для следующего шага эволюции аналитики, где аналитик и AI работают в паре, опираясь на проверенные, качественные и хорошо описанные данные.