Привет, Хабр! На связи Сергей Кноль, маркетинговый аналитик, отвечаю за всю аналитику маркетинга в М2 и Артём Колесник, руковожу продуктовым маркетингом.
В М2 мы столкнулись с задачей и пытались ответить на вопрос: как связать цели бизнеса с работой отдельных маркетинговых команд — и при этом не поставить человеку в KPI метрику, на которую он почти не влияет?
Мы решили построить единое дерево метрик, которое связало бы бизнес-показатели с тем, чем маркетинг действительно может управлять. В статье расскажем, как мы трижды пересобирали модель, почему в итоге отошли от классической декомпозиции сверху вниз, какие правила помогли не превратить адаптацию фреймворка в подгонку под ответ и как теперь используем дерево для постановки KPI и оценки маркетинговых инициатив. А ещё — где этот подход пока не работает. Полезно будет маркетологам, которые хотят переиспользовать наш подход для декомпозиции целей компании до отдельных отделов и сотрудников маркетинга.
Что было до дерева
Цели в М2 декомпозируются до отдельных продуктов. Но на уровне маркетинга эта логика почти не продолжалась: продуктовая цель фактически становилась и целью маркетинга. Например, если продукт отвечал за количество сделок или выручку, эти же показатели могли попадать в KPI маркетологов.
Проблема целей была в том, что на конечный результат влияют сразу несколько команд: продукт, маркетинг, продажи и другие направления. При этом было неясно, какая часть результата находится в зоне влияния каждой из них.
Особенно заметно это было на примере роли продуктового маркетолога (Product Marketing Manager). Он работает внутри продуктовой команды и мог получить в KPI конечный результат продукта, хотя напрямую управлял только частью факторов, которые на него влияют. При этом вклад других маркетинговых направлений не был связан с этим результатом единой системой метрик и не прослеживался как общий результат.
У такого подхода была проблема — не было понятно, где заканчивается зона влияния одной команды и начинается зона влияния другой. На конечный результат одновременно влияют продукт, маркетинг, продажи и другие команды, но ответственность за него при этом никак между ними не разделялась.
Мы хотели получить не просто набор метрик, а устойчивую систему, которой можно пользоваться в разных задачах. Она должна была стать инструментом коммуникации с бизнесом и смежными командами: показывать зоны влияния маркетинга и давать общую логику для оценки разных инициатив.
Как мы строили систему метрик
Команда аналитиков проанализировала наш запрос и выбрали методологию, которая лучше всего подойдёт для нашей задачи: опирались мы на практики рынка. Сначала склонялись к фреймворку “пирамида метрик”.
Пирамида метрик — это слои с метриками, на каждом уровне пирамиды метрики более детализированные и низкоуровневые. Во главе пирамиды обычно находится главная метрика продукта. Связь между уровнями не обязательна – подход направлен на то, чтобы держать в фокусе пул из основных 7-10 метрик продукта. Этот подход помогает объединить разные по природе показатели и сохранить фокус на главном. Но для нас этого оказалось недостаточно — пирамида не позволяет однозначно проследить логическую связь между метриками.
Поэтому мы остановились на дереве метрик. Оно позволяет последовательно выстраивать связи между показателями и показывать, как более низкоуровневые метрики связаны с общими бизнес-результатами.
Для нас это было особенно важно, потому что систему предстояло согласовывать с бизнесом и коллегами из смежных команд. Нужно было не только выбрать набор маркетинговых метрик, но и объяснить их контекст и показать, как они связаны с общими показателями продукта.
С фреймворком определились и приступили к построению дерева. Двигаться решили по классической логике: декомпозировать метрики сверху вниз — от ключевых бизнес-показателей, прибыли и выручки.
Такой подход казался логичным: цели маркетинга должны быть связаны с продуктовыми, а продуктовые — с общими целями бизнеса. До определённого уровня эта логика действительно работала, но дальше начали появляться проблемы.
Во-первых, в дерево не получалось органично встроить метрики экономической эффективности — CAC, CPA, CPL и другие. Чтобы добавить их, приходилось дублировать часть логики из ветки с выручкой, из-за чего модель становилась перегруженной.
Во-вторых, изначально нам казалось логичным разделить ветки по флоу новых и повторных пользователей.
Но при переходе к метрикам трафика — сессиям и уникальным пользователям — те же показатели приходилось дублировать в обеих ветках. Кроме того, многие маркетинговые каналы лишь ограниченно влияют на то, окажется привлечённый пользователь новым или повторным.
В итоге у нас получалось скорее продуктовое дерево. Оно плохо масштабировалось на разные продукты М2: на определённом уровне одну и ту же логику приходилось дублировать для каждого продукта, при этом сами продукты отличались по воронкам и ключевым метрикам. В результате мы постепенно приходили к какому-то общему для всей М2 дереву, которое при этом строил маркетинг, а не продуктовые команды. При переходе к маркетинговым метрикам модель тоже начинала ломаться. То есть главную задачу — связать бизнес-показатели с тем, чем действительно управляет маркетинг, — эта версия не решала.
Главным тупиком для нас стали метрики экономической эффективности. По сути, одна из ключевых зон, которой маркетинг действительно управляет, — расходы — почти не поддавалась декомпозиции в текущей модели. Поэтому первую версию мы отправили в архив и попробовали зайти с другой стороны: начать построение дерева именно от расходов.
Однако уже после первых нескольких веток стало понятно, что и этот подход не решает задачу. Расходы действительно хорошо декомпозировались до тех показателей, с которыми непосредственно работает конкретное направление: например, кликов или показов. Но дальше логическая цепочка обрывалась — связь с продуктовыми и бизнес-метриками не прослеживалась.
По сути, обе версии не проходили нашу проверку по двум основным критериям. Во-первых, в них плохо помещались метрики, которыми непосредственно управляет маркетинг. Во-вторых, нам не удавалось связать управление маркетинговыми расходами с основными бизнес-метриками продуктов.
Тогда мы сделали шаг назад и попытались понять, почему оба подхода упираются в ограничения. Мы пришли к выводу, что классическое дерево метрик в первую очередь заточено под продуктовую логику, где основной фокус приходится на доходную часть.
Наши дубли и ошибки возникали потому, что мы пытались прийти к маркетинговым метрикам, строго следуя иерархии сверху вниз. Но классическая модель изначально не была рассчитана на то, чтобы одновременно описывать и доходную, и расходную сторону маркетинга.
В этот момент мы поняли, что для нашей задачи важнее не строго следовать классическому фреймворку, а сохранить логичность и системность самой модели. Поэтому решили адаптировать дерево, но делать это в рамках заранее заданных правил, чтобы не подгонять его под желаемый результат. Вот эти правила:
Декомпозиция должна строиться через арифметические действия.
Это делает логику прозрачной для бизнеса и смежных команд: связь между метриками можно объяснить через формулы, а не только через экспертное предположение. Позже мы обнаружили ещё одно преимущество этого правила — оно позволяет выводить метрики, которые напрямую не отражены в дереве.Дублирование логики нужно минимизировать.
Особенно критично, если одинаковые ветки начинают повторяться уже на верхних уровнях дерева. При этом небольшие различия в декомпозиции для отдельных направлений маркетинга допустимы, даже если набор их метрик в целом похож.Дерево должно охватывать весь маркетинг.
Нам было важно построить не модель для одного направления, а общую систему, в которую можно встроить разные маркетинговые функции.Метрики, связанные с расходами, должны быть частью дерева.
Без них модель не отражает одну из ключевых зон, которой непосредственно управляет маркетинг.Дерево должно быть применимо ко всем продуктам М2, которые мы продвигаем.
При этом мы сознательно не пытались проектировать систему на несколько лет вперёд и ограничились продуктами, которые маркетировались на момент создания дерева.Не нужно сразу определять финальный набор метрик для каждого направления.
На первом этапе важнее было построить устойчивый фундамент, который можно постепенно детализировать по мере работы с отдельными функциями маркетинга.У дерева должен быть отдельный справочник метрик.
Параллельно мы создали документ с определениями и формулами показателей. Он стал вторым инструментом для коммуникации с бизнесом и смежными командами и помогал одинаково трактовать используемые метрики.
Зафиксировав эти правила, мы приступили к построению третьей версии дерева. На этот раз начали с декомпозиции общих маркетинговых расходов до трат по отдельным направлениям.
Чтобы не перегружать схему, здесь не показываем полную декомпозицию по всем направлениям, а опишем общий принцип. Расходы каждого направления мы раскладывали через его «единицу закупки» — ту сущность, с которой оно непосредственно работает. Для performance-рекламы это клики, для медийной рекламы — показы, для influence-маркетинга — стоимость публикации и так далее. Такой подход позволил нам дойти до самых низкоуровневых метрик, которыми маркетинговые команды реально управляют в своей ежедневной работе.
Ещё мы начали декомпозировать дерево вверх — в сторону бизнес-метрик. Именно на этом этапе мы и отошли от классической методологии. В качестве следующего уровня выбрали первичный контакт, который маркетинг приводит через трафик, — лиды. На тот момент это казалось логичным решением: лид — пользовательская, уникализированная метрика, а кроме того, мы хотели встроить в модель и квалифицированные лиды.
Однако позже оказалось, что это был неверный выбор. На тот момент ни бизнес, ни маркетинг не оперировали привлечением лидов как рабочей метрикой (мы считали количество сделок). Тем не менее на этом этапе у нас получилась такая верхушка дерева.
Эта версия модели понравилась нам значительно больше предыдущих. Во-первых, мы нашли принцип декомпозиции расходов для каждого направления. Во-вторых, нам удалось связать в одной модели и ключевые бизнес-метрики продуктов, и маркетинговые метрики эффективности — CPA, CPL, CAC. В-третьих, мы добились единства логики: в верхней части дерева больше не было дублирующихся веток.
На этом этапе мы задались вопросом, как нам считать метрики по маркетинговым Следующий вопрос, который мы себе задали, — как считать метрики по отдельным маркетинговым каналам. Именно он помог выявить проблему с лидами. В обсуждении с коллегами стало понятно, что само наше желание включить эту метрику в модель не совпадает с тем, какими понятиями реально оперирует бизнес.
Кроме того, мы увидели ограничение так называемых уникальных метрик — лидов, клиентов, уникальных пользователей. Если считать их по каналам, такие значения нельзя корректно суммировать между собой. Для планирования это неудобно. При этом нам всё равно хотелось сохранить в модели метрику «клиенты», потому что она нужна для логичного перехода к CAC и LTV.
В итоге мы заменили лиды на метрику «черновик» — в М2 это этап создания незаполненной заявки. Для каждой метрики определили допустимые срезы — например, по каналам, продуктам или типам пользователей. Так у нас получилась финальная верхушка дерева.
Как проводили пилот
Финализировав дерево, мы согласовали логику с коллегами-смежниками и стали планировать пилот, чтобы убедиться, что подход действительно рабочий. Для теста выбрали одного продуктового маркетолога (PMM) и сформировали для него KPI на основе дерева метрик. Параллельно зафиксировали базовый принцип выбора показателей: маркетинг должен отвечать за три вещи — объём трафика, его качество и экономическую эффективность.
Объём — количество начатых заявок (или созданных черновиков)
Качество — конверсия из начатой заявки в оплату.
Экономическая эффективность — CPA начатой заявки.
Отдельно ограничили зону ответственности PMM только теми каналами, на которые он действительно может влиять. Для этого разделили каналы на управляемые и неуправляемые и при расчёте KPI учитывали только трафик из управляемых каналов.
После пилота
После пилота мы начали распространять подход на другие направления маркетинга — Performance, SMM и PR. На этом этапе пригодился один из принципов, который мы заложили в дерево изначально: арифметические связи между метриками позволяют выводить показатели, которых в самой схеме нет напрямую.
Например, для performance-маркетологов мы смогли использовать в KPI конверсию из клика в начатую заявку. Отдельной метрики «CR из клика в начатую заявку» в дереве нет, но её можно рассчитать из уже связанных между собой показателей.
На момент написания статьи дерево используется для постановки метрик примерно у 25% сотрудников маркетинга. Мы продолжаем детализировать отдельные ветки и постепенно распространять подход на остальные направления.
Что не получилось
Пока мы не нашли способ корректно встроить в дерево некоторые направления — прежде всего SEO и бренд-маркетинг. Основная сложность в том, что их метрики хуже поддаются арифметической декомпозиции. Влияние этих направлений на бизнес-результат чаще опосредованное, а сами показатели не всегда находятся в такой же прямой зоне управления, как, например, метрики performance-маркетинга.
Коллеги предлагали включить в KPI такие показатели, как Brand Awareness, ER и Brand Lift. Но в текущей версии дерева мы не смогли связать их с верхнеуровневыми бизнес-метриками через ту же арифметическую логику, которую используем для остальных веток. Поэтому пока мы не пытаемся встроить их в модель искусственно. Сейчас фокусируемся на детализации направлений, для которых эта логика применима лучше: CRM-маркетинга, офлайн- и онлайн-ивентов.
Получится ли со временем расширить дерево и на более сложные направления — тема для отдельного материала.
Ожидание и реальность
В начале работы мы хотели решить довольно простую задачу — разделить зоны ответственности и понять, за что именно должен отвечать маркетинг. В итоге дерево помогло нам сделать это не только для PMM, но и постепенно связать между собой разные направления маркетинга.
У команд появились более чёткие зоны влияния. PMM перестал отвечать за весь результат продукта целиком, а в его KPI стали попадать только те показатели и каналы, которыми он действительно может управлять. При этом стал понятнее вклад остальных участников маркетинга в общий результат.
Главный вывод, который мы сделали в процессе: хорошее дерево метрик — не то, которое идеально соответствует классическому фреймворку, а то, которое отражает реальную модель работы компании. При этом дерево не стоит использовать как инструмент для прямого сравнения любых маркетинговых направлений между собой. Например, из него нельзя сделать вывод, что медийную рекламу нужно отключить только потому, что по отдельным метрикам она проигрывает performance. У направлений разные задачи, горизонты влияния и набор показателей, которыми они могут управлять.
Мы несколько раз переделывали дерево — и ещё будем это делать — именно потому, что пытались следовать классической методологии там, где она уже переставала работать для нашей задачи.
Итоги
Главное, что мы вынесли из этой работы: при построении дерева важно сохранять арифметическую связь между метриками, избегать лишнего дублирования, учитывать расходы маркетинга и строить общую логику для разных продуктов и направлений. Эти правила помогли нам адаптировать фреймворк под реальную работу компании, а не подгонять модель под желаемый результат.
При этом дерево всё ещё развивается. Сейчас оно покрывает около 25% сотрудников маркетинга, а для части направлений мы пока не нашли способа связать их показатели с верхнеуровневыми метриками. Поэтому дальше будем детализировать модель и проверять её на остальных направлениях.