«Праздник к нам приходит, праздник к нам приходит, праздник к нам приходит всегда с Coca-Cola…»

Спорим, вы пропели? Такие креативы врезаются в память на десятилетия, но вот парадокс: сколько из нас могут назвать конкретный эффект от той самой новогодней кампании?

Как правило, такие креативы стоят дорого, а их показ на многомиллионную аудиторию — еще дороже. Маркетологи спорят, работает ли брендовая реклама, но главный вопрос не в этом. Как измерить ее эффект, если рекламная стратегия с множеством каналов и форматов стала слишком сложной для точного измерения эффекта?

Анастасия Новожилова, Project Marketing Manager Garage Eight, и Надежда Слепинина, продуктовый аналитик Garage Eight, собрали наши практики и рассказали, как мы это сделали в Garage Eight (кстати, подписывайся на телеграм-канал нашей команды).

Задачи и цели кампании: чего мы вообще хотели

В статье речь пойдет про бренд в области онлайн-инвестирования, который мы продвигаем на рынке Юго-Восточной Азии. Несмотря на уже хорошие текущие показатели узнаваемости в регионе, без новой аудитории не обойтись. Выбор пал на стратегию активного переманивания клиентов от брендов-конкурентов, также довольно сильных на рынке. 

Поэтому мы поставили перед собой такую задачу: сформировать образ бренда с самыми выгодными условиями — лучше чем у конкурентов — и поднять знание об этом среди ЦА.

Как?

• Создать четкий образ бренда с самыми выгодными условиями — так, чтобы при упоминании инвестиций в голове сразу всплывало его имя.

• Донести это сообщение громче, чем конкуренты. Прямая продающая performance-реклама с такой задачей справлялась бы долго. Десятки игроков одновременно заявляют о «самых выгодных условиях», используя практически идентичные креативы.

Поэтому мы сделали ставку на креатив, юмор и качественный медиаплан с высоким медиадавлением.

Как мы оценивали эффект от нашей кампании и какие были нюансы

В отличие от performance-кампаний, где можно прямо замерить конверсии и атрибуцию, охватные кампании создают отложенный и размытый эффект. Нельзя просто сравнить «до» и «после» — в данных много фонового шума: сезонность, тренды, акции конкурентов, праздники. Из-за этого для оценки их эффективности мы решили использовать сразу несколько способов.

1. Бредовые опросы (Brand Lift Studies)

Это опросы до и после кампании, которые измеряют:

• узнаваемость (ad recall, brand awareness);

• ассоциации с брендом (brand attributes);

• предпочтение (brand preference);

• намерение купить (purchase intent).

Как проводится бренд-лифт:

Плюсы:

• Простота и экономия. Это самый прямой способ понять, изменилось ли восприятие бренда у целевой аудитории. Он доступен при открутке определенного бюджета. Можно провести в Google, Meta, YT, Яндекс.

• Скорость. Позволяет оперативно увидеть, как меняется мнение аудитории. Можно проводить сразу после первого месяца показа рекламы (при достаточном бюджете).

Минусы:

• Субъективность. Респонденты могут не помнить рекламу честно (recall ≠ impact). Например, вы увидели ролик, но из-за того, что в кадре мелькнул телефон, ошибочно запомнили, что он рекламировал приложение, тогда как его цель была совершенно иная — подчеркнуть преимущества сервиса.

• Ограниченный охват. Часто оценивается только часть аудитории, а не весь охват.

• Сложность интерпретации. Прирост в +5% узнаваемости — это много или мало? Зависит от контекста. А даже если узнаваемость выросла, где связь с бизнес-метриками?

• Невозможность глубоких выводов: не всегда понятно, какая именно часть креатива или медиа дала эффект.

? Наш вердикт:

Провели опрос, так как был доступен и не требовал отдельных затрат. Считаем это вспомогательной прокси-метрикой, которая позволяет видеть динамику и показывает, что пользователи замечают рекламу. Однако сильно полагаться на лифты не советуем — из-за отсутствия прямой связи с бизнес-метриками. Скорее nice to have.

2. Анализ брендовых поисковых запросов

Анализ брендовых поисковых запросов — это исследование частоты и динамики запросов, содержащих название бренда или связанных с ним терминов, которое отслеживает рост брендовых запросов в поиске (Google Trends, Яндекс.Вордстат, Search Console) и сравнивает динамику до/после кампании.

Плюсы: 

• Легко отслеживать. Например, с помощью Google Trends, Яндекс.Вордстат, Similarweb / Semrush / Ahrefs и прочих инструментов для анализа брендовых запросов.

• Есть исторические данные. Можно анализировать тренды за годы и строить ретроспективу.

• Позволяет быстро увидеть рост и падение.

• Не требует навыков аналитики, простота отчета.

Минусы:

• Учитывает фоновый шум. На поисковый интерес оказывает влияние множество внешних факторов (PR, инфоповоды, конкуренты, рынок).

• Сложно связать напрямую с кампанией. Рост может быть связан с акцией, скандалом, вирусным контентом, рыночными движениями

? Наш вердикт
Провели, потому что это просто и быстро. Рост брендовых запросов отследить удалось, но напрямую к кампании его привязать сложно — в индустрии в целом был подъём, и конкуренты тоже немного подросли. Возможно, именно мы стали толчком, и аудитория пошла сравнивать нас с другими игроками. Здесь важно помнить: рекламировать неправду — гиблый путь. 

3. Измерение бренд-атрибутов

Одной из целей охватной кампании было усилить ассоциацию бренда с ключевым атрибутом «лучшие условия для инвестирования на рынке». Чтобы оценить эффект, мы провели исследование бренд-атрибутов до и после кампании, опрашивая широкую аудиторию.

В основе метода лежит простая, но мощная идея: покупки в любой категории совершаются не в вакууме, а в ответ на конкретные жизненные ситуации или потребности. Именно они и запускают в голове потребителя мысль: «Мне нужен продукт из этой категории». Сравнение фактических результатов с ожидаемыми значениями позволяет выявить ментальное преимущество: положительное отклонение говорит о том, что бренд воспринимается сильнее в данном атрибуте.

Мы пошли следующим путем — решили выяснить, в каких ситуациях люди вспоминают бренд и с какими конкурентами они соотносят определенные качества — например, «надежность» или «выгодные условия».

Важно: чтобы динамика была корректной, контрольное (финальное) исследование должно быть максимально сопоставимо с нулевым. Например, когда мы добавили новый бренд в список для сравнения, это исказило результаты, потому что изменился контекст выбора для респондентов.

Плюсы:

• Дает понимание ментального преимущества бренда по сравнению с конкурентами.

• Помогает оценить, как кампания влияет на восприятие ключевых атрибутов.

• Работает на уровне широкой аудитории, а не только с учетом имеющихся клиентов.

Минусы:

• Чувствителен к изменениям в дизайне опроса — новые бренды или вопросы могут нарушить сравнимость.

• Не всегда напрямую отражает влияние медиаактивности, так как восприятие бренда формируется комплексно.

• Результаты зависят от формулировки атрибутов и их релевантности для аудитории.

Как правильно измерять бренд-атрибуты до и после кампании

1) Сохраняйте одинаковую структуру исследования

Формулировки вопросов, список брендов и шкалы оценок должны быть идентичны в замерах до и после. Например, если после запуска кампании вы добавили нового конкурента в опрос, результаты станут несопоставимыми, потому что респонденты перераспределят свои ответы.

2) Фокусируйтесь на ключевых ассоциациях вашего бренда

Измеряйте атрибуты, релевантные целям кампании. В нашем случае одним из KPI было увеличение ассоциации бренда с атрибутом «лучшие условия для инвестирования на рынке».

3) Сравнивайте с «ожидаемыми значениями»

Положительные отклонения от baseline показывают ментальное преимущество бренда. Если аудитория чаще ассоциирует бренд с целевым атрибутом, чем прогнозировалось, значит, коммуникация работает.

4) Учитывайте внешние факторы

Изменения в конкурентной среде (новые бренды, резонансные акции конкурентов) могут повлиять на восприятие атрибутов и исказить эффект кампании.

4. CR Uplift 

Когда запускаешь охватную брендовую кампанию, сложно понять, сколько реальных действий она принесла. Лайки и просмотры креатива это приятно, но нам важно, как реклама повлияла на конверсию из регистрации в первую покупку. Для этого мы использовали CR Uplift — метод, который сравнивает конверсии у тех, кто видел рекламу, с теми, кто ее не видел (контрольная группа).

Что такое Campaign Manager 360 и зачем он нужен для CR Uplift

Campaign Manager 360 (CM360) — это инструмент для аналитики рекламных кампаний, который фиксирует показы рекламы на уровне пользователя (через device_id или другие идентификаторы).

Его ключевая задача в контексте CR Uplift — дать список пользователей, которые видели конкретный креатив, чтобы потом сравнить их поведение с контрольной группой.

Некоторые нюансы использования:

• CM360 можно подключить почти ко всем каналам, кроме Facebook/Meta*(*деятельность на территории России запрещена). Чаще всего он используется вместе с Display & Video 360 (DV360).

• Важно настроить CM360 до старта кампании. После завершения кампании подключить его уже нельзя.

• Данные в CM360 хранятся только 60 дней. Если промо длится дольше, нужно сразу настроить автоматическую выгрузку данных или выгружать вручную, иначе часть данных будет потеряна.

Почему нельзя просто взять данные из рекламного кабинета?
Обычные рекламные платформы показывают только агрегированные метрики (охваты, клики), но не дают информации о том, какие конкретно пользователи видели рекламу и как это повлияло на их конверсию. CM360 закрывает этот разрыв.

Как проводили анализ:

1. Фиксировали показы рекламы в CM360. Campaign Manager давал нам device_id пользователей, которые видели креатив в DV360.

2. Мэтчили данные Campaign Manager и Appsflyer через device_id и сравнивали CVR для двух групп: «видели» vs «не видели».

3. Для чистоты анализа брали только тех, у кого платформа Android. У веба нет device_id, а по iOS данных о просмотрах в Campaign Manager мало из-за ограничений трекинга.

4. Данные о показах выгружаются из DV360 и хранятся всего 60 дней, поэтому важно не упустить момент и выгрузить их заранее
   
   

   

Плюсы:

• Ближе к бизнесу. Метод позволяет связать брендовую активность с конкретными бизнес-метриками (CVR, количество новых клиентов), а не только с прокси-показателями вроде охватов.

• Обеспечивает количественную оценку эффекта. Можно посчитать «экстра» пользователей или конверсии, которые пришли благодаря кампании.

• Сравнение тестовой и контрольной группы помогает увидеть разницу, даже если она небольшая.

Минусы:

• Высокие требования к данным, так как нужна точная идентификация пользователей (device_id, cookies), интеграция Campaign Manager 360 с аналитикой и корректные выгрузки.

• Непросто доказать, что рост CVR вызван именно брендинговой кампанией, а не сезонностью, параллельными кампаниями или PR.

• Эффект может быть отсрочен, результаты бренда могут проявляться через недели, их легко «перебить» другими факторами. 

• Нужно быстро выгружать данные, так как DV360 хранит историю только 60 дней, и упущенные выгрузки восстановить нельзя.

• Статистическая значимость. При небольшом объеме аудитории uplift может быть нерепрезентативным.

? Наш вердикт:

CR Uplift стал для нас ценным инструментом, с помощью которого мы смогли зафиксировать конкретный бизнес-эффект брендовой кампании: дополнительно 330 клиентов и рост CVR с 5,9% до 7,4%. Эти цифры убедительно доказали, что инвестиции в брендинг окупились.

Однако важно понимать границы метода. Он демонстрирует общий эффект брендинга, но не раскрывает детали: какой именно perfomance-канал «дожал» пользователя. Чтобы это выяснить, нужно анализировать динамику CPA (cost per aqcuisition) и CVR в performance-кампаниях, сегментировать uplift по источникам трафика или использовать более сложные модели атрибуции (data-driven attribution, Mix Marketing Model).

Как мы выбирали метод оценки: Causal Impact vs Propensity Score Matching

Когда мы запускаем кампанию, мы хотим понять: какой эффект она дала на самом деле.
Проблема в том, что мы не можем увидеть сразу два мира:

• мир, где человек увидел кампанию,

• и мир, где этот же человек её не увидел.

Методы причинно-следственного анализа (Causal Inference) помогают смоделировать этот «альтернативный мир», чтобы сравнить что произошло на самом деле и что было бы без кампании.

Для оценки эффекта охватной кампании мы рассматривали два подхода — Causal Impact (CI) и Propensity Score Matching (PSM).

Causal Impact (CI)

Этот метод строит прогноз того, как метрика вела бы себя без кампании, а затем сравнивает прогноз с реальностью. Если фактические значения сильно отклоняются от предсказанных, значит эффект кампании есть. CI особенно удобен для визуализации динамики и проверки гипотез, но требует длинных и стабильных рядов данных — в коротких и «шумных» периодах его точность падает.
Например, представим три магазина: в двух реклама не запускалась, а в одном — была. CI берёт агрегированные данных по времени по «чистым» магазинам, и зная продажи этих магазинов, метод предсказывает продажи тестового магазина, и далее сравнивает разницу между фактом и предсказанием. Если продажи выросли сильнее, чем предсказывала модель, можно заключить, что это эффект рекламы. 

Propensity Score Matching

Propensity Score Matching оказался более подходящим инструментом. На примере магазинов – мы сравниваем не агрегированные метрики по магазинам, а отдельных покупателей внутри них. Алгоритм оценивает вероятность того, что конкретный пользователь увидит кампанию (по активности, демографии, прошлым покупкам и другим признакам) и подбирает ему «двойника» из контрольных магазинов, где кампании не было. Так формируются пары максимально похожих пользователей — один подвергся воздействию рекламы, другой нет. Сравнивая такие пары, мы получаем эффект кампании, близкий к экспериментальному, и снижаем риск, что разница объясняется не рекламой, а другими факторами, например поведением или предпочтениями покупателей.

Но как мы проверили, что полученные выводы действительно отражают реальность, а не являются статистической случайностью?

Корректность результата мы подтвердили с помощью:

• проверки баланса переменных (Pre-Treatment Test) — так мы убедились, что группы были статистически сопоставимы до кампании;

• плацебо-теста — искусственно «запустили» промо в случайном периоде, получили высокое p-value (0.66) и доказали, что эффект кампании не является случайным шумом.
  

  

Плюсы PSM — что сработало:

• PSM отлично показал себя в подборе контрольных групп. Благодаря богатому набору пользовательских данных нам удалось найти контроль, который максимально похож на участников промо по поведению и характеристикам.

• Результаты оказались надежными. Эффект кампании подтвердился в плацебо-тестах, что значительно повысило уверенность в выводах.

• Метод оказался гибким и смог работать даже в условиях ограниченного временного окна, когда временные ряды еще не успели стабилизироваться, в отличие от Causal Impact.

• Реализация не вызвала сложностей. Библиотеки доступны, запуск и воспроизведение анализа можно сделать на обычном рабочем ноутбуке без сложной настройки.

А минусы будут?

• PSM зависит от того, какие переменные доступны для анализа. Он не защищает от скрытых факторов, например, локальные маркетинговые активности в контрольных регионах могли остаться незамеченными.

• Зависимость от объема данных. В меньших странах или узких сегментах найти подходящий контроль гораздо сложнее, особенно если приходится фильтровать пользователей по множеству признаков.

• Метод не показывает временную динамику эффекта. Он позволяет оценить результат до и после, но не отвечает на вопрос, как именно менялось поведение пользователей по дням. Для этого больше подходит Causal Impact.

? Наш вердикт:

PSM оказался для нас оптимальным инструментом оценки эффекта кампании. Он гибко работает с пользовательскими данными, не требует длительных временных рядов и дает надежный результат, подтвержденный плацебо-тестами. Однако метод требует аккуратного подбора переменных и не защищает от скрытых факторов. Для задач с более длинной динамикой или постоянными активностями лучше рассматривать Causal Impact как более комплексный подход.

Итоги

Для нас эта кампания стала важным шагом вперед. Раньше мы оценивали охватные активности без системного подхода. Использование сразу нескольких методов — от бренд-лифтов и анализа поисковых запросов до CR Uplift и Propensity Score Matching — позволило увидеть картину под разными углами: от восприятия и узнаваемости бренда до конкретных бизнес-метрик.

Мы убедились, что идеального и единого метода измерения эффекта брендовых кампаний не существует. У каждого подхода есть плюсы и ограничения, поэтому только их комбинация дает более честную и объемную картину.

Что нам дала кампания:

• рост интереса к бренду, который мы смогли зафиксировать через брендовые запросы и опросы;

• доказанный бизнес-эффект (CR Uplift показал рост конверсий и новых клиентов);

• понимание, какие инструменты оценки реально работают в наших условиях, а какие лучше использовать как вспомогательные.

Что вынесли на будущее:

• бренд-метрики стоит отслеживать регулярно, а не только во время крупных запусков;

• важно заранее готовить аналитику (интеграции, выгрузки, контрольные группы), иначе часть данных можно потерять;

• при планировании кампаний нужно закладывать ресурсы и на измерение, чтобы не упустить ценную информацию;

• опыт стоит масштабировать — использовать на других рынках и в других коммуникационных стратегиях.

Главный вывод: брендовая реклама действительно работает, но ее эффект проявляется в комплексе и виден только тогда, когда смотришь на метрики с разных сторон. Для нас это была не только кампания про рост узнаваемости, но и шаг к построению полноценной системы оценки бренд-маркетинга.