Всем привет! Я Стас Дергунов, Head of Product в СберМаркете. В моем портфеле три направления: самовывоз из магазина и в авто, покупки в офлайне-магазинах с помощью сервиса ScanPay и новые вертикали non-food (аптеки, бытовая техника и электроника).

В статье расскажу, как мы внутри компании проверяем простые и сложные гипотезы
на основе данных, что позволяет поддерживать рост в 1,6 раз год к году.

Что такое продуктовый подход в СберМаркете?

Это создание ценности, которая приносит пользу бизнесу и пользователям. В основе лежит data-driven подход, где мы фокусируемся на том, что нужно пользователям, а не только на мнении экспертов внутри компании. Для регулярности поставок ценности используем циклы discovery/delivery на основе agile/scrum.

Сегодня поговорим о понятии простых и сложных гипотез и работе с ними.

Сначала о терминах

Уровень сложности исходит из количества абстракций, которые мы хотим исследовать. Чем их значение выше, тем гипотеза сложнее.

Простая гипотеза формулируется в классическом фреймворке «Если …, то …».

Например, у нас есть гипотеза:

Если добавить на главный экран мобильного приложения функционал выбора между доставкой и самовывозом, это сократит кол-во ошибок пользователей
на этапах оформления заказа.

Видим, что здесь в одном месте — одно изменение. 

Сложная гипотеза — это несколько уровней абстракции, которые состоят из связанных между собой гипотез. Для их проверки требуется серия исследований.

Пример:

Если дадим старым клиентам новый опыт покупок в офлайн-магазинах, который поможет им сэкономить время и деньги, то они начнут им пользоваться вместо обычных касс.

Видим, что здесь сразу несколько гипотез в разных местах, на стыке офлайна и онлайна. 

Исследования мы проводим в трех случаях:

  1. Если хотим проверить гипотезу, улучшает ли новое решение пользовательский опыт и продуктовые метрики по сравнению с текущим вариантом.

  2. Если планируем выяснить, насколько решение отвечает потребностям пользователей. Например, если такой функции раньше не было, но она может быть полезной.

  3. Если у нас нет решения, а есть запрос на вдохновение или поиск потребностей и проблем клиентов.

Понимая, какая гипотеза на столе, мы можем применять разные исследования, чтобы снизить риски неудачных решений. Ещё это помогает проводить исследования дешевле, например, без привлечения разработчиков для A/Б теста. О способах проверки расскажу далее.

Методы проверки простых гипотез

  1. Немодерируемые тесты в количественных исследованиях. Пример — first click. Можно использовать респондентов на краудсорсинговых платформах, выдаем им задание и смотрим на тепловые карты взаимодействия с интерфейсом. Ещё можно использовать респондентов СберМаркета, фильтруя, например, по частоте заказа/специфика и пр. Свою базу мы в последнее время стали использовать намного чаще.
    На таком исследовании видим не только куда кликнул испытуемый, но и за какое время.

  2. Модерируемые тесты, они же глубинные юзабилити-интервью или UX-исследования. У нас есть гипотеза в виде интерфейса и задача — проверить, понятно ли решение для клиента.

Немодерируемый тест — на примере самовывоза из магазина

Задача: добавить в мобильное приложение возможность выбирать способ получения заказа (доставка или самовывоз из выбранного магазина). Мы хотели понять, в каком
из трех вариантов посетители быстрее найдут кнопку самовывоза на главном экране.

Вторая задача: понять, куда кликают для оформления самовывоза, если дать несколько вариантов. 

Для этого мы запустили немодерируемый онлайн-опрос по базе клиентов СберМаркета.

Часть 1: Тест первого клика

В эксперименте один респондент тестировал только один вариант главной страницы.

Задание звучало так:

Представьте, что вам нужно заказать продукты и забрать их самовывозом
из магазина. Куда на экране вы нажмёте, чтобы это сделать?

Примеры интерфейса для тестирования
Примеры интерфейса для тестирования

Какие сделали выводы?

В категории «Еда»:

  1. Лучше всего работает вариант «новый 1» — там бóльшая доля людей без сомнения идет в «переключалку»: доставка или самовывоз.

  2. Текущий вариант тоже работает хорошо, но, сравнивая с «новым 1», клики людей чуть более «размазаны» по странице, хотя они все равно справляются быстро.

  3. Вариант «новый 2» самый неудачный: очень разнородные клики, людям надо искать и думать — тратят больше всего времени.

В категории «Алкоголь»:

  1. В целом справляются быстрее, чем в еде

  2. Уже не так важны кнопки «самовывоз», «переключалка» и пр. — большинство
    в любом случае «идет» через джобу «Алкоголь».

Часть 2: Субъективная оценка

Задание:

Ниже вы увидите высказывания разных людей о том, как им удобнее всего оформлять заказы самовывозом через приложение. Выберите то высказывание,
с которым вы согласны и которое лично вам кажется наиболее близким.

1. Хочу зайти в приложение, выбрать способ получения «самовывоз», а потом уже выбирать доступный магазин и собирать корзину.

2. Хочу сначала собрать корзину из нужных мне товаров, а потом уже выбирать — самовывоз мне нужен или доставка.

3. Мне важно сначала выбрать конкретный магазин или точку (понять адрес и режим работы), а потом уже собирать корзину для самовывоза именно в этом магазине.

4. Другое.

Выше — результаты, которые мы получили. На их основе наметилось два пути.

  1. Использовать вариант «новый 1» (если наша главная цель – выстроить более однозначный сценарий для клиента).

  2. Оставить текущий вариант, т.к. он тоже удобный и подходящий, но чуть менее конкретный (видим больше «кликов в другие места страницы).

Модерируемый тест — на примере UX-исследования для сервиса самовывоза

Задача: встроить в опыт клиента товары и ретейлеры, которые работают только
по самовывозу. Это позволит увеличить ассортимент для покупателя, а для ритейлера
без доставки получить заказы. Целимся в основные точки касания с клиентом в поиске и выдачи.

1 – поле ввода запроса, 2 – выдача для доставки, 3 – состояние с самовывозом
1 – поле ввода запроса, 2 – выдача для доставки, 3 – состояние с самовывозом

Метод исследования: модерируемое UX-тестирование с элементами интервью. Тестировали прототип со сценарием самовывоза в поиске. Средняя продолжительность одного теста — 40 минут. Всего провели 6 UX-тестов.

Тестировали на аудиторию: 

  • Активные пользователи СберМаркета — делают заказы не реже нескольких
    раз в месяц.

  • Активно пользуются самовывозом — не реже нескольких раз в месяц.

  • Возраст респондентов: от 20 до 55 лет

  • Распределение по полу: 6 женщин, 2 мужчины.

Какие рекомендации сформулировали на основе исследования:

  1. Проработать актуальность фильтров и название.

  2. Дать возможность смотреть расстояние для ближайшего магазина.

  3. Упростить работу с выбором адреса и построением маршрута.

Пример результата из исследования
Пример результата из исследования

Методы проверки сложных гипотез — на примере сервиса ScanPay

Выше рассказал про методы проверки простых гипотез. К ним имеет смысл переходить тогда, когда понятно, что продукт нужен, и осталось понять, как сделать его лучше, быстрее и удобнее.

Расскажу, как мы искали точки кратного роста для бизнеса на примере запуска нового сервиса ScanPay в СберМаркете. 

Для подобных кейсов требуется комплексные исследования гипотез разными методами (один из них — тест первого клика). Цель: быстро подтвердить их или опровергнуть и сделать пивот.

Что такое ScanPay?

Это функция внутри приложения СберМаркета, которая позволяет сканировать товары
в магазине и оплачивать без очередей в приложении, применяя программы лояльности СберСпасибо и магазина (детали по ссылке). 

Преимущества сервиса ScanPay
Преимущества сервиса ScanPay

#1 Анализируем рынок и стратегии

Обязательно погружаемся в стратегию компании, чтобы понять планы по развитию
и целями на ближайшие несколько лет. Проведя анализ, мы увидим текущие рынки,
на которых играет компания и там, где она пока не представлена. 

Например: мы определили, что рынок Grocery состоит из двух сегментов: онлайн и оффлайн. В онлайне (e-grocery) СберМаркет — лидер рынка на 165 млрд рублей в 2023,
а вот в офлайне присутствия СберМаркета нет.

Оценка рынка продовольственных продуктов в 2023 году — 47,4 трлн рублей (рост год
к году на 6,4%). Делаем вывод, что есть огромный рынок офлайн-аудитории и пришло время провести исследования потребностей сегмента. Эту гипотезу мы берем в работу. 

#2 Изучаем клиентов

Для начала проводим качественные исследования, цель которых — понять потребности
и проблемы клиентов в офлайн-магазинах. Кроме этого, узнаём, как сейчас клиенты решают эти проблемы, для этого задействуем интервью. 

Пример вопросов в ходе интервью:

  • Как сейчас решаете задачу?

  • Какие проблемы бывают? В каких ситуациях и как часто сталкиваетесь с ними?

  • Насколько эти проблемы вас раздражают?

  • Как вы справляетесь с проблемами?

#3 Проверяем гипотезу количественно

Следующий этап — оцифровать и приоритизировать с помощью количественных исследований, на чем именно нужно сфокусироваться среди всех потребностей
и проблем. Цель: выявить критичность проблем и потребностей. Метод — опрос.

По результатам этих двух исследований мы нашли интересный сегмент — омниканальные клиенты (совершают покупку в онлайн и оффлайн канале). Они иногда покупают продукты онлайн в СберМаркете, а иногда в офлайн-магазинах.

Мы решили сфокусироваться на этой аудитории и сформулировали гипотезу:

Если мы дадим клиентам СберМаркета новый сервис при покупках в офлайне,
то увеличим кол-во покупок и средний чек у таких клиентов за счет омни-опыта,
а ещё сможем быстрее и дешевле привлечь клиентов в новый сервис.

Структурируем наш сегмент и строим дерево задач клиентов по методологии job-to-be-done с путем клиента по этапам в оффлайне: до магазина, в магазине, после магазина. 
За основу взяли качественные исследования, которые мы проводили ранее.

#4 Ищем УТП

Параллельно провели анализ конкурентов в РФ и за рубежом. По решениям
для сегмента:

  • в чем суть решения;

  • какие есть плюсы и минусы;

  • какие УТП.

Это помогает сформировать насмотренность по конкурентам и их решениям.

Исследование конкурентов в РФ и Global
Исследование конкурентов в РФ и Global

На основе потребностей и проблем формируем для нашего сегмента варианты УТП или value proposition. Вот, какие получились у нас:

  • возможность отслеживать стоимость отдельных товаров и всей корзины в онлайн-режиме;

  • оплата в мобильном приложении без очередей;

  • использование программ лояльности и СберСпасибо, и от ретейлера, где можно списать и начислить виртуальные рубли.

#4 Тестируем концепции

Примеры двух концепций для ScanPay
Примеры двух концепций для ScanPay

Теперь нужно понять, заинтересован ли клиент и готов ли он попробовать наше решение? 

Инструмент валидации — fake door. Это количественный метод для верификации спроса
и сбора аудитории, которая оставит заявку на получения доступа к сервису.

Другими словами мы делимся с клиентом продуктом, который якобы уже создан,
и смотрим на его реакцию.

Например, мы направили в магазины команду промоутеров, которая взаимодействовала
с потенциальными клиентами, предлагая им продукт. Их задачей было установить приложение СберМаркет для новыех клиентов, а для старых — активировать режим ScanPay на главном экране. 

Так мы протестировали концепции клиентских ценностей, где получили нужную нам информацию:

  • верифицировали УТП и коммуникацию с клиентами;

  • провалидировали шаги в воронке. Например, мы поняли, что взаимодействие
    с промоутерами (в какой-то момент нахождения в магазине клиент узнавал
    о продукте) непосредственно влияет на готовность воспользоваться сервисом.

На выходе это позволило внести корректировки в ожидания от продукта и его позиционирование.

Как простые гипотезы вписываются в сложные

А теперь давайте посмотрим пример, когда простая гипотеза вписывается в сложную через те инструменты, что обсудили выше.

Например, наша цель — протестировать заметность нового варианта расположения точки входа в услугу ScanPay по сравнению с текущим вариантом.

Метод исследования — немодерируемый тест на платформе Useberry, количественное исследование. Целевая аудитория: пользователи СберМаркета с разным опытом использования сервиса. Количество респондентов: по 100 человек на каждый из вариантов дизайна, непересекающиеся аудитории.

Преимущества метода:

  • Возможность количественно подтвердить, насколько предложенное решение отвечает потребностям пользователя.

  • Если решений интерфейса несколько, до А/В-теста оценить потенциал каждого:
    это может быть актуально, когда точек входа в раздел несколько.

  • Благодаря методу first click возможно найти новые решения, ранее не очевидные
    при проработке продукта.

Пример тепловой карты
Пример тепловой карты

На старой главной: Лишь треть опрошенных в первую очередь нажимали на плашку «Scan Pay | Сканировать» в нижней части экрана. Большинство пользователей (61%) ассоциировало вход в услугу с выбором магазина, в котором планируется покупка.
Это дало понять, что необходимо реализовать дополнительную точку входа на главной ретейлера.

На новой главной: почти половина опрошенных (46%) корректно считала точку входа
в услугу, при этом процент ошибочного выбора других разделов экрана значительно снизился по сравнению с текущим вариантом. Выбор услуги на странице ритейлера составил 31%.

Резюмирую: мы прошли путь от поиска рынка и изучения стратегии компании, работы с клиентами на рынке и поиске проблем и потребностей, сфокусировались на омниканальных клиентах, изучили опыт конкурентов, применили количественный метод для подтверждения гипотезы. Так мы ищем для клиентов возможности в продуктов, которые клиенты пока не осознали.


Выводы

Я рассказал, как мы работаем с простыми и сложными гипотезами. Показал, как простые гипотезы вписываются в сложные и работают в связке. Рассказал про области применимости методов и ограничений.

Что еще отмечу: важно в каждом исследовании советоваться с исследователями, потому что универсальных решений нет, и ключ успеха — правильная комбинация подходов. Поэтому, на мой взгляд, ключевая задача продукт-менеджера — повышать насмотренность и учиться применять разный набор инструментов.

Благодарю за помощь в подготовке статьи исследователя из моей команды Наташу Гурееву.

Product&data команда СберМаркета ведет соцсети с новостями и анонсами. Если хочешь узнать, что под капотом высоконагруженного e-commerce, следи за нами
в
Telegram и на YouTube. А также слушай подкаст «Для tech и этих» от наших it-менеджеров.

Комментарии (1)


  1. zubrbonasus
    28.06.2024 14:24

    Интересно там у вас, в СберМаркет-е ))