Кадр из сериала «Силиконовая долина», сцена с испорченной фокус-группой.

Когда речь заходит о Customer development, или маркетинговых и UX-исследованиях, часто упоминаются фокус-группы. Еще чаще их критикуют, или высмеивают. И обычно справедливо. Я почти не встречала ситуаций, когда метод фокус-групп верно подбирался под задачи. По частоте неверного выбора фокус-группы догоняют разве что проблемные интервью и опросы. Поэтому правильнее будет критиковать не метод, а его несоответствие задачам исследования.

Недавно я стала участником исследования новых on-line сервисов. Мероприятие заявлялось, как фокус-группа, но все требования к фокус-группам были нарушены. Уже этот факт мог бы стать поводом для статьи, но выяснилось, что как раз за счет этих нарушений метод оказался довольно чувствительным для проверки гипотез о восприятии продуктов пользователями.

В статье я расскажу,

– как было организовано исследование,
– что я чувствовала в роли участника,
– что следует улучшить в таком методе,
– для каких исследований метод будет полезен.

Статья будет интересна:

– создателям продуктов,
– менеджерам продуктов,
– маркетологам,
– custdev и ux-исследователям.

Как все начиналось

На страничке моего знакомого Андрея Карпенко в Фейсбуке появилось
Гостям не платили за участие, но желающих оказалось много, и организаторы дополнительно арендовали большой зал.

Как все проходило

Мы собрались в зале с экраном и рядами стульев. Пришло около 50 человек, многие были знакомы друг с другом. В приветственном слове модератор рассказал, что мы будем оценивать 5 сервисов для путешественников и спросил, с какими из них мы уже знакомы.

На экране появился список сервисов:
1. tripadvisor.ru
2. vivaster.com
3. malpatravel.com
4. [новый сервис]
5. onetwotrip.com

Так проходило исследование: ряды стульев, модератор и большой экран.

Участники стали выкрикивать сервисы, которые они знали. После модератор озвучил правила: нам по очереди покажут каждый сервис и раздадут анкеты, в которых нужно будет по 5-балльной шкале оценить впечатления от сервиса, а потом высказать свое мнение. Нас попросили не просто ставить отметку, а пояснить мнение вслух, или в анкете.


Такие анкеты раздавались после демонстрации каждого сервиса.

Дальше все пошло довольно быстро: на экране загружалась страничка сайта, помощник модератора прокручивал ее вниз и нажимал на любую ссылку. По просьбе участников иногда возвращался, или вводил запрос в строке поиска. Еще несколько человек раздавали анкеты и собирали заполненные. Самые активные участники громко высказывали мнения, модератор задавал вопросы и спрашивал мнения остальных. Происходящее снимала открытая видео-камера.

Иногда, чтобы побудить молчаливых участников высказать мнение, модератор спрашивал: «Кто поставил «1», кто поставил «2», кто поставил «3» … расскажите, почему». Это хорошо срабатывало, и люди охотнее высказывались.

Атмосфера создалась хорошая, люди вовлекались, ближе к концу высказались почти все. После окончания участники долго не расходились, были возбуждены, подходили познакомиться друг с другом. Предприниматели и собственники ИТ-продуктов говорили модератору, что им было очень полезно в таком поучаствовать, гости спрашивали, можно ли что-то похожее сделать для оценки их продуктов.

Что было сделано хорошо

1. Вариант сочетания количественных и качественных методов довольно удобный и легко воспринимался участниками.
2. Анкета была простой и короткой, с пояснениями к вопросам.
3. Модератор хорошо выполнял свою задачу. Он не выдавал личный интерес и интерес своих заказчиков, не давал отклоняться от темы, поддерживал каждое высказывание и деликатно вовлекал высказаться молчаливых участников.
4. Организаторы были приветливы и создавали безопасную дружелюбную атмосферу.
5. Мероприятие было бесплатным. Это не убивает рабочую среду и хорошо увлекает участников. Собственникам продукта не стоит бояться, что на такие исследования никто не согласится прийти бесплатно. Это не так.
6. По знакомству с модератором пришло много людей, они были активны и готовы помочь. Так не тратилось время на разогрев и рекрутинг участников, но влияло на результаты, об этом я напишу ниже.

Мои сложности в роли участника

1. Помощник ведущего быстро загружал и пролистывал сайты. Я многие сервисы видела впервые, и для меня такая скорость просмотра не была типичной. Когда участники просили открутить назад, это снова делалось быстро. Только когда начиналось обсуждение, можно было внимательнее прочитать какие-то заголовки. Не было возможности прокликать ссылки, рассмотреть надписи. Но организаторы делали это, если их просили. Из-за такой скорости мне приходилось ставить оценки по первому впечатлению, часто только потом я узнавала, что не полностью поняла концепцию сайта.

2. Анкеты для оценок раздавали по очереди и после оценивания сразу забирали. Когда появлялись другие сервисы, мне хотелось изменить оценки предыдущим, но я уже не могла вернуть свою анкету. Каждый новый сервис оценивался под впечатлением от предыдущих. Первые мне уже не казались такими оригинальными и удобными, но поменять оценки я не могла, а следующие оценивала строже.

3. На некоторые вопросы анкеты мне было неясно, как отвечать. Например, вопрос про доверие: «Насколько сервис формирует доверительное отношение: доверие информации, платежной системе, качеству услуг». В моем представлении доверие является дихотомией, а не непрерывной переменной. То есть, я либо доверяю сервису свои деньги, либо нет. Доверять «на четверочку» – это не совсем понятно как, и какое мое потребительское поведение это вызовет. Но это мои впечатления, анкета не мешала мне поставить «1», или «5».

4. Активные участники почти сразу начинали высказываться. И делали это еще до того, как я понимала, о чем сервис, и ставила отметку. Они высказывались чаще всего критично, ссылались на свой опыт, рассказывали о других сервисах. У этих активных участников было намного больше опыта в использовании сервисов для путешественников, чем у меня. Под их уверенными высказываниями я несколько раз меняла мнение и вместо «5» ставила «3», или «2».

5. Некоторые функции сервисов, или ошибки в текстах на сайтах я не замечала, пока их не называли другие участники. После их слов мое мнение менялось, и я уже не могла воспринимать сервис так, как раньше. Не уверена, что я сама обратила бы внимание на те же функции, или ошибки и отказалась бы от сервиса. Теперь я этого не узнаю.

6. На одном сайте я заметила, что в названии обещается поиск мероприятий и попросила просмотреть, действительно ли информация сгруппирована по мероприятиям. Потом я попросила ввести в поиске мероприятие, например, «карнавал», или «праздник города». Но оказалось, что на сайте были только туры по городам, и заголовок вводил в заблуждение. В этот момент, мне кажется, я повлияла на оценки остальных участников, так как раньше они не замечали этого несоответствия и хвалили сайт за уникальную подачу.

7. У меня была возможность высказаться, и я несколько раз поднимала руку. Но не всегда мои высказывания слышали остальные участники, диалога не получалось. И поэтому я часто молчала, даже когда не была согласна. Из-за того, что людей было много, создавалось впечатление, что зал согласен с 2-3 самыми громкими критиками.

8. Как создатель ИТ-продукта, я в общем была лояльно настроена к тому, что нам показывали, так как понимала, какая работа за всем этим стоит. Мне иногда казалось, что самые активные критики не имеют такого опыта и придираются то к шрифту, то к фону, не пытаясь понять, какие цели решает дизайн. И от этой неоднородности опыта и подготовки аудитории тоже часто выбирала молчать, чем пытаться вступать в дискуссии.

9. В какой-то момент по высказывания громких участников я поняла, что они неверно поняли вопрос об уникальности: «Насколько этот сервис уникален в своей концепции и предложении клиенту». Они критиковали вторичность дизайна сайтов, но не говорили об уникальности предложения для клиента, которое содержал сайт. Тогда я стала откручивать в памяти остальные их критические высказывания, повлиявшие на мои оценки, и поняла, что, возможно, они и раньше не вникали в суть сервисов, а делали высказывания только о внешнем виде лендингов (а мне тогда казалось, что они больше меня понимают в этих услугах). Это все меня окончательно демотивировало, и я уже больше никого не слушала и не пыталась с ними спорить.

Что можно улучшить, чтобы получить больше релевантной информации

Так как это мероприятие не соответствовало почти ни одному требованию к проведению фокус-групп, я отвлекусь от сравнения и буду обсуждать его, как отдельный метод сбора информации от пользователей. Но основные требования к фокус-группам будут справедливы и здесь, так что я их тоже упомяну.

Участники

1. Лучше, если участники события не знакомы друг с другом и модератором. Это защищает от переноса ролей, меньше влияет на высказывания, социальную желательность, поддержку других и страх показаться неопытным и глупым.

2. Чтобы понять, как сервис воспринимают люди, от которых ожидается покупка, на исследование нужно приглашать именно таких людей. Если речь о новых продуктах, то участвовать должны люди из группы потенциальных «ранних последователей». Это значит, что до проведения исследования нужно не только четко определить целевую аудиторию, но и сузить ее до ранних последователей (то есть людей, которые значительно раньше, чем раннее большинство, будут готовы присмотреться к продукту и начать его использовать). Фильтры, использованные в пригласительном посте, создали слишком широкую аудиторию с разным опытом использования on-line сервисов для путешествий.

3. Участников все-таки должно быть меньше. Чтобы услышать всех и получить дискуссию, нужно либо сокращать количество человек (примерно до 10±) и количество вопросов, либо существенно увеличивать время.

4. Чтобы добиться более глубоких высказываний и понять, как люди воспринимают продукт, нужно подбирать участников с похожим опытом и подготовкой. Так у них будет больше желания донести свою мысль и не будет ощущения, что тут «не с кем говорить» и «некому доказывать». (В практике групповых интервью и фокус-групп иногда намеренно добиваются возрастной и гендерной однородности, а иногда, наоборот, сводят участников с разным опытом, чтобы получить больше информации в дискуссии – это зависит от задач и опытности модератора).

Механика исследования

5. Если нужно понять, как люди воспримут сервис в естественных условиях, стоит дать им возможность смотреть на сайты самим с привычной скоростью: на телефонах, планшетах, или компьютерах. Это организовать несложно и можно совместить с исследованиями навигации.

6. Если нужно узнать о реакции пользователей на продукт, нужно дать им возможность принять решение и поставить оценку до того, как начнут высказываться активные участники. Для этого нужно вводить минуты полной тишины для заполнения анкеты, а потом начинать дискуссию.

7. Стоит провоцировать активную дискуссию по теме между участниками. Это нужно для того, чтобы лучше рассмотреть, какие мысли возникают в голове пользователей, и как они принимают решения. В единичных высказываниях на ответ «Почему?» обычно даются краткие и стройные рационализации. А в дискуссии мысль разворачивается, участники чувствуют себя более безопасно, отвлекаются на задачу отстоять свое мнение и уменьшают контроль за стройностью и социальной желательностью высказываний. В этот момент можно получить полезное содержание.

8. Дискуссия и контролируемые споры участников помогают также спровоцировать более тщательное погружение в сервис и узнать, по каким еще точкам пользователи принимают решение. Такая информация обычно не проявляется в первых ответах.

9. Дискуссию и совместное принятие решения стоит также провоцировать, когда нужно оценить, как люди организуют совместную работу при использовании продукта, или при принятии решения о покупке.

10. Чтобы уменьшить влияние порядка обсуждаемых сервисов на то, как они воспринимаются, стоит сохранять анкеты у участников, пока они не смогут увидеть все сервисы и полноценно сравнить их между собой. Так как сравнения все равно не избежать и спонтанная реакция может быть только на первый сервис, стоит их хотя бы уравновесить в правах. Или можно проводить несколько разных мероприятий для разных участников, на которых первыми будут демонстрироваться разные сервисы.

Обработка анкет

11. Можно изменить процедуру сбора анкет так, чтобы разделить оценки, проставленные по первому впечатлению, до влияния высказываний громких участников, и после такого влияния. То, как анкеты собирались сейчас, не дает понять, были ли эти оценки спонтанными и насколько на них повлияло чужое мнение.

12. Можно также добавить вопрос: «Поменялось ли ваше мнение после дискуссии?» и «Какие аргументы повлияли на ваше мнение» – так можно будет исследовать, какие аргументы комментаторов оказываются самыми существенными при принятии решения и какие из них способны перебороть первое впечатление пользователя.

13. Стоит присваивать участникам какой-то ID, если нужно сохранить их анонимность. Так анкеты не будут попадать в каку-то неразобранную кучу средних значений и можно будет отслеживать тенденции в оценках людей с разным опытом.

14. Стоит включить минимальную паспортичку: вопросы соц-дем блока (пол, возраст, профессию, опыт и др.) – так при обработке анкет получится определить сегменты пользователей, для которых одни функции продукта важнее других. А значит, разработчики получат не усредненные значения, а различия в восприятии сервисов пользователями из разных сегментов. Но все это имеет смысл, если анкет будет собрано достаточно много, и исследование приобретет количественный компонент.

Интерпретация результатов

15. Стоит четко отделять досужие высказывания пользователей о дизайне (цветах, шрифтах, иллюстрациях) от их готовности к действиям. Похвала и высокие оценки по всем пунктам анкеты не гарантируют, что участник будет готов пользоваться сервисом, или рекомендовать его знакомым. И наоборот. Это важно объяснить собственникам продуктов, которые будут видеть обсуждение. Они часто готовы сразу воспринимать критику как команду что-то менять, хотя это не всегда связано с поведением их целевых пользователей и вообще не всегда требуется делать.

Для каких задач подходит этот метод

1. В варианте с быстрой прокруткой сайтов и громкими высказываниями активных участников группы метод дает хороший слепок первой реакции пользователя. Обычно пользователи недостаточно лояльны, чтобы давать продукту второй шанс и внимательно разбираться в его уникальном предложении. Если они не видят ценность сервиса в первой быстрой прокрутке, они могут быстро уйти и не вернуться. С помощью этого момента можно понять, какие мысли пролетают в голове у пользователя прямо перед тем, как он закроет страничку сайта.

2. Громкие активные комментаторы сервиса добавляют «утяжеление», так как помогают определить, успевает ли пользователь быстро схватить суть сервиса, или увлечься его дизайном, несмотря на сильные помехи и влияние чужого мнения.

3. Поддерживая высказывания первых активных критиков, можно также отследить, какой критике со стороны пользователи доверяют охотнее, а какую считают просто личным опытом, не имеющим к ним отношения.

Заключение

1. Мероприятие, которое я посетила, оказалось импровизированным групповым обсуждением on-line сервисов с использованием анкет и элементов юзабилити-тестирования.

2. Если метод не изменять, он может дать представление о том, как пользователи воспринимают сервис с первого взгляда, и как они схватывают его ценностное предложение.

3. Если не изменять процедуру сбора анкет и не добавлять соц-дем. вопросы, получатся очень усредненные данные с большим разбросом значений, отражающие частично спонтанные, частично измененные мнения. Делать выводы на основе таких данных не стоит.

4. Если доработать подбор участников и процедуру дискуссии и сбора анкет, может получиться информативный вариант для исследования продукта, сочетание качественных и количественных методов.

5. Для собственников продукта могут быть полезны любые варианты этого метода. Важно только отделять высказывания участников мероприятия от их реального потребительского поведения и четко определить, относятся ли они к группе ранних последователей продукта.

(Статья опубликована с согласия организаторов исследования).