Всем привет! На связи Ульяна Айкович и Даниил Гурин, исследователи БКС Мир Инвестиций и БКС Банка. Сегодня мы хотим поделиться результатами нашего небольшого, но довольно смелого эксперимента — попытки предсказать конверсию в прохождение опросов.

Каждый исследователь знает, как трудно удержать внимание респондентов – особенно в опросах. Один лишний вопрос, одна лишняя картинка в анкете или лишняя минута времени для заполнения опроса — и человек закрывает вкладку. А ведь каждый ответ на вес золота. Поэтому мы решили разобраться: что именно определяет, дойдет ли человек до конца опроса или бросит его на полпути? Можем ли мы заранее это предсказать?

С чего мы начали наш исследовательский эксперимент?

Сначала мы с командой решили изучить теоретические материалы и статьи о том, а что вообще есть интересный для респондентов опрос, какую структуру он должен иметь и из чего состоять. Познакомились с отечественными и зарубежными статьями, чтобы изучить максимум лучших практик – специально для Вас приложили некоторые из них в материалах к этой публикации, делиться знаниями — полезно. 

На основе нашего ресерча пришли к выводу, что оптимальная структура опроса должна быть следующей: 

Но, соблюдение пропорций не гарантирует нам самой успешной конверсии в опросах, есть же ряд других факторов, влияющих на вовлеченность респондентов. Да и скорее всего, вопросы разных типов точно по-разному влияют на восприятие респондентов… Или нет?

Сначала мы попробовали градировать вопросы в зависимости от их сложности – вопросам “попроще” отдавали меньше всего баллов, а самым “трудоемким” давали более высокие баллы. Для этого инструментария решили воспользоваться числами Фибоначчи (см. здесь)  и даже провели небольшой воркшоп с командой, в рамках которого в зависимости от типа вопроса пытались определить его “балльность”.

Но в процессе проработки инструментария поняли, что с таким методом получается много ограничений и в теориях чаще всего прибегают к оценке когнитивной нагрузки, влияющей на завершаемость опроса, в разрезе единиц времени. Поэтому это решение положили в ящик, но не выбросили в урну.

Стоит отдать должное различным теориям по когнитивной нагрузке на наш мозг при изучении информации, эти теории также распространяются и на опросы, когда респондент проходит их, вспоминая свой опыт и давая ответы на различные вопросы – именно к ним мы решили обратиться, прорабатывая дальше нашу экспериментальную методологию. При проработке инструментария решили сфокусироваться преимущественно на теориях когнитивной нагрузки (Sweller, 1988), теории восстановления внимания (Kaplan, 1989), а также усталости выбора (Baumeister et al., 1998). 

Решили попробовать разработать свою систему, которая оценивает когнитивную нагрузку респондентов за одну минуту прохождения опроса с учетом коэффициента усталости и без него. Ниже то, что у нас получилось:

• столбец “Cognitive Score (линейная модель)” — базовая линейная модель по точкам когнитивной нагрузки на единицу времени;

• столбец “Cognitive Score (с учетом надбавки усталости, квадратичная)” — та же метрика когнитивной нагрузки на единицу времени с «премией усталости» (нагрузка ускоряется по мере роста длительности):

  • В рамках этого показателя учитывали инсайты из исследований в области directed attention fatigue (Kaplan, 1989) и decision fatigue (Baumeister et al., 1998), что после 8–10 минут сложной когнитивной деятельности нагрузка начинает расти непропорционально — т.е. за каждую следующую минуту «надбавка усталости» выше, чем за предыдущую;

  • В веб-опросах рост длины анкеты и поздняя позиция вопросов связаны с ухудшением показателей качества (ростом пропусков, satisficing/straightlining, breakoff), то есть с ростом субъективной и объективной нагрузки (Galesic & Bošnjak, 2009; Peytchev, 2009).

Но когнитивная нагрузка, опять же, не единственный фактор, который может влиять на конверсию в опросы. Чтобы предсказать конверсию, мы поняли, что нужно еще больше переменных для анализа.

Проба пера или наша первая итерация

Для того, чтобы подступиться к такой задаче, нужно было определиться с тремя  вещами:
1. На каких данных мы будем строить модели?

2. Какие переменные мы будем использовать?

3. Как будем считать конверсию?

Для ответа на первый вопрос мы прошерстили всю базу существующих опросов и отобрали только те, которые завершили минимум 30 человек, а также они были завершены (на текущий момент набор респондентов не велся). Итого, наша выборка составила 36 опросов, среднее количество респондентов, прошедших их до конца, составило 237 человек.

Вопрос с переменными был интереснее: с одной стороны, мы хотели набрать как можно больше предикторов, с другой – не вдаваться в слишком узкие детали. Для первого подхода отобрали 8 количественных переменных:

1. количество вопросов в опросе

2. среднее время прохождения опроса (в секундах)

3. среднее время прохождения опроса респами (в минутах по правилам округления)

4. линейная когнитивная нагрузка по баллам (рассказали выше)

5. когнитивная нагрузка с усталостью по баллам  (рассказали выше)

6. количество страниц в опросе

7. сумма баллов за все вопросы в анкете (из таблички с размерностью)

8. наличие панельных респонденто  (0 - если только наши клиенты, 1 - если панельные респонденты)

Последний вопрос был самым сложным: в многих опросах логика показа тех или иных заданий может варьироваться. Это связано с тем, что в ходе опроса мы сегментируем клиентов и с помощью определенных вопросов собираем данные только по конкретным клиентам. Например, будет неверным спрашивать у клиента про опыт использования накопительных счетов, если он таковыми никогда не пользовался. Поэтому, конверсию мы решили считать с первого не сегментирующего вопроса до последнего обязательного вопроса для всех участников. То есть, если первый вопрос в анкете звучал, например, так :“Был ли у вас опыт инвестирования за последние полгода”, то про подсчете конверсии, мы его пропускали.

Итак, у нас на столе три главных ингредиента: конверсия, данные и переменные. Осталось всё это аккуратно смешать, приправить статистикой — и посмотреть, что получится в нашем аналитическом блюде.

Для начала мы построили матрицу корреляций, чтобы посмотреть, а с чем вообще коррелирует наша зависимая переменная:

Статистически значимых корреляций не обнаружили. Заметим, что наша зависимая переменная (completion_rate) имеет не только не значимые, но и низкие корреляции с потенциальными предикторами. Первый подход завершился так и не начавшись: корреляций нет, значит строить предиктивную модель пока рано. Кроме того, 36 опросов – это недостаточное количество для выводов.

Учимся на ошибках прошлого или наш второй заход

Для второго подхода к этой задаче мы решили подойти методологически более подкованно. Мы снова изучили многочисленные статьи коллег, и решили дополнить наш датасет новыми переменными. Например, в статье Лиу (2017) было установлено, что с увеличением количества слов в опросе конверсия в завершения опроса значимо снижается  (p < .001). Кроме того, чем больше в опросе вопросов типа “открытый” вопрос, “другое” и “не вопрос”, тем ниже конверсия прохождения опроса (p < .001). Здесь мы решили изменить переменные, которые мы учитываем для предсказания зависимой переменной, соединив вопросы в зависимости от их типов. 

С итоговым списком переменных для второй итерации можно ознакомиться ниже:

• Панельные респонденты (денежная мотивация)

• Число страниц в опросе

• Число вопросов в опросе

• Число вопросов с логикой во всем опросе

• Общее число опций в вопросах всего опроса

• Количество символов в первом целевом вопросе

• Наличие изображения в первом вопросе

• Среднее время ответа на первый вопрос

• Количество вопросов с открытым ответом

• Количество вопросов с множественным выбором

• Количество вопросов с выбором ответа

• Количество вопросов различных других типов

• Сумма баллов за все вопросы в опросе

• Воронка прохождения

В плане анализа мы пошли по протоптанному пути: начали с корреляций. В этот раз результат был лучше, мы обнаружили значимые корреляции зависимой переменной с количеством вопросов типа “другое” – в эту категорию входят: вопросы по модели Кано, Шкалы, Карточные сортировки, Матрица, Ранжирование и Тесты первого клика.

Ура! В матрице корреляций мы увидели, что есть статистически значимая зависимость между зависимой переменной и нашими предикторами. Теперь мы можем строить предсказательную модель с помощью линейной регрессии:
completion rate ~ question_other

Пороговое значение уровня значимости брали стандартное, 5%, само построение регрессии осуществлялось в R. Результат нашей модели получился следующий: несмотря на то, что наша модель объясняет всего 11% выборки, она демонстрирует наличие небольшой отрицательной зависимости между количеством «других» вопросов и завершением опроса.

Напомню, что такой же значимый результат также подтверждается и в статьях. Так, в работе (Liu, 2017) было выявлено, что тип вопросов “другое” (все, что не вопросы с вариантами ответа и не открытые) значимо предсказывают конверсию в завершение: то есть чем выше количество вопросов типа “другое”, тем ниже конверсия в завершение. В нашем случае мы подтвердили такой результат, однако большую роль здесь играет размер выборки. В статье анализ данных проводился на 25,080 опросников, у нас же всего 36. И это одно из основных ограничений нашего исследования. Возможно, из-за ограничения выборки не сработали и другие предикторы, которые могут влиять на предсказание конверсии в опросах.

Что в итоге?

1. Мы подступили к предсказанию конверсии в завершение опроса;

2. Значимо подтвердили, что, чем выше количество вопросов типа “другое”, тем ниже конверсия в завершение;

3. Испробовали разные теории и поняли, что это итерационный эксперимент, как и в целом разработка продуктов — новые вводные помогают улучшать эксперимент, главное быть гибкими и адаптивными.

Что дальше?

Следующим этапом планируем увеличить нашу выборку, количество опросов для анализа, с помощью коллаборации с…. Ваши догадки пишите в комментариях! 

Будем держать Вас в курсе нашего эксперимента и не только!

Подборка полезных материалов от нас по когнитивной нагрузке и структуре опросов:

Vigilance Decrement and Enhancement Techniques: A Review

Straightlining in Web survey panels over time

The Design of Grids in Web Surveys

Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey

How Many Questions Should I Ask In My Survey? How Many Questions Should a Survey Have?

Retailers: Your Surveys Are Making Customers Suffer

Интерфейсы, когнитивная нагрузка, "простыни"

How long should a survey be? Here’s a research backed answer

What is Survey Fatigue and 8 Tips to Avoid It

Fighting Survey Fatigue: Types, Examples & Best Practices

Список литературы
Antoun, C., & Cernat, A. (2020). Factors Affecting Completion Times: A Comparative Analysis of Smartphone and PC Web Surveys. Social Science Computer Review. https://doi.org/10.1177/0894439318823703

Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74(5), 1252–1265.

Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public opinion quarterly, 73(2), 349-360.

Jarrett, Caroline & Gaffney, G.. (2008). Forms that Work: Designing Web Forms for Usability. 

Kaplan, R., & Kaplan, S. (1989). The experience of nature: A psychological perspective. Cambridge University Press.

Liu, M. (2017). Examining Completion Rates in Web Surveys via Over 25,000 Real-World Surveys. Social Science Computer Review. https://doi.org/10.1177/0894439317695581

Sweller, J., Van Merrienboer, J. J., & Paas, F. G. (1998). Cognitive architecture and instructional design. Educational psychology review, 10(3), 251-296.

Peytchev, A. (2009). Survey breakoff. Public Opinion Quarterly, 73(1), 74-97.