Большая часть пользователей теперь полагается на рекомендательные системы, которые активно предоставляют им рекомендации, основанные на различных потребностях и ожиданиях от этих пользователей. Лучшее понимание того, как пользователи взаимодействуют с такими рекомендательными системами, важно не только для улучшения пользовательского опыта, но и для разработки показателей удовлетворенности пользователей и в том числе для эффективной и действенной оптимизации рекомендательного алгоритма. Это особенно актуально в случае стриминговых онлайн-сервисов, таких как Spotify, где рекомендательная система может оценить удовлетворенность пользователей и адаптировать свои рекомендации для более эффективного обслуживания клиентов.
Взаимодействие пользователя с такими системами нередко мотивировано конкретной потребностью или намерением, часто не указанным пользователем в явном виде, но, тем не менее, может дать информацию о том, как пользователь взаимодействует с рекомендациями и в какой степени он удовлетворен ими. Мы предполагаем, что взаимодействие пользователей зависит от конкретных намерений, которые они проявляют при взаимодействии с рекомендательной системой. Мы также подчеркиваем необходимость явного учета намерений пользователя при интерпретации сигналов взаимодействия.
В то время как поисковые системы имеют доступ к явным запросам пользователей, чтобы понять их намерения, интерпретировать сигналы взаимодействия и впоследствии отличить успех от неудачи, рекомендательные системы, с другой стороны, обычно не имеют таких явных показателей намерений пользователей и, как следствие, четких показателей успеха. Действительно, интерпретация сигналов зависит от целей; например, пролистывание может указывать на негативный опыт, если цель — быстро прослушать музыку сейчас, но может также указывать на позитивный опыт, если цель — просмотреть разнообразную коллекцию музыки, которую может предложить система. Более того, интерпретация сигналов взаимодействия становится особенно сложной в контексте сложных рекомендаций, таких как рекомендации Slate, сценарий, типичный для многих сервисов стриминга музыки, где пользователям рекомендуется набор коллекций, называемых slates, с различными целями (для изучения новой музыки, или быстрого перехода к недавно прослушанной музыке и т.д.), и разнородным контентом (плейлисты, профили исполнителей, другой аудиоконтент и т.д.). Таким образом, существует необходимость в детальном, целостном представлении взаимодействия пользователей с такими рекомендательными системами, чтобы установить их полезность в прогнозировании удовлетворенности.
В данной работе мы рассматриваем случай использования стриминга музыки через рекомендательные slates и стремимся понять взаимосвязь между сигналами взаимодействия, намерениями пользователя и его удовлетворенностью. Мы представляем подходы к определению намерений пользователя, демонстрируем важность совместного обучения всех намерений и предлагаем многоуровневую иерархическую модель для прогнозирования удовлетворенности пользователя, которая использует информацию о намерениях пользователя наряду с сигналами взаимодействия.
Идентификация намерений
Мы рассматриваем случай взаимодействия пользователей со Spotify и изучаем различные сигналы взаимодействия, которые могут быть получены с помощью рекомендаций slates, а также определяем то, как эти сигналы взаимодействия варьируются в зависимости от различных намерений. Поскольку список возможных намерений пользователей до сих пор неизвестен, мы используем смешанный метод для понимания намерений пользователей и используем результаты персональных интервью, масштабного опроса внутри приложения и непараметрических методов кластеризации для определения списка возможных намерений. Мы выявили восемь намерений пользователей и проверили их достоверность с помощью больших данных Spotify.
Мы предполагаем, что взаимодействие пользователей с рекомендуемыми списками плейлистов будет отличаться в зависимости от этих намерений. На рисунке ниже представлена карта сигналов взаимодействия с различными намерениями. Мы видим, что степень выраженности сигналов взаимодействия значительно отличается в зависимости от намерений, причем некоторые сигналы, такие как время взаимодействия, значительно ниже для намерения 2 (быстрый доступ к музыке). Эти различия в сигналах взаимодействия подчеркивают тот факт, что пользователи действительно ведут себя по-разному при различных намерениях.
Прогнозирование удовлетворенности
Чтобы понять и предсказать удовлетворенность пользователей с помощью данных о взаимодействии, до настоящего времени мы извлекали подробные сигналы взаимодействия с пользователем и определяли различные намерения данных юзеров. Затем мы использовали извлеченные сигналы и намерения и представили методы прогнозирования удовлетворенности пользователей с помощью сигналов. Мы экспериментируем с тремя подходами для прогнозирования удовлетворенности, охватывающими спектр гранулярности на уровне намерений, т.е. мы охватываем глобальную модель (Global Model) для всех намерений, отдельную модель для каждого намерения (Per-Intent Model) и общую модель для всех намерений (Multi-Level Model).
Global Model рассматривает все пользовательские сессии как однородный набор данных, где намерение пользователя представлено просто как категориальная переменная наряду с сигналами взаимодействия с пользователем; см. а) на рисунке ниже.
Per-Intent Model формирует отдельную модель для каждого намерения; см. б) на рисунке ниже.
Multi-Level Model представляет собой компромисс между единой глобальной моделью прогнозирования и отдельной моделью прогнозирования для каждого намерения; см. в) на рисунке ниже.
И Global, и Per-Intent модели прогнозирования имеют некоторые ограничения. Модель Per-Intent работает, используя только локальную информацию о намерении, и предполагает, что данные берутся из отдельных моделей для каждого намерения, тем самым игнорируя информацию и понимание других намерений. Более того, она может оказаться бесполезной для намерений с небольшим количеством помеченных данных. Global Model, напротив, игнорирует вариации на уровне намерений в данных о взаимодействии с пользователем и непреднамеренно подавляет вариации, которые могут быть важными.Таким образом, возникла идея разработки Multi-level Model.
Моделирование модели прогнозирования удовлетворенности такой как Multi-level Model дает несколько преимуществ. Во-первых, Multi-level Model позволяет нам учитывать группировку пользовательской сессии на уровне намерений. Во-вторых, она позволяет учесть как индивидуальный уровень сеанса, так и влияние уровня группы намерений на удовлетворенность пользователя, тем самым позволяя учесть изменчивость поведения пользователя при взаимодействии с различными намерениями. В-третьих, предполагая, что эффекты на уровне группы намерений происходят из общего распределения, разделяемого всеми намерениями, она облегчает обмен информацией между различными намерениями. Это может помочь в повышении точности и эффективности прогнозирования для намерений с относительно небольшим количеством данных.
Для оценки эффективности трех моделей мы использовали реальные данные пользователей Spotify, состоящие из 200 тысяч ответов о намерениях и удовлетворенности от 116 тысяч пользователей (более подробную информацию можно найти в нашей статье). В целом, мы обнаружили, что Global Model не смогла предсказать удовлетворенность пользователей лучше, чем другие. Global Model без учета намерения как характеристики работает хуже, что подчеркивает, что включение информации о намерении полезно для прогнозирования удовлетворенности. Per-Intent Model, напротив, дала гораздо лучшие результаты прогнозирования, чем Global Model, что еще раз подтверждает гипотезу о том, что учет информации о намерении имеет решающее значение для точного понимания и прогнозирования удовлетворенности пользователей. Наконец, Multi-level Model показала значительно лучшие результаты, чем Global Model, улучшив точность прогнозирования более чем на 20%. Multi-level Model превзошла все модели, кроме одной Per-Intent Model с улучшением точности прогнозирования в пределах 4-14% для различных намерений, при этом она дала сопоставимые результаты для последнего намерения. Эти результаты показывают, что Multi-level Model способна использовать информацию из других намерений, что, в свою очередь, помогает повысить производительность других намерений.
Важность сигналов взаимодействия для каждого намерения
Наконец, чтобы понять, какой сигнал взаимодействия наиболее полезен для различных намерений, мы представляем три основных сигнала и показываем их относительный показатель по всем восьми намерениям на рисунке ниже. Мы видим, что сигналы в разной степени важны для разных намерений. Для случая, когда пользователь хочет быстро получить доступ к сохраненной музыке, наиболее информативными являются такие сигналы, как время достижения успеха и время пребывания, в то время как для случаев, когда пользователь хочет воспроизвести музыку в фоновом режиме, они неинформативны. Для намерений, когда пользователи хотят более детально изучить исполнителей, более важными оказываются сигналы, связанные с установлением связей между пользователями (т.е. сохраненные или загруженные треки).
Вариации наиболее информативных сигналов для различных намерений подчеркивают тот факт, что различные сигналы действительно важны в разной степени для различных случаев использования. Эти результаты четко подчеркивают необходимость моделирования намерений при интерпретации взаимодействия с пользователем для прогнозирования его удовлетворенности.
Выводы
Учитывая парадигму Slate рекомендаций без запросов, понимание намерений пользователя становится нетривиальной задачей. На основе смешанного метода, включающего интервью, опрос в приложении и непараметрическую кластеризацию, мы определили восемь ключевых намерений пользователей и экспериментально продемонстрировали важность явного учета этих намерений при прогнозировании удовлетворенности пользователей. Наши результаты также показывают, что различные сигналы взаимодействия в разной степени важны для разных намерений. Более того, значительное улучшение результатов прогнозирования подтверждает не только необходимость группировки пользовательских сессий по группам намерений для прогнозирования удовлетворенности, но и необходимость совместного обучения по всем намерениям.
Более подробную информацию о методологии, экспериментах и сопутствующих работах можно найти в нашей статье.
Материал подготовлен в рамках курса «Product Manager IT-проектов». Если вам интересно узнать подробнее о формате обучения и программе, познакомиться с преподавателем курса — приглашаем на день открытых дверей онлайн. Регистрация здесь.