Intro


Образ поп звезд привлекает миллионные аудитории, он состоит из внешнего вида, музыки, поступков и конечно же текстов их песен.
О чем поют популярные исполнители? Во все времена темы одинаковые: любовь, одиночество, секс, развлечения, вечные ценности.


Однако наверняка вы и сами чувствовали, что от каждого исполнителя остается свой осадок в душе, свой привкус. И вроде бы слова одинаковые, а оттенки разные. И у каждого — свой.


Та картина, которую артист рисует своими словами — уникальна и отображает их внутренний мир, их психологические портреты.


В статье мы пробуем через призму AI заглянуть за завесу слов и различить за ними душу таких популярных звезд как Drake, Rihanna, Coldplay, Twenty One Pilots, Dua Lipa, The Chainsmokers и Katy Perry.
Нашли кого-то из любимых артистов и Вам хочется узнать их скрытые эмоции и переживания?




Читайте дальше о том, как современная технология обработки естественного языка от IBM Watson Personality Insights помогает «читать между строк» эмоции, потребности, ценности и психологические особенности.


Куплет


Итак… В левом углу ринга — испытуемые, а именно 7 супер-пупер топ-поп звезд международного уровня, а также стихи из их песен. Все внимание к софитам:

  1. Drake с альбомом 2018 — Scorpion
  2. Coldplay с альбомом 2015 — A Head Full of Dreams
  3. Katy Perry с альбомом 2017 — Witness
  4. Dua Lipa с альбомом 2017 — Dua Lipa
  5. Rihanna с альбомом 2016 — Anti
  6. The Chainsmokers с альбомом 2016+2017 — Collage + Memories...Do Not Open
  7. Twenty One Pilots с альбомом 2015 — Blurryface

Для понимания статьи знакомство с их творчеством не обязательно. Но если вы знакомы с ними, то это будет особенно кстати для пониманию нюансов соответствия их имиджа результатам анализа.

В правом углу — сервис Personality Insights от IBM Watson.

Пару слов о нем.

Сервис предназначен для анализа связного разговорного текста, которым люди общаются в соцсетях, письмах и на форумах. На основании такого текста (желательно, чтобы длина текста превышала 500 слов) сервис выдает 4 набора характеристик:

  1. Психологические характеристики личности по теории «Большая пятерка»
  2. Потребности
  3. Ценности
  4. Потребительские предпочтения

Да, сразу оговорюсь, что сервис не понимает русского языка, можно обойти это ограничение прямым онлайн переводом на английский, потеряв часть исходной информации, но сохранив контекст достаточный для автоматизированного применения сервиса. Я прогнал сквозь Personality Insights переведенное через Google.Translate «Бородино» Лермонтова и общее впечатление — вполне приемлемые результаты.

Немного о методологии исследования.

Для анализа были выбраны последние наиболее удачные с маркетинговой точки зрения альбомы нескольких топ-звезд. Полный набор стихов из каждого альбома балком как сплошной текст был направлен для анализа в сервис Watson Personality Insights предоставленный компанией IBM. В качестве ответа на каждый запрос от сервиса был получен JSON примерно следующего вида:

JSON с ответом сервиса Watson Personality Insights
		{
			"word_count": 1365,
			"processed_language": "en",
			"personality": [
				{
					"trait_id": "big5_openness",
					"name": "Openness",
					"category": "personality",
					"percentile": 0.9970814244982862,
					"significant": true,
					"children": [
						{
							"trait_id": "facet_adventurousness",
							"name": "Adventurousness",
							"category": "personality",
							"percentile": 0.7897453561510404,
							"significant": true
						},
						{
							"trait_id": "facet_artistic_interests",
							"name": "Artistic interests",
							"category": "personality",
							"percentile": 0.9946576519208276,
							"significant": true
						},
						{
							"trait_id": "facet_emotionality",
							"name": "Emotionality",
							"category": "personality",
							"percentile": 0.7671631753694048,
							"significant": true
						},
						{
							"trait_id": "facet_imagination",
							"name": "Imagination",
							"category": "personality",
							"percentile": 0.3116772371947263,
							"significant": true
						},
						{
							"trait_id": "facet_intellect",
							"name": "Intellect",
							"category": "personality",
							"percentile": 0.9965199807027889,
							"significant": true
						},
						{
							"trait_id": "facet_liberalism",
							"name": "Authority-challenging",
							"category": "personality",
							"percentile": 0.7979072721493274,
							"significant": true
						}
					]
				},
				{
					"trait_id": "big5_conscientiousness",
					"name": "Conscientiousness",
					"category": "personality",
					"percentile": 0.986401677449357,
					"significant": true,
					"children": [
						{
							"trait_id": "facet_achievement_striving",
							"name": "Achievement striving",
							"category": "personality",
							"percentile": 0.8403728912342892,
							"significant": true
						},
						{
							"trait_id": "facet_cautiousness",
							"name": "Cautiousness",
							"category": "personality",
							"percentile": 0.9441869457422986,
							"significant": true
						},
						{
							"trait_id": "facet_dutifulness",
							"name": "Dutifulness",
							"category": "personality",
							"percentile": 0.7946276293038677,
							"significant": true
						},
						{
							"trait_id": "facet_orderliness",
							"name": "Orderliness",
							"category": "personality",
							"percentile": 0.761074150640708,
							"significant": true
						},
						{
							"trait_id": "facet_self_discipline",
							"name": "Self-discipline",
							"category": "personality",
							"percentile": 0.7128649175839024,
							"significant": true
						},
						{
							"trait_id": "facet_self_efficacy",
							"name": "Self-efficacy",
							"category": "personality",
							"percentile": 0.6994302718651376,
							"significant": true
						}
					]
				},
				{
					"trait_id": "big5_extraversion",
					"name": "Extraversion",
					"category": "personality",
					"percentile": 0.08530058556548387,
					"significant": true,
					"children": [
						{
							"trait_id": "facet_activity_level",
							"name": "Activity level",
							"category": "personality",
							"percentile": 0.9624016313415944,
							"significant": true
						},
						{
							"trait_id": "facet_assertiveness",
							"name": "Assertiveness",
							"category": "personality",
							"percentile": 0.9198609213386711,
							"significant": true
						},
						{
							"trait_id": "facet_cheerfulness",
							"name": "Cheerfulness",
							"category": "personality",
							"percentile": 0.2293639969883619,
							"significant": true
						},
						{
							"trait_id": "facet_excitement_seeking",
							"name": "Excitement-seeking",
							"category": "personality",
							"percentile": 0.21024192850794732,
							"significant": true
						},
						{
							"trait_id": "facet_friendliness",
							"name": "Outgoing",
							"category": "personality",
							"percentile": 0.7085191412979603,
							"significant": true
						},
						{
							"trait_id": "facet_gregariousness",
							"name": "Gregariousness",
							"category": "personality",
							"percentile": 0.22458619358371484,
							"significant": true
						}
					]
				},
				{
					"trait_id": "big5_agreeableness",
					"name": "Agreeableness",
					"category": "personality",
					"percentile": 0.18753528603194114,
					"significant": true,
					"children": [
						{
							"trait_id": "facet_altruism",
							"name": "Altruism",
							"category": "personality",
							"percentile": 0.9713302006331768,
							"significant": true
						},
						{
							"trait_id": "facet_cooperation",
							"name": "Cooperation",
							"category": "personality",
							"percentile": 0.8229934901276241,
							"significant": true
						},
						{
							"trait_id": "facet_modesty",
							"name": "Modesty",
							"category": "personality",
							"percentile": 0.7613188148341663,
							"significant": true
						},
						{
							"trait_id": "facet_morality",
							"name": "Uncompromising",
							"category": "personality",
							"percentile": 0.9471478882849425,
							"significant": true
						},
						{
							"trait_id": "facet_sympathy",
							"name": "Sympathy",
							"category": "personality",
							"percentile": 0.9991179451374892,
							"significant": true
						},
						{
							"trait_id": "facet_trust",
							"name": "Trust",
							"category": "personality",
							"percentile": 0.830111046812001,
							"significant": true
						}
					]
				},
				{
					"trait_id": "big5_neuroticism",
					"name": "Emotional range",
					"category": "personality",
					"percentile": 0.9438564164580441,
					"significant": true,
					"children": [
						{
							"trait_id": "facet_anger",
							"name": "Fiery",
							"category": "personality",
							"percentile": 0.013938100678606846,
							"significant": true
						},
						{
							"trait_id": "facet_anxiety",
							"name": "Prone to worry",
							"category": "personality",
							"percentile": 0.06202578945407233,
							"significant": true
						},
						{
							"trait_id": "facet_depression",
							"name": "Melancholy",
							"category": "personality",
							"percentile": 0.35285841125133055,
							"significant": true
						},
						{
							"trait_id": "facet_immoderation",
							"name": "Immoderation",
							"category": "personality",
							"percentile": 0.011684379342278672,
							"significant": true
						},
						{
							"trait_id": "facet_self_consciousness",
							"name": "Self-consciousness",
							"category": "personality",
							"percentile": 0.19347068940127599,
							"significant": true
						},
						{
							"trait_id": "facet_vulnerability",
							"name": "Susceptible to stress",
							"category": "personality",
							"percentile": 0.06994539774378472,
							"significant": true
						}
					]
				}
			],
			"needs": [
				{
					"trait_id": "need_challenge",
					"name": "Challenge",
					"category": "needs",
					"percentile": 0.0032546536914943025,
					"significant": true
				},
				{
					"trait_id": "need_closeness",
					"name": "Closeness",
					"category": "needs",
					"percentile": 0.370227811018078,
					"significant": true
				},
				{
					"trait_id": "need_curiosity",
					"name": "Curiosity",
					"category": "needs",
					"percentile": 0.845180482624851,
					"significant": true
				},
				{
					"trait_id": "need_excitement",
					"name": "Excitement",
					"category": "needs",
					"percentile": 0.11505596926601463,
					"significant": true
				},
				{
					"trait_id": "need_harmony",
					"name": "Harmony",
					"category": "needs",
					"percentile": 0.4664217424750164,
					"significant": true
				},
				{
					"trait_id": "need_ideal",
					"name": "Ideal",
					"category": "needs",
					"percentile": 0.02263412995273051,
					"significant": true
				},
				{
					"trait_id": "need_liberty",
					"name": "Liberty",
					"category": "needs",
					"percentile": 0.10802987716455864,
					"significant": true
				},
				{
					"trait_id": "need_love",
					"name": "Love",
					"category": "needs",
					"percentile": 0.011895333821013376,
					"significant": true
				},
				{
					"trait_id": "need_practicality",
					"name": "Practicality",
					"category": "needs",
					"percentile": 0.018888178951272094,
					"significant": true
				},
				{
					"trait_id": "need_self_expression",
					"name": "Self-expression",
					"category": "needs",
					"percentile": 0.1848978280656295,
					"significant": true
				},
				{
					"trait_id": "need_stability",
					"name": "Stability",
					"category": "needs",
					"percentile": 0.3946227431440061,
					"significant": true
				},
				{
					"trait_id": "need_structure",
					"name": "Structure",
					"category": "needs",
					"percentile": 0.8880129689346332,
					"significant": true
				}
			],
			"values": [
				{
					"trait_id": "value_conservation",
					"name": "Conservation",
					"category": "values",
					"percentile": 0.5065929218618476,
					"significant": true
				},
				{
					"trait_id": "value_openness_to_change",
					"name": "Openness to change",
					"category": "values",
					"percentile": 0.6287516949462554,
					"significant": true
				},
				{
					"trait_id": "value_hedonism",
					"name": "Hedonism",
					"category": "values",
					"percentile": 0.005253658217921009,
					"significant": true
				},
				{
					"trait_id": "value_self_enhancement",
					"name": "Self-enhancement",
					"category": "values",
					"percentile": 0.0011936431143393933,
					"significant": true
				},
				{
					"trait_id": "value_self_transcendence",
					"name": "Self-transcendence",
					"category": "values",
					"percentile": 0.3429609693883737,
					"significant": true
				}
			],
			"warnings": []
		}


Полученные данные были проанализированы с помощью Excel, выделены наиболее характерные особенности присущие текстам каждого из артистов.

Ни в коей мере не претендуя на истину в последней инстанции, тем не менее данное исследование представляет интерес для понимания границ применимости методов natural language processing и объективности полученных результатов. Стихи можно рассматривать как наиболее искусственную форму текстовой информации, образы и слова, используемые поэтами зачастую гипертрофированы и имеют много переносных смыслов, аллюзий и информации, скрытой «между строк», тем интереснее увидеть как с такой сложным материалом справились алгоритмы компании IBM.

Припев


Итак, перед нами таблица ценностей каждого артиста по результатам описанного выше анализа:




Внимательно посмотрев на нее, можно выделить 3 певцов, которые превзошли остальных по одному или нескольким метрикам: Дрейк, Дуа Липа и Рианна. Как мы увидим дальше психологические портреты каждого из них достаточно целостные и отображают тот образ, который транслируется через СМИ.


Немного неожиданно то, что Рианна выделяется по метрике conservation, однако второй по этому показателю идет Дрейк, что полностью подходит к его мускулинному имиджу.


Гедонизм или поиск удовольствий и чувственного вознаграждения для себя — это вторая наиболее заметная метрика Рианны вместе с Дрейком, вот эта характеристика как раз очень ожидаема для поп-культуры.


Метрика «Открытость к изменениям» показывает высокие значения у Дрейка (опять!), Дуа Липы (что вполне нормально для юной девушки) и Кэти Перри (что полностью подтверждает её новый имидж).
Ниже приведен график визуализирующий значения таблицы:



Аналогичный анализ был проведен по категории «Потребности». Результаты в таблице ниже. Наибольшие значения в каждой из потребностей подсвечены, что означает что у данного артиста эта потребность в стихах транслируется сильнее, чем у других.
Приглашаю вас к самостоятельному участию в анализе данной таблице, наверняка вы откроете что-то интересное для себя.




Например, у Дрейка в стихах (кстати, его альбом содержит примерно в 2 раза больше слов, чем альбом любого другого из анализируемых исполнителей) больше, чем у других «пациентов», выражены потребности Структуры, Стабильности, Практичности и Идеала — настоящий альфа-самец!

На всякий случай привожу график, на котором сложно что-то разобрать, но можно увидеть несколько выдающихся линий. Например, желтая и оранжевые в curiosity (любопытство) у Katy Perry и Drake, голубая и серая в closeness (близость) у Рианны и Дуа Липы, потребность challange (вызов) у Рианны и пр.




Outro


Целью данной статьи было дать общее представление о возможностях сервиса Watson Personality Insights (используемые категории и их содержание), напомнить о прекрасном (музыке и поэзии) и пригласить к дискуссии по поводу роли искусственного интеллекта в будущем творческих профессий.

Надеюсь, что хоть что-то из задуманного мне удалось.


Если есть интерес, то пишите комменты, так как есть еще интересный материал по инсайтам того, что общего в лирике у «новичков» музыкальной сцены, т.е. какие ценности транслируются успешными новыми звездами, совершившими прорыв.

Кроме этого могу поделиться анализом того, как развивался образ группы Coldplay на основании их лирики за 20 лет истории. Интересно, что Personality Insights действительно улавливают развитие психологического портрета от подростков до зрелых мужчин в их творчестве.

Комментарии (10)


  1. dopusteam
    04.10.2018 07:56

    Какие то притянутые выводы, типа 'что ожидаемо для поп культуры', 'что соответствует новому имиджу', 'что вполне нормально'


    1. dmitry_milenky Автор
      04.10.2018 08:47

      Очень верное замечание! Анализ имиджа и творческих характеристик всегда были не просты для формализации. Для тех, кто хорошо знаком с творчеством этих певцов эти выводы не такие уж и протянула, а достаточно обоснованные.
      Сатью стоит рассматривать не только как краткий обзор Watson Personality Insights, но и как введение в культурологию и музыковедение новых современных инструментов аналитики.


  1. Sirion
    04.10.2018 10:30

    Мне кажется, что аналогичную трактовку можно было бы подвести под любой результат, выданный RNG. Но подтверждающий пример привести не могу, я не знаю, кто все эти люди.


    1. dmitry_milenky Автор
      04.10.2018 12:21

      Спасибо за комментарий! Уже вижу по 2м первым отзывам, что действительно без знакомства с поисками выводы не очевидны. Возможно стоило описать каждого из них подробнее. Если подскажите направление как формализовать образы-аватары артистов, то буду благодарен


  1. Alexey2005
    04.10.2018 12:34

    Вам хочется узнать их скрытые эмоции и переживания
    А что, «звёзды» уже сами сочиняют свои песни?


    1. dmitry_milenky Автор
      04.10.2018 12:47

      кто как. Точно участвуют в написании текстов и в выборе того, что петь. Некоторые типа twenty one pilots и cosplay — многое пишут сами,. В общем без личности тут не обходится


  1. Tarson
    04.10.2018 12:49

    Вот именно. Чьи эмоции и переживания — людей которые текст писали или самих поп-звезд? Это прямо как у Пелевина, не помню правда, в какой книге — герой вещает, а тексты ему пишет компания психологов и маркетологов, а девы от речей текут.


    1. dmitry_milenky Автор
      04.10.2018 13:30

      Вот не удивлюсь если AI пишет им тексты. По инсайдерской информации Maroon 5 пишет музыку с использованием алгоритмов. Но как выше ответил, артист минимум выбирает то, что ему созвучно


  1. Panzerschrek
    04.10.2018 16:10

    Изложенный в статье подход можно было бы применить для сервиса рекомендаций.
    В базовом варианте можно просто выдавать похожих исполнителей (что сервисы рекомендаций уже умеют сейчас), в более продвинутом — давать пользователю возможность искать по желаемым диапазонам параметров need_*.


    1. dmitry_milenky Автор
      04.10.2018 16:47

      Спасибо за идею. Я рад, что статья запустила креативный процесс, направленный на поиски возможностей по применению этой технологии. На мой взгляд данный подход можно действительно зашить в какой-то сервис поиска схожести, но с определенными доработками по применению к конкретной предметной области для чего нужно глубже, чем я в данный момент разобрался, понимать поведение алгоритма.