Если спросить любой нынче модный АИ ( в конце ответ DeepSeek, как пример), как оценивать уличных музыкантов, то текст будет такой
Оцените количество тех, кто остановился, дал денег, подпевал или аплодировал.
Оцените количество тех, кто не остановился, но мог бы.
Оцените количество тех, кто прошёл мимо и плюнул.
Оцените количество тех, кто просто прошёл мимо.
Ну и далее классическая оценка - что из этого списка TruePositive, что TrueNegative и т.д. Уже можно по-взрослому и всерьёз обосновывать своё выступление. Так же и оценивают все публичные мероприятия, например, четкое ощущение, что так же оценивали праздник "Сбор урожая".
Все эти АИ свой текст составили интерполируя все те мнения, до которых дотянулись, т.е. почти везде одна и та же методика маркетинга, которую все мастера уличного шума и гама рассказывают начальникам, и та же самая ошибка, про которую молчат.
И ошибка тут простая и, очевидно, очень выгодная всем этим мастерам поорать.
Они, на самом деле, ещё проще оценивают - пришли на мероприятие 10 человек, один матерился, второй плевался, остальные одобряли. Итого 80% населения мероприятие одобрили. Вот так незамысловато обосновывают организаторы этот свой шум и гам.
На предложение посчитать тех, что слышал, вольно или принудительно этот шум и просто не пошёл на это мероприятие или ушёл в другую сторону и на это число поделить количество тех, кому "понравилось" категорически отказываются.
Так так тут станет ясно, что если опросить всех и даже если убрать в ответах матерщину и угрозы, то все равно, тех, кому понравилось будет 8 человек, они и пришли. НО процент успеха будет совсем по другому соотносится с процентом провала.
Никто и никогда из организаторов публичного шума никогда не станет опрашивать всех тех, кто этот шум слушал.
Никакой аниматор никакого отеля никогда не станет проводить опрос всего отеля (а то и соседних, которые тоже невольно анимировали), т.е. всех тех кто слушал его анимацию, с целью определить TP, TN.
Точно также любой ларёк выставляет на улицу громкоговоритель и начинает зазывать - "лучшее мясо в округе, ... "
Только вот тех, кто поскорее прошёл мимо этого шума и купил в другом месте они не считают.
Точно так же власти, когда отдали все тихие и уютные скверы под развлечение новоявленных скоморохов (иногда организаторов бывает больше зрителей и ясно, что это развлекаются они, организаторы, а не местные жители), также уверены, если из 10 зрителей 8 одобрили, то 80% населения одобряет их.
К слову сказать, недавно в Египте маркетологи большой сети, хоть и со второго раза, но быстро осознали простую математику и вся эта анимация стала слышна только её участникам.
Но вот власти Москвы и других городов почему-то уверенны, что у жителей и гостей города явная нехватка в качественном шуме и если заставить их, жителей, слушать громкую, очень громкую попсу, то наступит счастье.
Но мне кажется, что всё дело в другом. Ещё при Иосифе Виссарионовиче, много лет назад, когда на несколько деревень была одна гармонь и одна радиоточка, был установлен порядок проведения массовых мероприятий - все собираются рядом с радиоточкой и слушают то, то можно или нужно слушать.
Так вот никто не осмеливается это порядок изменить - это же просто страшно, сказать начальникам, что теперь у всех в кармане своя коллекция музыки, тщательно отобранная, что нет никаких проблем скачать любую понравившуюся песню.
Что теперь у каждого свои предпочтения в музыке и незачем собирать всех у радиоточки.
Но нет - в каждом микрорайоне теперь есть такая радиоточка, репертуар высочайше утверждён и никаких изменений. Пример столичных "радиоточек" только подчеркивает методы современных маркетологов.
Некоторые магазины перестают звонить только после предложения приехать и набить им лицо. Прекратить же спам на почту невозможно, так же как и дикий ор в громкоговоритель в сквере. Вопль "Давай давай давай", по мнению организаторов этого вопля, обладает живительной маркетологической силой. Ведь начальство слышит, как они стараются во всю силу, а что народ пришел в количестве 10 человек, ну нак 8 из них довольны.
Это не от злобы или ненависти к населению, нет, начальника радеют за народ как никто другой. Это просто маркетологи не хотят ничего менять, тут все ходы известны, всё расписано и известно - делай как в прошлом году и всё будет хорошо ( и так со времен Иосифа Виссарионовича). А своим естественным интеллектом подумать и посчитать - никогда.
Но даже если маркетологи считают количество всех тех, до кого дотянулись - за деньги на рассылки, спам, флуд то нужно отчитываться - никто и никогда из них не считает тех, кого они достали до печёнок своими звонками, СМС, спамом и флудом и никогда к ним не придёт из-за вызванной таким их маркетологическим вниманием неприязнью.
Я только в одной организации встречал полный расчёт - скольких оповестили и как и сколько из них отнеслись негативно и то, сам же такой расчёт проводил. Больше никогда и нигде.
Мысль маркетологов проста и даже убога - давайте позвоним всем, поставим звук на 10 киловатт, что бы слышали все и ещё немного, давайте всех достанем, позвоним, заспамим и зафлудим - они прибегут к нам.
Но считать будем только тех, кто придёт. Они это называют воронкой и начинают умничать.
Если же вдруг кто-то им предлагает просто посчитать, на простом калькуляторе, без ИИ и всяких питонов, тут же они достают ярлыки "безграмотно", "неуч". "осталл от жизни" и т.д.
Но если хорошенько прижать и заставить достать математику и показать, что она тут не прикладывается никак, начинают юлить и грубить. Вот один знатный датасаентист, т.к. смысла нет спорить с учебником, прямо и откровенно заявил - Да, это скам, но Гугл так делает и мы так будем делать, за это платят.
Но если честно хотите оценить результат начинайте считать с тех, кого известили, заспамили, зафлудили, кто вынужден был слушать ваш этот ор. И вот там про свой бренд услышите то, что и должны услышать.
Вот DeepSeek предлагает учитывать прохожих, но считать наверно нужно всех, в том числе жителей дома, под которым играет музыкант.
Чтобы оценить выступление уличного музыканта с помощью метрик True Positive (TP) и True Negative (TN), нужно сначала определить критерии успеха и типы ошибок. Это классический подход из бинарной классификации, который можно адаптировать под нестандартные задачи, например, оценку реакции публики.
1. Определяем бинарные классы
Нужно чётко задать, что считать "положительным" (Positive) и "отрицательным" (Negative) исходом. Например:
Positive (P) → Зритель проявил интерес (остановился, заплатил, аплодировал, снял на видео).
Negative (N) → Зритель прошёл мимо без реакции.
2. Формируем матрицу ошибок
На основе наблюдений за аудиторией можно выделить 4 категории:
Фактически "P" (проявил интерес) |
Фактически "N" (проигнорировал) |
|
---|---|---|
Предсказано "P" |
True Positive (TP) |
False Positive (FP) |
Предсказано "N" |
False Negative (FN) |
True Negative (TN) |
Но поскольку уличный музыкант не делает явных "предсказаний", можно интерпретировать это так:
TP – Человек, от которого ожидалась положительная реакция (например, остановился в толпе), и она произошла (донатил, похвалил).
TN – Человек, от которого не ожидалось интереса (шёл быстро, в наушниках), и действительно прошёл мимо.
FP – Кажется, что человек заинтересовался (замедлил шаг), но не дал денег/не похвалил.
FN – Прошёл мимо, хотя мог бы заинтересоваться (например, если бы музыкант играл громче или иначе).
3. Как собрать данные?
-
Фиксация реакций – Записывать количество людей, которые:
Остановились (P) vs. прошли мимо (N).
Из остановившихся – сколько дали денег (TP) vs. просто послушали (FP).
Эксперименты – Менять репертуар, манеру исполнения, локацию и сравнивать метрики.
4. Пример расчёта
Допустим, за 30 минут выступления:
100 человек прошли мимо.
-
20 человек остановились, из них:
15 дали деньги (TP).
5 просто послушали и ушли (FP).
-
Из 100 прошедших мимо:
80 шли целенаправленно (TN).
20 могли бы остановиться, но что-то не понравилось (FN).
Тогда:
Precision (точность) = TP / (TP + FP) = 15 / 20 = 75% (из остановившихся сколько дали денег).
Recall (полнота) = TP / (TP + FN) = 15 / (15 + 20) ≈ 42.8% (сколько потенциальных донатеров упущено).
5. Зачем это музыканту?
Если FP высокий – люди слушают, но не платят → возможно, стоит активнее просить чаевые.
Если FN высокий – много проходящих мимо → сменить место или стиль исполнения.
Если TN высокий → значит, выбрана правильная локация (мимо идут только те, кто в принципе не заинтересован).
Вывод
Такой подход помогает количественно оценить реакцию публики и оптимизировать выступления. Главное – чётко определить, что считать "успехом", и фиксировать данные.
Если же задача более субъективная (например, оценка качества музыки), лучше использовать опросы или лайки/дизлайки от случайных слушателей.