Всем привет!
Во время прохождения одного из образовательных курсов по анализу данных и рекомендательным системам наткнулся на интересную вещь, о которой совсем мало материала на русском языке и решил данное недоразумение исправить.
Хотел бы рассказать об одном из методов коллаборативной фильтрации, корни которого уходят в историю. Его задача состоит в том, чтобы дать наиболее «правильный» ответ, используя коллективный разум.
Алгоритм The Wisdom of Crowds (Мудрость Толпы) является одной из реализаций коллаборативной фильтрации. Его работа основывается на том, что группа людей обладает большими знаниями, чем индивид, в то время как каждый отдельно взятый человек может улучшить производительность группы за счет своего конкретного ввода информации.
Возьмем пример из истории. В 1906 году, во время выставки жирного скота и птицы в Западной Англии, Фрэнсис Гальтон открыл математические и статистические закономерности групповых средних оценок и их преимущества перед индивидуальными. На этом мероприятии группа оценщиков успешно обеспечила среднее значение веса быка, удивительно близкое к реальному значению.
В качестве необходимых условий работы данного алгоритма присутствуют сведения о «толпе».
Толпа должна:
Одним из возможных минусов вышеописанного подхода может быть потенциальное возникновение феномена группового мышления. Участники, не обладающие достаточными знаниями, могут следовать за более осведомленными в вопросе людьми и давать похожие ответы. Также социальное влияние может привести к тому, что среднее значение ответов толпы будет неточным, в то время как среднее геометрическое и медианное — пребывать в норме. Качество предсказаний может зависеть и от формулирования вопросов — толпа в целом работает лучше, когда есть правильный ответ на поставленный вопрос, например, вопрос о географии или математике. Когда нет точного ответа, толпа может прийти к произвольным выводам.
Математических моделей, реализующих на практике данный метод я нашел всего 2, указал в источниках. Одна из них применяется для предсказания цены акции на рынке и еще не зарекомендовала себя на длительном временном интервале, но продолжает использоваться и дальше.
Если есть уточнения или интересные примеры использования подобной методики — пишите к комментариях.
Есть хорошая статья про использование вышеописанного алгоритма в предсказаниях цен акций с реализованными математическими расчетами под конкретную задачу.
Также есть и альтернативная точка зрения.
Во время прохождения одного из образовательных курсов по анализу данных и рекомендательным системам наткнулся на интересную вещь, о которой совсем мало материала на русском языке и решил данное недоразумение исправить.
Хотел бы рассказать об одном из методов коллаборативной фильтрации, корни которого уходят в историю. Его задача состоит в том, чтобы дать наиболее «правильный» ответ, используя коллективный разум.
Алгоритм The Wisdom of Crowds (Мудрость Толпы) является одной из реализаций коллаборативной фильтрации. Его работа основывается на том, что группа людей обладает большими знаниями, чем индивид, в то время как каждый отдельно взятый человек может улучшить производительность группы за счет своего конкретного ввода информации.
Возьмем пример из истории. В 1906 году, во время выставки жирного скота и птицы в Западной Англии, Фрэнсис Гальтон открыл математические и статистические закономерности групповых средних оценок и их преимущества перед индивидуальными. На этом мероприятии группа оценщиков успешно обеспечила среднее значение веса быка, удивительно близкое к реальному значению.
В качестве необходимых условий работы данного алгоритма присутствуют сведения о «толпе».
Толпа должна:
- быть децентрализованной, чтобы никто «сверху» не диктовал ответ толпы;
- быть в состоянии составить свое собственное мнение, основанное на индивидуальных знаниях участников;
- предлагать коллективный вердикт, который суммирует мнения людей;
- быть независимой — когда каждый ее участник фокусируется на имеющейся информации, а не на чужих мнениях.
Одним из возможных минусов вышеописанного подхода может быть потенциальное возникновение феномена группового мышления. Участники, не обладающие достаточными знаниями, могут следовать за более осведомленными в вопросе людьми и давать похожие ответы. Также социальное влияние может привести к тому, что среднее значение ответов толпы будет неточным, в то время как среднее геометрическое и медианное — пребывать в норме. Качество предсказаний может зависеть и от формулирования вопросов — толпа в целом работает лучше, когда есть правильный ответ на поставленный вопрос, например, вопрос о географии или математике. Когда нет точного ответа, толпа может прийти к произвольным выводам.
Математических моделей, реализующих на практике данный метод я нашел всего 2, указал в источниках. Одна из них применяется для предсказания цены акции на рынке и еще не зарекомендовала себя на длительном временном интервале, но продолжает использоваться и дальше.
Если есть уточнения или интересные примеры использования подобной методики — пишите к комментариях.
Источники
Есть хорошая статья про использование вышеописанного алгоритма в предсказаниях цен акций с реализованными математическими расчетами под конкретную задачу.
Также есть и альтернативная точка зрения.
tuxi
Тема шикарная, жаль только, что статья такая короткая ))) Где рассказ об имплементациях? Я бы например с удовольствием прочитал бы про опыт Амазона, или может быть наш отечественный ритейлер такое реализовал по-настоящему, а не в виде «с этим товаром обычно покупают полуавтоматической устройство заправки ниток в швейной машинке зингер образца 1887 года»
skipperprivate Автор
Добрый день!
Если у вас есть какая-то информация об имплементациях — пришлите, пожалуйста, в личку, я бы с удовольствием либо дополнил статью, либо часть 2 сделал бы.
Одна из имплементаций с обьяснением работы есть в источниках (тут), но и ваш пример интересно увидеть.
tuxi
Нет, у меня нет готового примера. Я как раз в начале пути по этой тематике, поэтому и возник интерес к этой статье.