Сайты вроде Хабра, Пикабу, Реддита, и Hacker News имеют древовидные системы комментариев к постам. Зарегистрированные пользователи могут голосовать за комментарии. Сайты используют рейтинги комментариев двумя способами:
Управляют вниманием читателей комментариев. "Лучшие" комментарии отображаются сразу под постом, "худшие" - в подвале. Хабр почти не управляет вниманием читателей: он лишь блюрит "плохие" комментарии, но не переупорядочивает их. Впрочем, я (как наверное и многие другие читатели) часто листаю комментарии только цепляясь взглядом за двузначное значение рейтинга.
Дают какие-то плюшки авторам "хороших" комментариев. Например, в некоторых сабреддитах нужно иметь определенный рейтинг комментариев в данном сабреддите чтобы опубликовать пост.
Кроме того, рейтинг комментариев, естественно, влияет на их авторов: положительный рейтинг поощряет авторов писать больше таких комментариев, а отрицательный - меньше. Таким образом, рейтинги комментариев еще неявно влияют на дискуссию на сайте.
Как считается рейтинг комментария?
На большинстве сайтов можно проголосовать "за" или "против" комментария. Далее в посте я рассматриваю только этот вариант. На Hacker News можно проголосовать только "за", но не "против". На Медиуме, в каком-то смысле, можно проголосовать "за" комментарий числом от 1 до 50 (также можно проголосовать и за посты; на самом деле, комментарии на Медиуме считаются мини-постами).
На большинстве сайтов рейтинг комментария считается как простая разница между голосами "за" и "против". Я не припомню ни одного сайта, который бы учитывал рейтинг голосующих пользователей. Реддит считает рейтинг комментариев по более хитрой формуле, суть которой в том, что помимо общей разницы голосов "за" и "против" еще учитывается однозначность поддержки: комментарий с 10 голосами "за" и 0 "против" получает рейтинг выше, чем комментарий со 100 голосами "за" и 80 "против".
Любой алгоритм расчета рейтинга комментариев, в конечном счете, отвечает на вопрос: какие комментарии считаются "хорошими" и достойными внимания, а какие - "плохими" и не достойными внимания? Простейшая разница голосов отвечает на этот вопрос "демократически": чем больше человек согласны с комментарием и чем меньше - не согласны, тем комментарий "лучше" и заслуживает больше внимания. В целом, это же относится и к алгоритму Реддита.
Я предполагаю, что почти все пользователи голосуют "за" комментарии и "против" когда не согласны. Я пренебрегаю случаями, когда отдельные пользователи оценивают голосом "за" качество аргументов, даже если не согласны с ними (мне кажется, что такие случаи единичны). В TJournal пользователи оценивают комментарии по их юмористичности, но этот случай мне не интересен.
В чем проблема?
Оценка комментариев по грубой популярной поддержке приводит к следующим проблемам:
Сообщества стремятся к состоянию монокультуры и групповому мышлению. Если в сообществе изначально есть небольшой перевес сторонников какой-то точки зрения, комментарии с этой точкой зрения получают положительный рейтинг, а комментарии с отличными точками зрения - отрицательный. Люди с непопулярными точками зрения демотивированы, прекращают писать комментарии, или даже уходят с сайта.
Результат: почти во всех сабреддитах, от посвященных технологиям вроде Java или Golang до посвященных политическим партиям, вере в Бога, и глобальному потеплению, царит монокультура. О предмете обсуждения можно или хорошо, или никак. Это же в какой-то степени относится и к Хабру, хотя в меньшей.
Вторичный эффект от монокультуризации сообществ: поляризация общества в целом и общее снижение уровня критического мышления. Люди разбредаются по сообществам где преобладает именно их точка зрения, окукливаются в своем пузыре, получают там постоянно подтверждение. Их точка зрения цементируются, они все меньше способны воспринимать аргументы за другие точки зрения.
Дискуссии не развиваются: на сайте в основном циркулирует лишь несколько аргументов по основным позициям. Чтобы получить больше плюсов, авторы стараются зарядить комментарии "главными" аргументами в поддержку своей позиции (часто сдабривая их эмоциями), аргументами которые получили больше всего плюсов в предыдущих обсуждениях. Люди, которые следят за дискуссиями вроде C++ против Rust, либерализм против социализма, "нескептиков" против "скептиков" ковида, могут заранее и с большой точностью предсказать, что именно и даже как будет написано в поддержку той или иной точки зрения. Новички в споре тоже видят только эти избитые аргументы и с большей вероятностью будут повторять их в потом.
Система располагает к разведению ботов чтобы голосовать за определенные точки зрения.
Ниже я предлагаю идею нового алгоритма для расчета рейтинга комментариев. Алгоритм должен затормозить перечисленные выше процессы (хотя едва ли остановить их полностью).
Переубеждающие комментарии
Идея алгоритма очень проста: сайт должен натренировать ML-систему которая будет оценивать, насколько неожиданно что пользователь проголосовал "за" или "против" определенного комментария. Неожиданный голос должен влиять на рейтинг комментария гораздо сильнее, чем ожидаемый голос.
Довольно часто (возможно, в половине случаев или даже больше) неожиданные голоса - простые ошибки, поэтому сайт с такой системой должен обязательно давать переголосовать.
Неожиданный (но настоящий) голос "за" скорее всего означает, что комментарий содержит интересные аргументы, возможно даже полностью переубеждающие голосующего. Такие комментарии достойны максимального внимания.
Неожиданный голос "против" скорее всего означает грубость.
Если комментарий не содержит явных признаков определенной дискуссионной позиции (таких комментариев большинство), или голосующий почти не голосовал раньше, или голосовал бессистемно, ни голос "за", ни голос "против" нельзя назвать ни неожиданным, ни ожидаемым. Такие голоса стоят в несколько раз меньше, чем неожиданные голоса.
Ожидаемые голоса стоят на порядок или даже два меньше, чем неожиданные.
Как оценить ожидаемость голоса?
Можно прогонять sentiment analysis на всех комментариях на сайте, и смотреть, за какие мнения пользователь раньше голосовал "за" и "против". Потом сравнивать семантический вектор комментария * (1 при голосе "за", -1 при голосе "против") c вектором пользователя. Если вектора почти совпадают, голос считается ожидаемым, если почти противоположны - неожиданным, если почти перпендикулярны - голос не считается ни ожидаемым, ни неожиданным.
Мне кажется, что такую оценку можно сделать даже при текущем доступном качестве sentiment analysis достаточно точной чтобы сделать в целом предложенную систему рейтинга скорее полезной, чем мусорной.
Как @mikhailianзаметил в комментарии, можно обойтись даже кластерным анализом голосов за комментарии внутри хабов, без sentiment analysis вовсе.
Комментарии (67)
courser
14.07.2021 21:54+6Мало что так эффективно отбивает желание писать посты и комментировать, как системы блокирующих рейтингов. Типа сначала, вот, давай попляши, а мы подумаем, можно ли тебе будет что-то сказать.
leventov Автор
14.07.2021 22:55+3К сожалению, это до сих пор самый действенный механизм борьбы со спамом или просто низкокачественным материалом. Облегчение только одно — системы сквозной репутации. Например, как на StackExchange — если уже есть репутация хотя бы на одном сайте сети, на всех других автоматом дается рейтинг 100, который снимает унизительные ограничения.
Вот интересная презентация на тему мета-платформ (включая сквозные репутации).
nehaev
14.07.2021 23:31+3К сожалению, это до сих пор самый действенный механизм борьбы со спамом или просто низкокачественным материалом.
Для борьбы со спамом и другим контентом, который запрещен правилами, достаточно просто возможности пользователя поставить соответствующий флаг и отдать на откуп модератору (и на хабре они есть).
Для борьбы с низкокачественным материалом достаточно рейтинга в положительную сторону, чтобы можно было фильтровать по рейтингу.
Возможность одних пользователей ограничивать других путем голосования (карма на хабре) — это инструмент борьбы с мнением и формирования той самой монокультуры, другие полезные применения сложно придумать. Чем глубже карма уходит в минус — тем меньше возможностей высказаться и участвовать в сообществе, чем выше карма уходит в плюс тем… ничего особенного, какие-то сомнительные плюшки вроде "Я пиарюсь" и инвайта при без того открытой регистрации. Фактически, положительная величина кармы — это то, насколько свободно ты можешь говорить в комментариях. В итоге, в "эмоционально заряженных" темах сложно найти комментарии с противоположной точкой зрения.
0xd34df00d
15.07.2021 10:20+3Выскажу такую непопулярную мысль, что монокультура на отдельно взятом хабре/сабреддите/форчане не особо страшна, покуда есть сайты с другими монокультурами. Нежелание пойти на сайты с альтернативными точками зрения плохо говорит не о системе рейтинга, а о самих нежелающих людях, и чинить ее рейтингом неразумно, имхо.
leventov Автор
15.07.2021 10:58Ну вы же в Америке живете, как вам непреодолимая пропасть между демократами и республиканцами? https://slatestarcodex.com/2014/09/30/i-can-tolerate-anything-except-the-outgroup/
Selueen
15.07.2021 18:00Ну пост все таки не совсем об этом.
Скорее о том что происходит, когда в такой монокультуре разлад.
Скотт же сам левый(если верить его собственным словам и нередко критикует других левых.
А республиканцы — они ну, в другом мире.
Пропасть конечно наблюдается, но возникла она явно по другим причинам.
Это окукливание субкультур куда старше интернета и всех эти алгоритмов рейтингов.
Можно долго рассуждать о социальных и психологических причин того, почему так происходит, но по факту оно происходит постоянно и везде.
Алгоритмы в соцсетях и на форумах только катализируют проблему, хотя в некоторых случаях — очень заметно.
А сама идея ваша мне нравится на самом деле. Всяко интереснее того, что есть сейчас.
0xd34df00d
15.07.2021 18:44+1Мне как стороннику совсем другой идеологии они все выглядят смешными (но республиканцы имеют меньше отрицательных сторон для меня).
Эта непреодолимая пропасть возникла буквально за последние лет 10-15 (если посмотреть на графики поляризации мнений приверженцев), хотя способы опузыриться (разными телеканалами, например) были и до этого.
nehaev
15.07.2021 11:33+1Нежелание пойти на сайты с альтернативными точками зрения плохо говорит не о системе рейтинга, а о самих нежелающих людях, и чинить ее рейтингом неразумно, имхо.
А нежелание читать откровенную ложь и манипулятивный контент что говорит о людях? Если эта ложь льет воду на мельницу популярной точки зрения, она перестает быть ложью от этого, и с ней теперь не надо бороться?
Чтобы не быть голословным, приведу пример, где лично вы говорите лично мне, что не надо пересчитывать некорректно полученные результаты в статье, претендующей на научность, потому что лично вы и без этого знаете, кто здесь клоуны, а кто — правильные пацаны.
0xd34df00d
15.07.2021 18:47Чтобы не быть голословным, приведу пример, где лично вы говорите лично мне, что не надо пересчитывать некорректно полученные результаты в статье, претендующей на научность, потому что лично вы и без этого знаете, кто здесь клоуны, а кто — правильные пацаны.
О, судя по этому треду, у вас всё про всех записано. Прикольно. Ну ладно, давайте разбираться.
- Были ли изначально объявлены сроки сбора подписей первыми товарищами? Когда стало известно, что сбор закрывается в такой-то срок?
- В чём мотивация закрывать сбор подписей?
- Какова ваша оценка количества подписей, которые не были учтены из-за того, что сбор закрылся слишком рано?
- Какое отношение клоунада и правильность пацанов имеет к результатам сбора подписей каждой стороной? Или вы так клоунов и пацанов определяете, что ли?
nehaev
15.07.2021 22:40Пример был просто для иллюстрации того, о чем я говорил выше. Часто речь идет даже не об альтернативных мнениях, а о нейтральной попытке проверить и поставить под сомнение достоверность тех или иных вещей. Очевидно же, что какими бы благими идеями не обосновывался маханизм отрицательных рейтингов, здесь имеет место явное злоупортребление оным.
0xd34df00d
16.07.2021 00:24+2Ну да, пример был просто. А у меня есть просто вопросы по этому вашему примеру, коли вы его привели. Но вы почему-то не отвечаете :(
nehaev
16.07.2021 12:15Я не ответил, потому что не понял, какое отношение эти вопросы имеют к тому, что мы обсуждаем здесь (наличие отрицательных рейтингов не позволяет ставить под сомнение достоверность фактов, подтверждающих популярную точку зрения), и даже к тому, что мы обсуждали там (если найден косяк в расчетах, честно было бы пересчитать и проверить выводы).
Когда я приводил свой пример, я надеялся, что вы сможете посмотреть на ту ситуацию с холодной головой и понять, что расстановка рейтингов там не в пользу разрешения сомнений и поиска истины. Мой расчет не оправдался, я получил от вас агрессивно-оборонительную реакцию в виде этих вот странных вопросов. На контрасте, например, вот с этим заходом, где человек в ответ просто честно отрефлексировал ситуацию. Видимо, вы восприняли мой пример как наезд (хотя я никого не называл клоунами и т.п.), а не как иллюстрацию мысли. Что ж, бывает и такое. Я сменил тон на максимально миролюбивый и просто повторил свой исходный тезис другими словами в надежде, что вы наконец обратите внимание на суть.
0xd34df00d
16.07.2021 18:57Недостаточно сослаться на некое утверждение и назвать это примером, чтобы с вами начали соглашаться люди. Когда вы говорите, что «X — пример Y», если кто-то не согласен ни с самой этой связью, ни вообще с осмысленностью утверждения Y, резонно задать вопросы. Или что вы хотите, чтобы я тогда с вашим примером сделал?
И если вы косите под рационалиста, вы в первую очередь должны… Ой, вы много чего должны сделать, что вы не сделали:
- Уточнить, какая задача вообще решается. Мне откровенно лень перечитывать ту статью целиком, но я готов поспорить, что там не решается задача «кто клоун, а кто пацан», которую вы сформулировали выше.
- Не обобщать: в том же треде вы написали «Можно ли доверять остальным выводам в вашей статье, или они так же притянуты за уши — вопрос.» Это некорректный метод рассуждения (да, я знаю про априорное доверие к источнику, но в случае научной статьи оно должно отсутствовать настолько, что в соответствующей графовой модели оно от этого особо не поменяется). И моя изначальная претензия была, к слову, ровно к этому утверждению, а не к тому, правильные расчёты или неправильные (последнее вообще зависит от п. 1).
- Прикинуть, насколько поменялись бы результаты, если бы ограничения были позже или вообще бы не были.
- Прикинуть, зачем вообще были эти ограничения по подписям, насколько они, ээ, «легитимны» — ещё раз, о таких вещах по-хорошему надо предупреждать заранее, а не пост-фактум подгонять решение под ответ.
Более того, вы прямо написали, что не надо пересчитывать, потому что якобы лично я и без этого знаю, кто клоуны, а кто пацаны. Я действительно не очень люблю подобные утверждения в свой адрес, поэтому можете дать прямую цитату, если вас не затруднит?
Если очень хотите, считайте это метапримером, как люди считают окружающих подверженными лжи и манипулятивным рассуждениям, но при этом сами совершают куда более серьёзные когнитивные ошибки. Я просто нахожу это довольно смешным.
Мой расчет не оправдался, я получил от вас агрессивно-оборонительную реакцию
Она просто агрессивная. Считайте, что у меня атрофировались зеркальные нейроны за полтора года самоизоляции, и я теперь просто злой.
в виде этих вот странных вопросов.
Уточняющие по примеру, если хотите. Ответов до сих пор нет.
nehaev
16.07.2021 23:26Я все еще не понимаю отношение этих вопросов к обсуждаемой теме, но попробую прокомментировать в силу моего понимания.
Уточнить, какая задача вообще решается.
Я проверяю на истинность два тезиса (которые уже формулировал выше):
- наличие отрицательных рейтингов не позволяет ставить под сомнение достоверность фактов, подтверждающих популярную точку зрения
- если найден косяк в расчетах, честно было бы пересчитать и проверить выводы
Какую задачу решаете вы в этой дискуссии, и какие тезисы отстаиваете?
«Можно ли доверять остальным выводам в вашей статье, или они так же притянуты за уши — вопрос.» Это некорректный метод рассуждения
Ваше утверждение про некорректный метод — голословно. Свое про потенциальную притянутость за уши остальных выводов я могу обосновать. Автор статьи делает выводы о юзерах гитхаба (подписантах петиций), инфу о юзерах он берет из коммитов в репы, коммиты в одном случае взяты за несколько дней (в основном 23-25 марта), в другом — больше чем за месяц. Может он сравнивает не противников со сторонниками, а "вирусовиков" со "слоупоками". Т.е. сначала в обе репы набежали "вирусовики" из условного твиттера, а потом во второй репе выборку размыли "слоупоки", у который нет соцсетей в профиле. И всё, громкие выводы о социологии подписантов можно сливать в унитаз. Как минимум, эту гипотезу можно проверить.
Прикинуть, насколько поменялись бы результаты, если бы ограничения были позже или вообще бы не были
Я призывал не просто "прикинуть", а натурально пересчитать и проверить. Напомнить ваш ответ на это?
Прикинуть, зачем вообще были эти ограничения по подписям, насколько они, ээ, «легитимны» — ещё раз, о таких вещах по-хорошему надо предупреждать заранее
Мы не можем проникнуть в голову к этим людям, поэтому тут могут быть только спекуляции. Насчет предупреждать заранее — соглашусь, это выглядит не очень чистоплотно, мягко говоря.
поэтому можете дать прямую цитату, если вас не затруднит
Ссылку на коммент я привел выше, там черным по белому. Или хотите сказать, что:
- вы не писали что незачем пересчитывать?
- вы не называли одну из сторон клоунами?
- вы не выражали симпатии одной из сторон?
сами совершают куда более серьёзные когнитивные ошибки. Я просто нахожу это довольно смешным.
Мне очень интересно, что за ошибки. Если можно, напишите списком, посмеемся вместе.
rogoz
15.07.2021 19:11А нежелание читать откровенную ложь и манипулятивный контент что говорит о людях? Если эта ложь льет воду на мельницу популярной точки зрения, она перестает быть ложью от этого, и с ней теперь не надо бороться?
Я понимаю людей, хоть и не согласен с ними, которые говорят «фейсбук монополист, нам приходится в нём писать». А вот люди, которые уверенны, что они обязаны холиварить и/или карманыть на сайте, который даже в топ-10 рунета не входит, и сайт обязан меняться под их хотелки, мне кажутся странными.nehaev
15.07.2021 21:30Ну то есть не надо обсуждать изменения и улучшения: либо хавай что дают, либо — проваливай. Интересная у вас позиция, конечно. Какой вариант сами выбрали?
rogoz
16.07.2021 13:44+1Как пишу, так и делаю. Мне перестал нравится пикабу — я туда молча не захожу, пачкой гневных постов/комментариев на прощание не разродился.
Тут на хабре постоянно постят карманытики — разумеется администрации на них насрать, потому что ей важно $$$ — пока прибыль идёт, на всякие мнения пофиг.
Вы типа конфликтуете с 0xd34df00d — у него карма на момент написания это комментария 205, у вас -14, результат любых ваших действий по попытке ограничения распространения мнения 0xd34df00d на этом сайте мне уже очевиден.0xd34df00d
16.07.2021 19:02Тут важнее не то, что у нас разрыв за 200 голосов, а то, что у моего оппонента она вообще отрицательная, поэтому сейчас он пресловутый минус мне поставить не может. А была бы у меня карма хоть 20, хоть 200, хоть 2000 — больше единички у него я бы снять не смог в любом случае, и мы были бы в равных условиях.
А, ну и да, ограничивать распространение мнения… странно это. Я куда-то там минусы ставлю только за, ээ, странные методы рассуждения, и всё.
пруф
Ни стрелочка вверх не красная, ни стрелочка вниз — я вообще никак за него не голосовал.
Человек может критиковать что угодно и кого угодно сколько хочет, только пусть делает это аргументированно и не сливается.
rogoz
16.07.2021 23:56Мелкое замечание.
у моего оппонента она вообще отрицательная
Когда у меня была +4, я всё равно минусы/плюсы не мог ставить.nehaev
17.07.2021 00:32Раз уж у вас тут разговор о моей карме, тоже выскажусь. Отрицательные значения кармы у меня были практически все время, и не очень напрягали. Потом я из спортивного интереса разогнал карму в плюс, но быстро понял, что в этом нет ничего интересного. Когда можешь ставить эти минусы и плюсы, чувствуешь себя каким-то вахтером, как будто на тебе теперь есть какая-то ответственность за контент, надо не просто читать, а еще и правильно расставлять стрелочки. Короче, спортивный интерес к увеличению кармы быстро пропал.
С другой стороны, когда карма меньше -10, становится реально неудобно комментировать. Вот думаю, хочу я с этим что-то делать или нет.
Ну и раз уж мы тут раскрываем карты, то
вотВклад в популяризацию ФП однозначно заслуживает плюса, а минусовать кого-то кроме спамеров вообще неправильно. На момент того спора, который мы обсуждаем выше, я, насколько помню, вполне еще мог голосовать.
tandzan
14.07.2021 23:58+10<off> Хабр взял самое лучше от Русской литературы - страдает герой произведения, страдает автор, страдает читатель.
Moskus
14.07.2021 21:58"Лучшие" комментарии отображаются сразу под постом, "худшие" - в подвале.
Два аргумента против. Если есть ветки комментариев, один из ответов на комментарий может (и так нередко бывает, потому что кто-то написал бред, а ему ответили, подробно разъяснив вопрос) быть полезнее самой статьи. Новые комментарии начинают с нуля, потому, например, на YouTube бесполезно писать что-то через некоторое время после публикации видео, просто потому что этого никто никогда не увидит.
Впрочем, я (как наверное и многие другие читатели) часто листаю комментарии только цепляясь взглядом за двузначное значение рейтинга.
Хм, у вас есть статистика на эту тему, по поводу "многих"? Я-то думал, важно содержание комментариев. Видимо, я слишком стар, чтобы реагировать только на лайки, просмотры, рейтинг и прочую "геймификацию".
leventov Автор
14.07.2021 22:35Два аргумента против. Если есть ветки комментариев, один из ответов на комментарий может (и так нередко бывает, потому что кто-то написал бред, а ему ответили, подробно разъяснив вопрос) быть полезнее самой статьи. Новые комментарии начинают с нуля, потому, например, на YouTube бесполезно писать что-то через некоторое время после публикации видео, просто потому что этого никто никогда не увидит.
Я не понял, что именно тут против. Но, в целом, статья индифферентна к подходам "сортировать" (Реддит) или "не сортировать" (Хабр). Обратная связь на самих авторов комментариев сама по себе достаточно сильная (т. е. люди мотивированы писать комментарии с положительным рейтингом и не мотивированы — с отрицательным).
Хм, у вас есть статистика на эту тему, по поводу "многих"? Я-то думал, важно содержание комментариев. Видимо, я слишком стар, чтобы реагировать только на лайки, просмотры, рейтинг и прочую "геймификацию".
Когда под постом 100+ (если не все 500) комментариев, и у вас нет часа-двух, чтобы их все внимательно прочесть, что вы делаете?
Moskus
15.07.2021 00:45+2Вы сами говорите "индифферентна", то есть вам - без разницы. А я вам отвечаю, что есть объективные аргументы против того, чтобы поднимать вверх ветки с более высоким рейтингом корневого комментария и опускать вниз - с более низким.
Рейтинг комментариев в ситуации обсуждения (а не, например, ответов на вопросы) вообще не должен иметь значение "обратной связи" - это способ выражения отношения читателей к комментарию. А уже автор, если хочет, может попытаться сделать для себя вывод. Самое фундаментально неверное, что вы делаете в статье - вы обсуждаете решение задачи, не определив толком ни конкретную цель, ни критерии. Это всё звучит, как создание задачи на ровном месте ради того, чтобы притянуть к её решению инструмент, который вам нравится (ML).
Как же медленно вы читаете, если вам нужен час на ознакомление с парой сотен комментариев? Особенно учитывая, что действительно читать всё в комментарии приходится только тогда, когда он не однотипный и не является частью затянувшегося диалога двух пользователей.
leventov Автор
15.07.2021 09:42Рейтинг комментариев в ситуации обсуждения (а не, например, ответов на вопросы) вообще не должен иметь значение "обратной связи" — это способ выражения отношения читателей к комментарию.
В идеальном мире — да, но по факту — имеет, и всегда будет иметь. С таким же успехом можно сказать, что пользователи сами должны голосовать за комментарии с качественными аргументами, а не просто за/против своего мнения, и никакие специальные алгоритмы были бы не нужны.
Самое фундаментально неверное, что вы делаете в статье — вы обсуждаете решение задачи, не определив толком ни конкретную цель, ни критерии.
Проблемы я определил достаточно четко, решение описал тоже. Критериев четких нет, и я не уверен, что они нужны на этом этапе. Текущие алгоритмы рейтинга комментариев тоже были введены, конечно, без всяких четких критериев, просто по ощущениям владельцев сайтов. Даже научные статьи вроде этой используют как критерий качества рейтинга… его соответствие традиционным голосам "за", то есть, на самом деле, полностью уходят от задачи определения критериев.
Я согласен, что четкие, математически сформулированные критерии — это нужно и важно. Но с другой стороны, определить такие критерии в любых социальных системах очень, очень сложно, либо просто невозможно на текущем уровне развития ML. Мы не можем ориентироваться на popular opinion пользователей о новой системе, потому что это опять сводит проблему к предыдущей — большинство пользователей не будут довольны, если сайт стал меньше поощрять их банальное in-group мнение, и больше — цепкие комментарии, указывающие на слабые места доминирующих позиций.
Нужно каким-то образом оценить насколько система комментариев влияет на качество дискуссии, аргументов, и community learning в целом. На данный момент есть только одна система, которая может хоть как-то адекватно оценить эти вещи — мозг человека, который следит за сообществом и участвует в нем.
Это всё звучит, как создание задачи на ровном месте ради того, чтобы притянуть к её решению инструмент, который вам нравится (ML).
Допустим так, но в чем слабость самого предложения, а не мотивов, по которым оно было сделано, вы так и не написали.
Как же медленно вы читаете, если вам нужен час на ознакомление с парой сотен комментариев?
Это типа ad hominem такой? В любом случае, есть треды и по 1000, и по 2000 комментариев, а на Реддите и больше. Рано или поздно вы упретесь в то, что вам надо как-то сфокусировать свое внимание только на части контента.
Iamkaant
15.07.2021 09:32У меня тоже взгляд автоматически цепляется за рейтинг комментария, благо он "удобно" подкрашен нужным цветом. Даже если это всего -1. Блюр тоже подсознательно отмечаю. Мое мнение – визуальные обозначения рейтинга нужно скрывать, постоянно или выводить по клику, чтобы они не влияли на оценку до прочтения.
Bavun
14.07.2021 22:46+1Изобретение "пузомерок" - любимое занятие человечества ещё с пещерных времён.
x2v0
14.07.2021 23:05social community rating comments system - Google Search
выдал список:Ranking Comments on the Social Web
Best Commenting Systems in 2021 | G2
View of Rating mechanisms among participants in sharing economy platforms | First Monday
Designing Better Online Review Systems (hbr.org)Developing B2B Social Communities: Keys to Growth, Innovation, and Customer ... - Margaret Brooks, John Lovett, Sam Creek - Google Books
Возможно, не стоит в очередной раз "изобретать велосипед", а "вскарабкаться на плечи гигантов"?leventov Автор
15.07.2021 00:13+1Ссылки на G2 и HBR не в кассу вообще. Первая и третья ссылки релевантны, спасибо. Последняя ссылка не открывается (видимо, слишком много открывал Google Books за последний месяц).
dom1n1k
14.07.2021 23:24+6сайт должен натренировать ML-систему которая будет оценивать
Категорически против любых ML-ских черных ящиков. Система должна быть прозрачна и детерминирована.
leventov Автор
15.07.2021 00:20+2Интересно, как далеко распространяется этот принцип? Web-поиск — ранжирование результатов черными ML-ящиками это ОК или нет? Лента в соцсети — т. н. алгоритмическая, или нет? Выдача кредита?
Хотите вы или нет, очень многое в жизни со временем будет определяться черными ML-ящиками. В чем такая принципиальность для такой в целом достаточно low stakes вещи, как рейтинги комментариев?
dom1n1k
15.07.2021 00:29+8Черные ящики недопустимы там, где от их решения зависит наказание или поощрение человека.
leventov Автор
15.07.2021 09:59+1В целом, никто не спорит, что объяснимый ML лучше "черных ящиков". Предложенный в статье алгоритм можно сделать максимально объяснимым, и это было бы даже прикольно. При наведении курсора на рейтинг комментария показывать:
1) Фичи из sentiment analysis. Люди даже смогут увидеть, если модель определила фичи неправильно (например, не распознала иронию в комментарии "обожаю дебажить сегфолты из программ на C по ночам") и помечать это, давая фидбек для модели.
2) Сколько человек проголосовало за комментарий и похожим вектором их собственных предпочтений, и вклад этих голосов в рейтинг.
3) Сколько человек проголосовало за комментарий с нейтральным вектором их собственных предпочтений, и вклад этих голосов в рейтинг. И т. д.Это решило бы проблему, с вашей точки зрения? Во фразе "черный МL-ящик" главная проблема — что "черный", или что "ML-ящик"?
Несмотря на это, для вашего принципа есть контрпримеры. Антифрод и выдача кредитов — наказывают или поощряют человека, соответсвенно, и это сейчас уже ML-ящики, очень черные (по крайней мере, для человека), и в случае с антифродом — мы даже не хотим делать ящик прозрачным, потому что это, очевидно, используют мошенники. Как быть? Отдавать решение на откуп человеку? Человеческий мозг это, зачастую, ящик почернее ML.
Граница с наказанием/поощернием тоже спорная. Рейтинг комментария — это очень слабенькое наказание/поощрение. Я так же могу сказать, что если Гугл мне не показал какой-то результат в выдаче, потому что его алгоритмы так решили, он ограничил меня в моем пузыре и таким образом слегка "наказал" меня.
ZuOverture
15.07.2021 19:15Во фразе «черный МL-ящик» главная проблема — что «черный», или что «ML-ящик»?
Проблема неразделима на отдельную черноту и отдельный ML, в NLP это две грани одного и того же. NLP всегда работает из рук вон плохо, когда требуется оценка семантики.
dreesh
15.07.2021 09:09В рейтинге не учитывается число просмотров комментария. Выходит рейтинг зависит не от всех кто его видел, а от тех кого комментарий задел) например -10/1000 = -0.01 это типа учет голосов которые не плюс не минус. А вот черный ящик не нужен и это реально будет объективнее чем сейчас)
alexanyanwolf
15.07.2021 00:08-1Если рассматривать Ваше предложение как один из шагов в перспективе «оздоровления» комментариев проекта и поощрения плюрализма мнений, не кажется ли Вам, что более осторожным, и при этом, эффективным шагом может стать отключение возможности минусовать комментарии?
Если же мы рассматриваем варианты в которых обязательно как «плюсование» так и «минусование», тогда мы можем взгляднуть на этой с другой стороны.
К примеру, мы можем создать понятие «вес комментария», и позволить пользователям вебсайта влиять на вес комментария все так же плюсуя и минусуя. При этом, эти действия не будут добавлять/вычитать один балл к весу комментария. Вместо этого, они будут влиять на вес комментария настолько, насколько это позволит алгоритм, который будет считать «силу влияния действия» для каждого пользователя на проекте по отдельности. В свою очередь эта «сила влияния» может быть показана как индекс со значениями с 0.1 до 1.0. Значение же индекса может определяться полярностью мнений которые пользователь успел выразить на проекте плюсуя и минусуя комментарии/статьи других участников.
Идея в том, чтобы создать систему, при которой пользователь на проекте будет стремиться всегда давать сбалансированное кол-во «плюсов» и «минусов». Так мы сможем нивелировать ущербное влияние исходящее от людей с радикальными настроениями.
Например: радикальный человек который куда чаще минусует чем плюсует в какой-то момент утратит бОльшую часть веса своего мнения, и практически не сможет влиять на популярность комментариев и тем.
Вес оценки комментария человеком который 55% времени плюсует, а 45% времени минусует (или наоборот) будет почти наиболее высоким.
Конечно, в этом случае мы не просто подталкиваем людей к плюрализму мнений, но и принуждаем не соглашаться с чем-то, что с одной стороны может выглядеть неприятно, но с другой стороны может позволить руководству проекта составить более четкий профайлинг их аудитории.
В любом случае спасибо за статью. Было интересно поразмышлять.leventov Автор
15.07.2021 00:27+2Без семантического анализа, общий баланс плюсов и минусов не дает никакого полезного сигнала. В дискуссии на 100 комментариев, где условно 50 комментариев за точку зрения А, и 50 — за точку зрения Б, человек может легко отвалить 50 плюсов — и 50 минусов — ровно поровну, в строгом соотвествии со своей личной точкой зрения. Проблемы, перечисленные в посте при этом никак не решаются.
На Hacker News система с одними плюсами (и сортировкой), и да, мне кажется, что она работает чуть-чуть лучше, чем система Хабра. Но мне кажется, что предлагаемая система будет лучше системы Hacker News.
victor_1212
15.07.2021 01:01-3>что более осторожным, и при этом, эффективным шагом может стать отключение возможности минусовать комментарии?
думаю что шаг в правильном направлении - это ограничение анонимности при минусовании, одно дело если человек открыто не согласен и выражает это, и несколько другое это возможность анонимно минусовать, зная что ответственности за это не несешь никакой,
imho надо обсудить возможность хотя бы видеть (profile?) другим участникам сколько именно минусов тот, или иной человек поставил например за последний день, и всего скажем за месяц, не вижу ничего негативного в этом, а позитивный результат возможен
worldbeater
15.07.2021 03:06+2думаю что шаг в правильном направлении - это ограничение анонимности при минусовании, одно дело если человек открыто не согласен и выражает это, и несколько другое это возможность анонимно минусовать, зная что ответственности за это не несешь никакой
Чтобы потом можно было переходить в профиль этого человека и ставить минусы всем его комментариям подряд, или тем, с которыми Вы идеологически не согласны? Подобная система работает на ресурсах наподобие VC/TJ, и вот такие рейды минусов на почве несогласия с точкой зрения собеседника или обиды на минус там сплошь и рядом, никакого плюрализма мнений там нет. Имеет смысл рассмотреть ещё варианты.
victor_1212
15.07.2021 18:19+1>Чтобы потом можно было переходить в профиль этого человека и ставить минусы всем его >комментариям подряд, или тем, с которыми Вы идеологически не согласны?
не могу понять, как вы пришли к тому заключению, откуда вы к примеру знаете что данный человек именно вам поставил минус, видя только counter?
или вы имеете в виду минусовать всех у кого counter изменился за день?
типа записывать и сравнивать каждый день, это же полный бред
worldbeater
16.07.2021 13:51не могу понять, как вы пришли к тому заключению, откуда вы к примеру знаете что данный человек именно вам поставил минус, видя только counter?
Пожалуйста, обратите внимание на мой комментарий выше — там была указана цитата про ограничение анонимности при голосовании, которая была прокомментирована. Возможно, я неправильно понял комментарий.
Наличие счётчика же не ограничивает анонимность при голосовании, а просто является характеристикой профиля проголосовавшего? На Хабре, кажется, есть счётчики, которые считают минусы и плюсы и отключают голосование, если их становится слишком много, но такие счётчики скрыты. Ваша идея с их показом в списке проголосовавших звучит неплохо!
victor_1212
16.07.2021 17:29+1>Наличие счётчика же не ограничивает анонимность при голосовании, а просто является характеристикой профиля проголосовавшего?
напрямую не ограничивает конечно, не уверен что прямое ограничение вообще было бы полезно, скорее помогает более ответственно относиться, возможность минусовать, снижать карму и пр. вероятно необходима для поддержания рабочего состояния форума, вопрос в том как минимизировать неизбежные ошибки и злоупотребления, без чрезмерного затягивания гаек, в этой связи в части кармы тоже есть предложение, снижение не должно быть совершенно произвольным, например обязательно должна быть указана одна из возможного перечня понятных причин, скажем неверная информация, самореклама, политическая ангажированность и тд,, все в том же направлении - повышение ответственности за свои действия, как обычно imho
aamonster
15.07.2021 09:14Тоже не работает. 4pda: "ответный минус".
Были идеи, что минус должен чего-то стоить ставящему, тогда его ценность выше.
VaalKIA
15.07.2021 10:22Почему все так упираются в свойство виртуального персонажа «активный пользователь»? Если кто-то прочёл комментарий, он уже активный. Если плюсы и минусы являются лишь слабой выборкой от этих активных, то это не значит, что надо как-то эту слабую выборку стимулировать, наоборот, надо стимулировать не их, что бы оценки были более статистически значимы. То есть, просмотр комментария уже должен быть оценкой. И такое встречается сплошь и рядом, правда, как отдельный параметр. По факту, что бы стимулировать ставить оценки, надо сделать как в голосованиях: пока не поставил оценку, не увидишь чужую, а просто будешь видеть «горячие» комментарии и не знать, хорошие они или — плохие. Тогда и не будет присоединение к большинству. При этом, правда, перестаёт работать сокрытие раздражающих комментариев и вас будут прямо заставлять читать говно.
quaer
15.07.2021 00:50Всё это замечательно конечно, но чтобы поставить какую-то оценку, надо залогиниться.
Чаще всего ради дёргания стрелочек это делать просто лень.
lxsmkv
15.07.2021 01:10+3Одна из проблем, о которых Вы говорите, это вполне естественный социально-психологический феномен:
Люди разбредаются по сообществам где преобладает именно их точка зрения, окукливаются в своем пузыре, получают там постоянно подтверждение
А теперь о том надо ли «исправлять» вот это:Люди с непопулярными точками зрения демотивированы, прекращают писать комментарии, или даже уходят с сайта
Наверное кто-то так поступает, но более умные которые способны обучаться, так не поступают, а адаптируются. Меняют формулировки и т.п. И уже критика не воспринимается так резко. Т.е. это хороший механизм обучения человека искусству коммуникации. А плохо обучаемые отсеиваются. Прекрасный механизм самоорганизации и поощрения гибкости ума.
И это:Новички в споре тоже видят только эти избитые аргументы и с большей вероятностью будут повторять их в потом.
Вполне ожидаемо, что в юном возрасте споры идут на уровне «мерседес — говно, бмв лучше» или наоборот. С возрастом, опытом и знаниями, к спорам прибавляются объективные аргументы. Сравниваются какие-то конкретные параметры и характеристики. Т.е. неопытный или малосведущий в каком-то предмете человек, будет воспринимать только поверхностные аргументы. Потому что они легки для восприятия. И я не могу себе представить себе ситуацию, чтобы переведение такого поверхностного спора в более объективную плоскость, приводила к минусованию комментариев придающих спору глубину.
На самом деле все эти минусы отражают состояние общества. Т.е. нам не нравится поведение людей, но менять мы будем цифры. Логичнее кажется менять людей, и это куда сложнее.
Ну и вцелом сама идея «справедливoсти» из машины кажется весьма сомнительной.
Bообще, мысль справедливости из машины довольна интересна в плане утопии. Т.е. мы-то боимся «скайнета» и всякого восстания машин, а может статься так, что мы сами на коленях приползем к машине и будем просить у нее справедливости. И вот она, власть машины над человеком. Мы сами сделаем себя ее рабами. Никаких двуногих роботов с лазерными пушками не надо. Просто передав все решения искуственному интеллекту. А именно в принятии решений и есть свобода.nehaev
15.07.2021 01:46+1Т.е. это хороший механизм обучения человека искусству коммуникации. А плохо обучаемые отсеиваются. Прекрасный механизм самоорганизации и поощрения гибкости ума.
Смотрю, не так давно вас немного покусали. Какие выводы сделали? Не будете больше критиковать хайпожорство и подгон решения под ответ с претезнией на "научную честность"?
Вообще тот топик весьма яркий образец, как путем нехитрых манипуляций можно вызвать в людях сильные эмоции, под воздействием которых они начинают искать виртуальных врагов и бороться с ними с помощью доступных средств: рейтинга и кармы (см. мое негодование по этому поводу). Врагом оказывается тот, кто не дует в общую дуду, не произносит правильные мантры и т.п.
lxsmkv
15.07.2021 02:14+1Вывод простой. Большинство людей откликающихся на подобные статьи не имеют о научном методе никакого представления.
Что вобщем меня сильно огорчило. Потому что мы вот удивляемся, что люди ведут себя нерационально и все такое прочее, низкий уровень критического мышления, скачивают и открывают вкладки в емейлах с незнакомых адресов… А вот он, срез общества. И такая доступная, понятная, «правда» всегда перевесит любую науку.
Хочешь чему-то научить, подтолкнуть к смене позиции, нельзя делать это резко, нельзя критиковать. Дейл Карнеги же еще учил, что каждый человек считает себя всегда самым правым. Т.е. единственный способ его переубедить это сделать так чтобы это стало его собственной точкой зрения. А вот такие непосредственные выпады будут закиданы шапками. Будь они сто раз точны и верны.
Т.е. критика была воспринята как неуместная и/или слишком прямая. Нужно было аккуратнее, менее резко и более целенаправленно ее формулировать.
P.S.: Ну и нужно зарубить себе на носу, что общество состоит в основном из конформистов. Все, что ты скажешь, не относящееся к мейнстриму может быть воспринято вштыки. Прям, хоть всплывающую подсказку в поле комментария такую делай. Мне вот, конформизм как жизненная позиция мало интересен, от того и страдаю за это периодически. Но уже кое-чему научился.
P.P.S.: Да и вообще я считаю свои комментарии в той статье очень мощными, я же пишу не для того чтобы кого-то переубедить, а чтобы мои дети потом почитали как думал их предок.
lxsmkv
15.07.2021 04:26+1Че-то я залип на вашем вопросе. Прям рефлексия — мое любимое занятие :)
На самом деле существует именно поднятый в той дискуссии вопрос, который видимо был не до конца понят. Можно ли подменять каузальность наличием данных? И вот статья которая говорит «В топку каузальность, у нас мегатонны информации корреляция на таком количестве данных куда перспективнее».The End of Theory: The Data Deluge Makes the Scientific Method Obsolete (Chris Anderson, 2008)
И критика со ссылкой именно на эту статью в научных журналах. Например:The end of theory in science? (Massimo Pigliucci, 2009)
https://doi.org/10.1038/embor.2009.111
Could Big Data be the end of theory in science? (Fulvio Mazzocchi, 2015)
https://dx.doi.org/10.15252%2Fembr.201541001
И тема это надо сказать весьма насущная и актуальная. Наука в кризисе и ее качество падает. Предпосылки к этому были очерчены Лемом еще в 1964 году.leventov Автор
15.07.2021 23:33Статья Андерсона удивительная для 2008 года, мне казалось эти идеи появились позже. Критичные ответы пока не читал.
Вопрос "Можно ли подменять каузальность наличием данных?", по-моему, сформулирован плохо. Но, в целом, мысли такие:
- Научные формулы — это не "истина", а всего лишь модели. Считать их априори лучшими, чем статистические или другие ML-модели — шовинизм. Формульный вид исторически был удобнее, доступнее, и, кроме того, делает модель достаточно робастной, защищает от оверфиттинга. Но чисто статистическая или нейронная модель, защищенная от оверфиттинга в той же мере, что и формульная — ничем не хуже.
- Мне кажется, что казуальность — плохо определенное понятие, от него лучше отказаться. Мне импонирует контрфактуальная эпистемология и подход, основанный на "твердых принципах" Дойча (хотя Дойч еще и научный реалист, то есть мой предыдущий пункт не соотвествует его взглядам). На эту же тему — высказывание Хемминга:
The only law of economics that I believe in is Hamming’s law, “You cannot consume what is not produced”. There is not another single, reliable law in all of economics I know of which is not either a tautology in mathematics, or else it is sometimes false.
Вот уж действительно, твердый закон экономики.
Мне нравится идея Дойча, что все остальные паттерны, включая законы физики и почти все, что обычно называют казуальностью — лишь вытекают (emerge) из таких твердых принципов. При этом, мне нравится идея о том, что эмерджентность — это преобразование информации.
- Наличие тех самых петабайтов данных — это палка о двух концах. Вы тут трейдофф понимаете не хуже меня. "The garden of forking paths", "Nassim Taleb on Big Data", и т.д.
leventov Автор
15.07.2021 10:14Наверное кто-то так поступает, но более умные которые способны обучаться, так не поступают, а адаптируются. Меняют формулировки и т.п. И уже критика не воспринимается так резко. Т.е. это хороший механизм обучения человека искусству коммуникации. А плохо обучаемые отсеиваются. Прекрасный механизм самоорганизации и поощрения гибкости ума.
Прекрасный механизм для… создания элитного сообщества эрудитов и спорщиков? А все, кто послабее, пусть плещутся в своих теориях заговора? В целом для общества это плохо.
На самом деле все эти минусы отражают состояние общества. Т.е. нам не нравится поведение людей, но менять мы будем цифры. Логичнее кажется менять людей, и это куда сложнее.
Менять поведение людей как раз можно только через изменение системы, новые incentives, mechanism design. А не через увещевания или как-то еще. Предложенная система как раз мотивирует людей чуть больше, чем сейчас искать новые хорошие аргументы, а не бесконечно транслировать самые банальные и "проверенные временем" аргументы по любым вопросам, так что комментарии к любым постам на том же Хабре все больше напоминают день сурка.
lxsmkv
15.07.2021 11:42Мотивация вполне понятная. Но нет никакой уверенности, что предложеные меры дадут желаемые изменения.
как раз мотивирует людей чуть больше, чем сейчас искать новые хорошие аргументы,
Мне кажется, что люди не ищут новых аргументов не столько из-за нехватки мотивации, а банально по причине отсутствия в их головах на тот момент других аргументов.
Ну, впринципе, да, есть какая-то взаимосвязь, например, между длиной комментария и его содержательностью.И поощрять содержательные комментарии кажется сперва неплохой идеей. Только насколько это справедливо? Почему длинный комментарий например предпочтительней короткого?комментарии к любым постам на том же Хабре все больше напоминают день сурка.
Это очень зависит от темы. Есть люди с интересными точками зрения. Только они на такие темы просто не заходят или не комментируют их, понимая всю бессмысленность этого. Ну я предполагаю, что имеет место такое. Кстати, предполагаю, что и Ваше впечатление сложилось тоже, по причине того, что Вы притянуты определенными темами, которые вызывают споры с однообразной аргументацией.
И вот мы такого человека мотивируем все таки оставить свое ценное мнение под темой. В лучшем случае его мнение будет стоять рядом с общей дискуссией по теме.
А теперь, если предположить, что система будет поощрять плюрализм, т.е. именно такие, отстоящие от общего хода обсуждения, высказывания, то в бойне ява против си шарп будут в выигрыше комментарии типа: "Желтые кабриолеты семимильными шагами продвигают автомобильную промышленность к теоретическому оптимуму функционального разнообразия". Любой максимально отстоящий от общего потока бред.
Pavel1114
15.07.2021 04:47Очевидно многие платформы сами создают условия для появления таких монокультурных пузырей — люди в них, постоянно получая подтверждения своих убеждений, более удовлетворены, а значит более лояльны. Например youtube — помимо простого заминусования комментариев, там сортировка по релевантности и рейтингу, а также возможность для автора чистить комментарии всех несогласных. Это приводит к тому что в комментариях практически невозможно встретить хоть какую то дискуссию. 2 видео с диаметрально противоположными мнениями будут одинаково радушно поддержаны в комментариях.
MentalBlood
15.07.2021 09:36Сложно, но можно. Но непонятно. Получится что в конкретном рейтинге комментария большую роль играет какой-то черный ящик. Будут волнения
devlev
15.07.2021 09:56+3Идея алгоритма очень проста: сайт должен натренировать ML-систему которая будет оценивать, насколько неожиданно что пользователь проголосовал "за" или "против" определенного комментария.
Я считаю это невыполнимой задачей. На одном из разработаных мною сайтов сейчас больше 5 миллионов комментариев. Мы одно время тоже думали о такой системе умной сортировки. Но к какому либо готовому решению так и не пришли.
Я считаю что в этой задаче нужно понимать к какой цели хочешь стремиться: поднять непопулярное мнение в том, развернуть мнение толпы на противоположное, и от этого уже думать над реализацией. Нечто подобное реализованно у фейсбука правда с постами. Вам нравится сортировка постов на фейсбуке?
Если нужно читануть топовые комментарии, то нужна возможность отсортировать комментарии по рейтингу (лайки минус дизлайки)
Если нужно прочитать всю ветку комментарив, то текущий формат комментариев на хабре идеально подходит для этого. Вложенность позволяет следить за ходом мыслей пользователей.
На хабре нет сортировки по рейтингу, и поэтому людям, вроде вас приходится придумывать самим мыслимые ограничения, вроде комментариев с двухзначными значением рейтинга.
Сообщества стремятся к состоянию монокультуры и групповому мышлению.
Вторичный эффект от монокультуризации сообществ…
Дискуссии не развиваются…
Система располагает к разведению ботов...Мне не понятно одно: как ваша придуманная ML система будет решать описанные вами же проблемы?
leventov Автор
15.07.2021 10:07Я считаю что в этой задаче нужно понимать к какой цели хочешь стремиться: поднять непопулярное мнение в том, развернуть мнение толпы на противоположное, и от этого уже думать над реализацией.
Цели я обозначил в посте: не то, что вы привели, а качество дискуссии и качество аргументов. Разнообразие аргументов.
Мне не понятно одно: как ваша придуманная ML система будет решать описанные вами же проблемы?
Переубеждающие комментарии получают в среднем повыше, чем в текущих системах. Их замечает больше людей, и их авторы чуть больше мотивированы писать такие комментарии. Я не утверждаю, что это полностью решает первые три проблемы, но как-то тормозит их.
По проблеме ботов и вторых аккаунтов — "мнение" этих аккаунтов быстро становится очевидно для системы, их голоса — "ожидаемыми", и вклад этих голосов в рейтинги снижается. Это не делает ботоводство полностью бессмысленным, но точно снижает его эффективность.
mikhailian
15.07.2021 10:47+3Ну зачем сразу ML и sentiment analysis?
Я однажды сделал систему, которая подсказывала единомышленников и противников по пересечениям в оценках комментариев, вот статья на Хабре. В качестве алгоритма выбрал Коэффициент корелляции Пирсона. Его можно прямо на PHP с помощью функций стандартной библиотеки посчитать, хотя я просто регулярно выгружал данные в R и считал там. Получился вот такой результат:
Более сложные алгоритмы на больших данных будут стоить больших денег. На том же Хабре миллиарды голосов, да и учётных записей явно не меньше сотен тысяч. А ведь КкП надо посчитать для каждой учётной записи * количество учётных записей.
ЗЫ: Кстати, на Hacker News с кармой > 500 и даунвотить можно.
ANewbieUser
15.07.2021 10:55Вот да, для Реддита это стало огромной проблемой – если ты оставил комментарий не в то время, то его с большой вероятностью никто не увидит.
codecity
15.07.2021 11:40+3Как раз все существующие системы построены по принципу консолидации. Именно цель — собрать единомышленников, думающих одинаково и видящих все в одном ракурсе. Они как бы образуют микросреду, где все такие же как они. Кто не такой, не вписывается — того общество отторгает с помощью низкого соц. рейтинга в данной группе.
Вы же хотите создать новый тип сообщества, где важно не сходство взглядов а некие знания/аналитические способности.
third112
15.07.2021 16:14+1ИМХО все системы оценок оечень сомнительны и неоднозначны. Если опубликую пост под заголовком «Земля плоская», то могу получить много минусов за «троллинг», а могу много плюсов за сарказм ;) Как-то так.
tyomitch
17.07.2021 15:43Не очень понимаю, какую проблему участников сообществ автор пытается решить.
Люди разбредаются по сообществам где преобладает именно их точка зрения, окукливаются в своем пузыре, получают там постоянно подтверждение. Их точка зрения цементируются, они все меньше способны воспринимать аргументы за другие точки зрения.
--да, естественно, что людям приятно общаться с единомышленниками. Маководам с маководами, веганам с веганами, антипрививочникам с антипрививочниками.
Представьте, что будет создано сообщество с описываемой системой «рейтинга комментариев, поощряющей хорошие аргументы», цель которой — вытащить каждого пользователя из «зоны комфорта» и продемонстрировать ему «хорошие аргументы» против его убеждений.
С чего вдруг пользователи из своих уютных «пузырей единомышленников» начнут переходить в новое, целенаправленно некомфортное сообщество?
opposit
На d3.ru и лепрозории есть так называемый "вес голоса". Причём на д3 этот "вес" считается на каждом подсайте отдельно.
leventov Автор
Интересно, не знал. Это, кстати, лишь усиливает негативные обратные связи: люди с популярным мнением на сайте имеют больший рейтинг -> их негативный голос комментарию с которыми они не согласны сильнее вгоняет комментарий в минус -> больше вероятность что комментатор демотивируется и уйдет с данного сайта или подсайта.
Хотя и плюсы у такой системы тоже есть.
Можно совместить эту идею с идеей рейтинга на основе неожиданности голоса: неожиданный голос пользователя с большим рейтингом важнее, чем неожиданный голос пользователя с маленьким или отрицательным рейтингом. Но ожидаемый голос пользователя с большим рейтингом не важнее ожидаемого голоса голоса пользователя с маленьким или отрицательным рейтингом. И где-то посередине для "нейтральных" (не неожиданных и не ожидаемых) голосов.
progreccor
на joyreactor.cc ньюфаги (новички) не влияют на рейтинг пользователя. А вот один минус или плюс от олдфага (опытного пользователя с рейтингом) влияет очень сильно и на рейтинг и на ранжирование вообще поста и комментария.
Может случиться ситуация когда пост попадает в интересное с отрицательным рейтингом, потому что таким его посчитали олдфаги. И наоборот — пост может набрать кучу плюсов, но не повлиять на рейтинг пользователя его опубликовавшего, потому что он не понравился олдфагам.
Интересная система, одним словом