Facebook запускает в тестовом режиме систему оповещения администраторов сообществ о появляющихся конфликтах, работающую на основе анализа ИИ.
16 июня Facebook анонсировала несколько новых опций для владельцев сообществ и объявила о запуске в тестовом режиме системы оповещения Conflict Alerts. В основе системы лежит работа нейросети, которая будет искать и маркировать «нездоровые» комментарии пометкой «moderation alert» («оповещение модератора»). После администраторам придут сообщения о количестве подозрительных комментариев. Компания не сообщила подробностей о работе новой системы.
Сайт Verge обратился к Facebook за дополнительным комментарием и выяснил, что компания будет использовать модель машинного обучения для поиска нежелательного контента. В качестве вводных данных пресс-секретарь Facebook указал лишь частоту и объём комментариев.
Новый инструмент от Facebook похож на уже работающее оповещение по ключевым словам Keyword Alerts. Руководитель сообщества самостоятельно настраивает список фраз и отдельных слов. Затем система либо не пропустит комментарии с такими словами, либо оповестит о них. Система определяет и отправляет уведомление администратору о появлении нужных комментариев.
В ноябре прошло года Facebook уже внедрила ИИ, помечающий подозрительные и приоритетные комментарии для администраторов соцсети. Компания указала, что в приоритете у алгоритма стоят популярные материалы и контент, связанный с терроризмом, сексуальной эксплуатацией детей или причинением вреда самому себе. Спам алгоритмы воспринимают как наименее важный контент.
Алгоритм находит заданные в параметрах высказывания, но не умеет определять сарказм, иронию или сленг. В результате все эти «шутливые» комментарии попадают к администраторам.
Невозможность распознать сарказм и шутки — общая проблема для всех подобных нейросетей. 4 июня этого года команда учёных под руководством Оксфордского университета опубликовала исследование, показавшее, что алгоритмы крупных компаний по-разному справляются с поиском нежелательного контента. Они были либо слишком суровыми, либо недостаточно строгими, и ни один из них не смог отличить сарказм, иронию или даже цитаты от вредоносного контента.
Neuromantix
Фэйсбук уже и так уничтожил сообщества любителей китайских хохлатых собачек (из-за путаницы с оскорбительным названием украинцев), а так же лично я или ближайшие родственники попадал за прошлы год в бан на 1-3-7 дней за комментарии, «разжигающие ненависть» — «орущие безголовые ублюдки» (применительно к безголовым камикадзе в обсуждении Сериоус сэм 4), «милые узкоглазики» (только открывшие глаза котята), «чертова белокрылка» (как ни странно, в прямом смысле — как вредитель комнатных растений), «деды» и «грохнуть деда» (в обсуждении карточных игр и жаргона, связанного с ним, «дедами» называли королей, «грохнуть деда» — игра типа пасьянса), и еще несколько, которых уже не помню, в результате чего я зарекся комментить что бы то ни было, и пишу либо в личку, либо ставлю смайлы, но за них тоже, говорят, прилететь может. На все случаи аппеляция признавала правоту ФБ.
anonymous
Интересно, будут ли параметры открыты для просмотра/изменения админом сообщества или будет такой себе «whit box» который орёт на всё что ему не нравится.
З.Ы. Интересно, будет ли сообщество/владелец сообщества нести ответственность за игнорирование таких оповещений.