В руководстве объясняется какие смайлики могут рассматриваться как угрозы или, в контексте специфических групп, для разжигания ненависти
Находясь под огнём критики, Facebook вынужден принимать меры по модерации контента. Но эта задача не такая простая, как кажется. В СМИ попал внутренний мануал для модераторов Facebook: это более 1400 (!) страниц инструкций, в которых иногда очень сложно разобраться, пишет NY Times.
Сегодня и политики, и общественные организации обвиняют социальную сеть в разжигании ненависти и дезинформации. Для Facebook это в первую очередь финансовая проблема, потому что такие обвинения создают негативный фон и могут плохо отразиться на курсе акций, а значит — на благосостоянии владельцев и сотрудников компании.
Facebook, который зарабатывает около $5 млрд за квартал, должна всем продемонстрировать, что серьёзно относится к борьбе с вредоносным контентом. Но как отслеживать миллиарды сообщений в день на более чем 100 языках, одновременно продолжая расширять пользовательскую базу, что является фундаментом для бизнеса? Решение компании: сеть модераторов, которые руководствуются лабиринтом слайдов PowerPoint с объяснением запрещённого контента.
«Каждый вторник утром несколько десятков сотрудников Facebook собираются за завтраком, чтобы придумать новые правила и обсудить, что разрешено говорить двум миллиардам пользователей сайта, пишет NY Times. — По итогам совещаний соответствующие правила рассылаются более чем 7500 модераторам по всему миру». В распоряжение газеты попало более 1400 страниц из сводов правил. Информацию предоставил один из сотрудников, который озабочен излишней модерацией и слишком большим количеством ошибок, которые делает компания при модерации контента.
Изучение документов действительно выявило многочисленные пробелы, предубеждения и явные ошибки. Очевидно, что правила различаются для разных языков и стран, в результате чего разжигающие ненависть высказывания могут процветать в одних регионах и излишне подавляться в других. Например, однажды модераторам однажды сказали удалить призывы к сбору средств для жертв вулкана в Индонезии, потому что один из организаторов сбора средств был в чёрном списке запрещённых групп Facebook. В Индии модераторам ошибочно сказали удалять комментарии, критикующие религию. В Мьянме экстремистская группа в течение нескольких месяцев продолжала активность из-за ошибки в документации Facebook.
Скриншот из мануала Facebook для модераторов
Судя по всплывшей документации, Facebook пытается сформулировать для модераторов принципы в виде простых правил «да» или «нет». Затем компания передаёт фактическую модерацию сторонним компаниям. Те привлекают в основном неквалифицированных работников, многие из которых работают в колл-центрах (пресловутый «индийский саппорт» — именно такие сотрудники занимаются модерацией).
Зачастую модераторы полагаются в работе на Google Translate. Требования к их производительности таковы, что они должны в течение нескольких секунд вспомнить бесчисленные правила и применить их к сотням сообщений, которые каждый день появляются у них на рабочем компьютере. Например, быстро вспомнить правила, в присутствии какого смайлика запрещено упоминание джихада.
Скриншот из мануала Facebook для модераторов, где разъясняются признаки высказываний, разжигающих ненависть (hate speech). Модераторы должны определить три уровня «серьёзности» с учётом шести «бесчеловечных сравнений», в том числе сравнение евреев с крысами. Общее руководство по определению высказываний, разжигающих ненависть, занимает 200 страниц
Некоторые модераторы говорят, что правила не очень эффективны, а иногда бессмысленны. Однако руководство компании считает, что иначе никак: «У нас миллиарды сообщений в день, и мы выявляем всё больше и больше потенциальных нарушений, используя наши технические системы, — говорит Моника Бикерт (Monika Bickert), директор по глобальной политике Facebook. — В таком масштабе даже 99% точности оставляет много ошибок».
Попавший в прессу мануал Facebook не похож на чёткое руководство. Он состоит из десятков разобщённых презентаций PowerPoint и электронных таблиц Excel с бюрократическими заголовками типа «Западные Балканы ненавидят организации и личности» или «Явное насилие: стандарты реализации». Это некое «лоскутное одеяло» из правил, установленных разными подразделениями компании. Facebook подтвердил подлинность документов, хотя и сказал, что некоторые из них обновились по сравнению с той версией, какая попала в распоряжение NY Times. Facebook заявляет, что файлы предназначены только для обучения, но модераторы утверждают, что они реально используются в качестве справочных материалов в повседневной работе.
Комментарии (33)
xakepmega
28.12.2018 23:34+1
Zmiy666
29.12.2018 03:56+1Эх… почему нельзя просто принять закон о том, что любая публикация в интернете не может разжигать какую-либо ненависть или призывать к чему-либо, а если у вас бомбит пукан — это исключительно ваши проблемы — не нравиться — не ходите в интернет в то место, где вас якобы чем-то оскорбляют, ну или оскорбите в ответ, там это совершенно не запрещено. Все же надо признать, что интернет — место, где каждый может написать про каждого, а поскольку все люди разные — срачи будут всегда, зачем пытаться с ними бороться, когда можно просто игнорировать. А вот попытка перенести сию агрессию, призывы и тд в реальный мир уже должна строго караться — все срачи в интернете должны оставаться в интернете.
YMA
29.12.2018 09:46К сожалению, люди в большинстве своем не особо разумны, и после нескольких десятков убитых сетевых троллей, которые оскорбят кого-то не того (какую-нибудь религию, какого-нибудь представителя криминала, или еще кого-нибудь, не любящего оскорбления) — придется вернуться к модерированию публичного информационного пространства.
adictive_max
29.12.2018 10:00Довольно странный подход. У нас религиозные фанатики убивают людей из-за «оскорбительных высказываний»? Нет, мы не будем сажать в тюрьму членов опасной для общества группировки, мы заставим всех фильтровать базар и будем сажать в тюрьму тех, что говорит что-то неприятное членам опасной группировки… Кого, говорите, мы защищаем?..
YMA
29.12.2018 10:46Членов опасной для общества группировки тоже посадят в тюрьму, но после того, как они кого-нибудь убьют, до этого они никакого преступления ещё не совершили. :) Жертве будет приятно это видеть с того света.
На мой взгляд «фильтровать базар» в интернетах нужно, просто для приведения ситуации к реальному миру. В реале есть факторы, сдерживающие троллей и идиотов — если неадекват в реальной жизни придет в компанию и будет там оскорблять участников, в лучшем случае его больше туда не пустят, в худшем — получит телесные повреждения какой-то степени тяжести. Будем его защищать и требовать для него возможности и дальше выражать свое мнение в частной компании?adictive_max
29.12.2018 10:54+1«фильтровать базар» в интернетах нужно, просто для приведения ситуации к реальному миру.
Ну да, давайте недостатки реального мира насильно притаскивать в интернет, как будто их в реальном мало.
Но, однако:если неадекват в реальной жизни придет в компанию и будет там оскорблять участников, в лучшем случае его больше туда не пустят, в худшем — получит телесные повреждения какой-то степени тяжести.
И вы представьте, его за это никто не посадит. А за «базар в интернете» посадят.YMA
29.12.2018 11:40Ну да, давайте недостатки реального мира насильно притаскивать в интернет, как будто их в реальном мало.
Увы, реальный мир уже лет 15-20 как пришел в онлайн, со всеми вытекающими. На мой взгляд, эпоха свободного анархического онлайна ушла вместе с фидошкой и irc-чатами ;) — островки остались в даркнете, но там свои заморочки…
Поэтому с общением в сети надо что-то придумывать. Какой вариант будет у вас?
В числе участников есть:
1) неадекваты, которые получают удовольствие от целенаправленного оскорбления остальных;
2) нормальные люди — которые просто высказывают свое мнение;
3) пофигисты, которые вообще безразлично относятся ко всему, что пишут остальные;
4) нормальные люди — которые спокойно относятся к мнениям, несоответствующим их воззрениям, но могут обидеться на прямое оскорбление;
5) неадекваты, которых оскорбляет любое чужое мнение, даже высказанное корректно (включая SJW, и т.д.);
Что предпримем, чтобы 5 не поубивали 1 и 2?
А как будем ограничивать 1, чтобы они не загадили всю среду общения, и 5, чтобы не мешали общаться 2,3 и 4?Zmiy666
29.12.2018 11:53а никак… пусть исписывают тысячи страниц форумных срачей, радостно лаясь друг с другом. Нормальный человек посмотрит, поржет и пойдет на ресурс, в котором более приятный контингент. Вы же не полезете в группу веганов рекламировать фермерское мясо. А если и полезете, то вас забанит модер той группы, и на этом се закончиться) Регуляция интернет срачей — дело рук самих срущихся. Да и блеклисты тоже не зря придумали — кто-то не понравился — добавить его в черный список и все, он не будет видеть твои сообщения, а ты его) А вот за попытку перетянуть конфликт в реал, телефонные звонки с угрозами, жалобы в различные инстанции и тд — просто сажать, ибо отягчающее обстоятельство.
DrunkBear
29.12.2018 11:00То есть «пешеход всегда прав, но не всегда жив»?
PS на мой взгляд, эта модерация больше похожа на стандартный заход в тёмных незнакомых районах «ты кого на… послал?»: почему-то я должен извиняться перед неопределённым кругом обиженных людей и удалять посты, но модератора не волнует, что люди без мозга наносят мне глубокие моральные и нравственные страдания и я крайне обижен на них.
arilou_camper
29.12.2018 13:19Была история о том, как наркокартель похитил блогера (кажется) после высказываний в интернете.
Camill
29.12.2018 09:51В 2018 году разделять интернет и реальный мир
Скажите, а объявление в газете — это реальный мир?Zmiy666
29.12.2018 10:12а что такое газета? в 2018 то. Сейчас это просто бумага для кошачьего лотка или растопка для шашлыков, выполняющая еще и спам-функцию. Но с другой стороны это официальные СМИ, с цензурой и тд, так что да, вполне себе реальный мир. Это в интернете вы можете высказывать все что угодно, а вот в газете вам никто не даст свободы слова. Да и обратной связи там нет, если вас что-то оскорбляет вы врятли сможете найти автора и оскорбить в ответ.
Wesha
30.12.2018 00:11Как говорил Джордж Карлин, «если кого-то не устраивает что-то, показанное по телевизору — то не забывайте что на нём есть две пимпочки: одна его переключает на другой канал, а другая вообще выключает.»
Deadwind01
30.12.2018 03:33Кажется я слышал на канале SVTV в ролике про американские выборы насчет facebook, что рассматривали включение соц. сетей в законах как «общественное пространство», однако от этого отказались, из-за того что это полностью развязывало бы им руки в вопросе модерации. То есть запрещало бы ограничивать в соц. сетях любую информацию (что идеально для информационных атак) из-за первой поправки (свобода слова).
Это одна из причин почему в Калифорнии ЕМНИМ хотят запретить ботам прикидываться людьми (чтобы на них не распространялась свобода слова).
suharik
29.12.2018 11:11А что мешает при таком количестве правил уровня «смайлик + фраза» заставить роботов модерировать текст? Уж парсер точно не пропустит запрещенные сочетания.
noanswer
29.12.2018 15:49мир кончился… вчера посреди делового общения в чате фб (мы ещё не успели перейти в другое более удобное место общения) фб меня выкинул со словами это наверное не ты и ведешь себя как-то не так… я потратил минут ~15 минут на доказывание что я это я… потом менял пароль и все это в телефоне, в общественном транспорте… ((((
я бы отказался от использования соц сетей, но увы те люди с которыми мне надо общаться сейчас не визитками обмениваются а добавляют друг друга в друзяки…
с одной стороны нам (художникам) постоянно говорят: все что тебе нужно есть в соц сетях, а с другой стороны все что есть могут отнять без объяснения причины и без преупрежнеия… был аккаунт в инстаграме (один из четырех) куда я выкладывал портфолио; 12-15К подписчиков, и вот летом его внезапно потерял… и нет я не занимался там никаким накрутившими, в течении нескольких лет, раз в неделю заходил постил картинку и отвечал на комменты… вероятнее всего я что-то с делал не так когда меня попросили доказать что я это я… ну занят был чем-то более важным… все время и внимание потраченные на на этот проект в пустую.
rPman
Наивно считать, что цели вышеописанного — защита людей от психологического насилия, на сексуальной почве ли это или проблемы меньшинств. Речь идет о том что информация стала оружием массового поражения, и это оружие пытаются взять под контроль.
Но модерация контента и цензурирование, это как вычерпывать воду из тонущего корабля… конечно можно поставить высокоэффективную помпу и корабль не потонет, пока энергии будет хватать, но проблема в том что 'вода дырочку найдет', это не изменить.
Проблема кроется не в сервисах приема и передачи информации а в самих пользователях. Это касается всего и вся, не только фейсбука. Почему люди, обладающие властью не могут осознать этой простой истины? Конечно, скажете критикуешь — предлагай, но простого решения тут нет. Правильное решение. мне кажется, кроется в образовании — людей надо менять! Понятно, это не так просто но другого способа нет. Дальше будет хуже.
Это как — бессмысленно делать стулья в виде тазиков, чтобы писающие под себя люди не пачкали пол, нужно учить их ходить в туалет. Нужно учить людей противостоять манипуляциям, т.е. должны быть подготовлены учебные программы, еще со школьного курса, рассказывающие как полученная информация влияет на наши решения, как работать с информацией, как и надо ли ее проверять и т.п. это сложно даже сформулировать в простых предложениях, это очень сложно но именно в этом направлении нужно думать и тратить все возможные ресурсы.
Zibx
Цель вышеописанного — минимизация затрат на судебные разбирательства с обиженными. Фэйсбук создавался с целью удобной каталогизации учениц института с возможностью залезть им в голову для минимизации времени склеивания, а докатился в итоге до чёрт знает чего.
rPman
'Вода дырочку найдет', когда один человек хочет выслушать а другой что то сказать, никакие технические инструменты не смогут этому противостоять…
Проблема не в этом решении, а в его формулировке — оно будет отставать по определению от реалий.
p.s. но да, как способ уменьшения судебных издержек, вполне себе метод, но боюсь ресурсы, которые будут затрачены на создание этого решения превысят затраты на суд.
grishkaa
Казалось бы, какое вообще отношение фейсбук имеет к тому, что на его платформе кто-то кого-то обидел? По такой логике можно было бы, например, обвинять телефонные компании в том, что кто-то кого-то обидел, передав обиду через их сети, но почему-то никому такое в голову не приходит.
wxmaper
По телефону вы разговариваете тет-а-тет, а в соцсетях множество обсуждений проходит в публичных чатах.
DrunkBear
То есть если в каком-нибудь фастфуде будет шумно ссориться пара, с применением hate speech и разжигания ненависти к группам «жена» и «муж» — нужно заставить фастфуд
заблокироватьпрекратить это?wxmaper
Любой фастфуд, да вообще любое уважающее себя заведение, и без "заставить" само поспособствует прекращению конфликта.
Thoth777
в случае с фастфудом посетители будут голосовать кошельком. если ссоры будут частыми, то никто в такое заведение не пойдет, и оно разорится или недополучит прибыль
штрафуют фастфуд в данном случае сами клиенты, безо всякого суда
DrunkBear
Или наоборот, сформируется контингент, которым интересно смотреть Окна/Дом/etc в реальной жизни, попивая вино?
aeeneas
Я сомневаюсь, что возможно подать иск на сам Facebook, что бы там пользователи не публиковали. Просто Facebook не хочет превращаться в помойку: позиционирует себя как место для приличных людей.
JohnDoe_71Rus
Как тогда «элиты» смогут управлять такими обученными людьми?
engine9
Ну вы шутник, как потом айфоны продавать в кредит критически мыслящему населению?