Google недавно попала в скандальную историю в связи со слабой модерацией роликов на YouTube. Как выяснилось, на этой платформе не только публикуется видео экстремистского содержания, но там размещается реклама известных брендов. Это вызвало настоящую революцию среди рекламодателей. Google обвинили буквально в финансировании терроризма, расизма, фашизма и прочих грехов. В результате YouTube пришлось ужесточить проверку контента, на котором размещается реклама. Компания Google в официальном блоге пообещала, что наберёт больше людей, которые будут следить за соблюдением правил, чтобы предотвратить появление рекламы на страницах с неподобающим содержанием.

Новая волна обвинений поднялась в последние дни: сейчас компаниям Google, Facebook и Twitter даже грозят штрафы в Великобритании и Франции за публикацию экстремистского контента (после последних терактов).

Компании Google и Facebook были вынуждены реагировать.

Google изложила четыре шага, которые предпринимает для нахождения и удаления про-террористического контента на своих сайтах, особенно на YouTube.

Инженеры разработали технологию для предотвращения повторной загрузки известного террористического контента на YouTube, используя технологию сопоставления изображений. Это может быть новостной репортаж с ТВ или видео с восславлением насилия, залитое любым пользователем.

Google вкладывает больше усилий в разработку систем машинного обучения для автоматического определения терроризма. В отличие от повторной загрузки, эта технология сможет определять даже новые террористические видео, анализируя их контент (content-based signals). Модели видеоанализа уже обучили более чем на 50% террористических видео, удалённых с YouTube за последние полгода.

В конце концов, увеличивается штат модераторов YouTube’s Trusted Flagger, который сейчас составляет тысячи человек. «Компьютеры могут помочь выявить сомнительные видео, но эксперты-люди по-прежнему играют роль в принятии сложных решений, где нужно провести черту между насильственной пропагандой и религиозными, заслуживающими доверие речами», — пишет Google. Компания отмечает, что среди всех пользователей доля корректных «флагов» может быть низка, а вот у экспертов Trusted Flagger она превышает 90%. Google заключила партнёрство ещё с 50 экспертными группами (теперь их 113), контр-террористическими агентствами и другими технологическими компаниями для информирования и улучшения совместной работы по выявлению террористического контента.

Вдобавок, Google намерена более жёстко ставиться к легальным религиозным видео, где провозглашается превосходство, например, над западной цивилизацией и культурой. Если они помечены как «неподходящие», то никогда не будут доступны для монетизации, рекомендаций, комментариев или лайков, хотя удалять их не будут. Google считает это правильным балансом между свободой слова и правами доступа к информации. Тут её не обвинят в распространении радикальных видео и заработке на них.

О разработке ИИ для выявления терроризма рассказала и компания Facebook. Социальная сеть использует технологии сравнения изображений (обнаружение дубликатов уже известных террористических фотографий), распознавания речи (сейчас идёт обучение нейросети на звуке и тексте старых видео террористических организаций «Аль-Каида» и ИГИЛ), удаления кластеров террористов из членов социальной сети (известно, что они группируются в кластеры), определения фейковых аккаунтов и кросс-платформенной коллаборации.