Компания Modulate разработала службу ToxMod, которая сканирует речь из голосовых чатов видеоигр на предмет токсичности с использованием искусственного интеллекта. Разработчики утверждают, что она может распознавать широкий спектр негативных фраз от расистских высказываний до попыток домогательств во внутриигровых чатах.

Служба анализирует речь человека не только на предмет определённых слов, которые могут свидетельствовать о токсичности, но и интонации, тональность и громкость, с которыми игрок произносит их. Разработка ToxMod основана на опыте, который команда Modulate приобрела во время создания программы VoiceWear, которая позволяет переводить свою речь на определённый «скин» голоса — например, придавать ей голос одного из игровых персонажей. Программу представили в 2019 году.

Компания обнаружила, что наработки, полученные в создании VoiceWear, можно использовать и в других направлениях. В частности, Modulate отметила, что, согласно исследованиям, 48% всей внутриигровой токсичности происходит через голосовые чаты, при этом 22% игроков полностью прекращают запускать игру из-за токсичности в сообществе. Поэтому Modulate решила разработать сервис, который призван избавить игроков от подобных негативных высказываний, отслеживая голосовые сообщения в режиме реального времени.

ИИ для ToxMod обучали на основе генеративно-состязательных нейронных сетей. Компания не уточняет, как именно происходил процесс обучения. ToxMod сканирует речь игроков и определяет, присутствуют ли в ней какие-либо запрещённые высказывания и слова или с какими эмоциями она была произнесена. Помимо оскорблений, издевательств и других проявлений токсичности, служба распознаёт также произнесённую идентификационную информацию — например, номера телефонов — и предпринимает заранее установленные действия. Эти действия могут быть более тонкими, чем обычное заглушение звука, говорят разработчики, например, программа умеет заглушать отдельные расистские высказывания. При этом пользователи программы могут сами устанавливать «предел токсичности» и скрипты на своё усмотрение.

По словам разработчиков, программа работает непосредственно на устройствах самих игроков — на серверы Modulate для обработки будут отправляться только те записи голосовых чатов, в которых она усмотрит высокую вероятность токсичных высказываний. Их будут рассматривать ещё более сложные алгоритмы. В случае возникновения спорных ситуаций, запись будет передана команде модераторов. Однако это означает, что то или иное высказывание не будет заблокировано достаточно быстро.

Технический директор Modulate Картер Хаффман отмечает, что в этом состоит одна из главных проблем, которая стоит перед командой разработчиков — компромисс между задержкой и точностью работы программы. По его словам, сделать упор именно на скорость работы программы, которая позволила бы предвосхищать любые негативные проявления в речи, невозможно, поскольку это грозит большим количеством ложных срабатываний и, напротив, пропуском большого количества токсичных фраз. Кроме того, процесс работы не может быть полностью автоматизирован, поскольку спорные ситуации всё равно будут возникать.

При этом программа будет чрезвычайно полезна различным игровым сообществам, уверен Хаффман. ToxMod позволит значительно разгрузить службы модерации, самостоятельно отмечая токсичность в голосовых чатах, а также ведя некую «историю токсичности» того или иного игрока. Кроме того, служба может быть интересна таким платформам, как YouTube, которые смогли бы использовать подобные ей сервисы для проверки видео на музыку, защищённую авторским правом.