Google показала, как будет работать новая функция шумоподавления в Google Meet. Демонстрацию на YouTube провел директор по управлению продуктами G Suite Серж Лашапелль. Ранее компания пообещала сначала внедрить шумоподавление для клиентов G Suite Enterprise и G Suite Enterprise for Education в конце месяца.
На видео показано, как новый инструмент шумоподавления Meet распознаёт обычные шумы, возникающие во время разговора: хруст пакета с картофельными чипсами, щелчок ручки, звон стекла. Функция убирает эти звуки из беседы, заменяя на почти полную тишину. Она сосредотачивается почти исключительно на звуке голоса пользователя. В видео речь время от времени звучит немного слабее, но функция справляется даже с устранением звука хлопков и постукивания линейкой.
Meet будет выполнять данную функцию в облаке, без необходимости ее загрузки и в отсутствие специального оборудования у пользователя.
Технология использует машинное обучение. Компания обещает, что со временем инструмент будет становиться всё более совершенным.
Лашапелль отметил, что в прошлом году функцию шумоподавления уже активно использовали внутри Google.
Проект начал активно развиваться после приобретения компанией Limes Audio в январе 2017 года. Осенью 2018 года был создан прототип функции. Сначала команда использовала записи с тысячи собственных собраний для обучения модели. Также задействовали аудио из записей массовых собраний на YouTube. К работе подключились команды Google Brain и Google Research, которые поделились опытом подобных разработок.
По словам Лашапелля, команда использует мягкий подход и не стремится к тому, чтобы функция подавляла все посторонние звуки: «Иногда приятно слышать, что я делаю глубокий вдох».
Он рассказал, что идея использовать контроллер переключения режима шумоподавления возникла после демонстрации идеи команде. Тогда многие разразились аплодисментами, но функция сработала на их подавление.
Лашапелль говорит, что тесты продемонстрировали успешное подавление функцией шума, производимого бытовыми приборами и музыкальными инструментами, особенно, ударными. Также функция «гасит» музыку на заднем фоне, но не прерывает человеческое пение.
Систему тестировали на разных языках.
Отдельной проблемой была близость звучащего оборудования к микрофону, например, клавиатуры. Лашапелль поднес свой звонивший iPhone вплотную к микрофону. Рингтон звучал негромко, но не перекрывал голос говорящего. При этом голос Лашапелля стал тише и немного искажался.
Записи голосов участников Google Meet проходят через центр обработки данных Google, где их пропускают через модель машинного обучения на TPU, перешифровывают и отправляют обратно. «В случае с шумоподавлением данные считываются устройством удаления шума с использованием ключа, который разделяется между всеми участниками; шум убирают; затем данные отправляются обратно с использованием того же ключа», — объясняет Лашапелль.
Корпоративным клиентам G Suite функцию шумоподавления Meet включат в этом месяце по умолчанию. Ее можно будет отключить в настройках, на вкладке «Аудио» между микрофоном и динамиками, где появится дополнительный переключатель «Шумоподавление: отфильтровывать звук, который не является речевым».
Использование облака позволяет включить шумоподавление на стороне сервера, и качество не будет меняться вне зависимости от возможностей самого устройства пользователя. Однако для этого потребовалась оптимизация кода. По словам Лашапелля, добавление дополнительного этапа обработки голоса для каждого участника собраний в Google Cloud стоит серьезных денег. В связи с этим функцию предоставят сначала клиентам G Suite, которые платят за подписку. Затем планируется уже более широкое развертывание.
В мае Google начала открывать по всему миру бесплатный доступ к сервису видеоконференций Meet. Ранее для подключения был необходим платный корпоративный аккаунт и подписка на пакет G Suite. Однако теперь любой пользователь с учетной записью Google сможет бесплатно создавать конференции с участием до 100 человек, которые также должны иметь учетную запись Google.
В апреле Nvidia представила выпустила свою технологию шумоподавления RTX Voice, которая улучшает качество звука во время голосовых или видеозвонков. Утилита предназначена только для работы с видеокартой серии GeForce RTX. Однако пользователи смогли модифицировать приложение, чтобы добиться его совместимости с другими моделями видеокарт Nvidia.
RTX Voice способен подавлять всевозможные фоновые шумы, такие как щелчки механической клавиатуры, голоса, автосигнализацию за окном или музыку. С помощью ИИ технология способна улучшать не только голос пользователя, но и входящие аудиосигналы.
См. также:
jok40
В видеоролике после включения шумоподава разборчивость его речи явно ухудшилась.