У одного рядом гудит компьютер, другой начинает фразу вполголоса, третьего постоянно хочется сделать погромче. Обычный вечер в голосовом чате. Мы наконец собрали в БОЛТУНе звук, которого хотели с самого начала. Голос слышно на фоне гула, тихие начала фраз сохраняются лучше, а громкость каждого человека можно поправить отдельно.

В октябрьской статье мы ещё перебирали варианты шумоподавления. А 9 ноября уже выпустили DPDFNet в версии 0.0.67 для Windows и веба. Это нейросеть, которая чистит звук прямо на компьютере говорящего перед Opus. Покажем, что получилось, и разберём всю цепочку от микрофона до наушников. Первая статья про шумоподавление.

Из чего собран голос

Микрофон → AudioWorklet → DPDFNet → активация → Opus
        → WebSocket → Go-координатор → WebSocket
        → декодирование → буфер → микшер → наушники

AudioWorklet и DPDFNet у говорящего

Сначала браузер забирает звук с микрофона. Эхоподавление у него своё и настраивается отдельно. Оно помогает, когда голос из колонок снова попадает в микрофон. Усиление можно выставить руками. Встроенный шумодав браузера для этой цепочки отключили, чтобы голос проходил только через DPDFNet.

AudioWorklet приводит звук к моно на 16 кГц и собирает куски по 20 мс. Каждый кусок уходит в отдельный Worker. Там на CPU работает готовая модель DPDFNet Baseline от Ceva через ONNX Runtime Web и WebAssembly. Она обрабатывает спектр и помнит своё состояние от блока к блоку. Прогреваем её заранее, а сам код один и тот же для браузера и WebView2 в Windows. AudioWorklet · DPDFNet · Веса модели · Статья авторов · ONNX Runtime Web.

Активация, Opus и доставка

Дальше решаем, когда отправлять голос. С Push-to-Talk всё понятно — нажал кнопку и говоришь. С активацией голосом хитрее. Пока детектор (VAD) ждёт, что голос станет громче, человек уже может начать слово. Поэтому с DPDFNet держим под рукой последние 240 мс обработанного звука. Как только передача открывается, этот кусок отправляем первым.

Обработанную речь кодируем в Opus через WebCodecs. В веб-клиенте это моно, 16 кГц и целевые 32 кбит/с. Go-координатор получает пакеты по WebSocket и раздаёт их участникам комнаты. На другом конце WebCodecs декодирует обычный Opus. Вся работа нейросети к этому моменту уже сделана у говорящего. WebCodecs · Спецификация Opus.

Воспроизведение и микшер у слушателя

У слушателя для каждого голоса свой буфер и свой AudioWorklet. На старте копим 200 мс звука и дальше читаем его непрерывно. Если очередной пакет задержался, есть что проиграть. Если запас закончился, worklet плавно уводит звук в тишину и так же плавно возвращает его, когда буфер снова набрался.

Потом сводим голоса вместе. Тихого собеседника можно прибавить отдельно. А когда все заговорили разом, на общем выходе легко получить пик даже от нескольких вполне нормальных по громкости голосов. Тут выручает компрессор. Он прижимает такие пики, прежде чем сигнал уйдёт в наушники.

Что проверили целиком

Для проверки шума взяли одну и ту же речь с искусственным гулом вентилятора и прогнали через комнату со штатной обработкой браузера и с DPDFNet. Сравнивали уже после декодирования Opus, выровняв громкость по чистому голосу. В паузе остаточный гул с DPDFNet получился заметно тише. С разговорами за спиной результат зависел от примера. Где-то чужой голос затихал, где-то оставался слышен.

По пути поймали странный баг. В 35-секундном тесте с искусственной задержкой Worker пропало около 215 мс звука, а у слушателя буфер ни разу не опустел. Оказалось, таймер захвата сам подставлял тишину вместо опоздавших блоков. Убрали этот таймер и стали отдавать готовые блоки по порядку. Повторили тест — все отсчёты на месте. С тихими началами разобрались отдельно. Старых 100 мс истории VAD оказалось мало, чтобы удержать начало слова.

Перед выпуском взяли готовый веб-клиент и Windows EXE, зашли в локальную комнату и подали вместо микрофона один и тот же WAV. Проверили по десять тихих начал в каждой сборке. В этих двадцати началах ни один блок в проверяемом окне не потерялся и не продублировался. В вебе ещё держали PTT полторы минуты. Первые 30 секунд дополнительно грузили CPU. Все готовые блоки дошли до передачи, а у слушателя за весь прогон не прибавилось ни опустошений, ни переполнений буфера.

За запас в буфере платим задержкой. На отдельном трёхминутном стенде получили около 297 мс от захвата до выхода у слушателя и 337 мс, когда специально добавили задержки доставки. Это замер внутри программного тракта вместе с приёмным буфером. Реальные устройства и интернет в замере не участвовали.

В БОЛТУНе это уже можно послушать самому. Заходите в комнату с Windows или из браузера и включаете «Шумоподавление» в настройках звука. БОЛТУН.

Короче, аудиостек рабочий. Если делаете свой голосовой чат или что-то похожее, пользуйтесь этой схемой. Мы её уже обкатали и довели до релиза. Пилим дальше)))

Комментарии (0)