Кто-то гадает по звёздам и кофе, кто-то — по фото, а нам в ВТБ пришлось обучить модель предсказания по телефонным звонкам. А заодно пройтись по граблям обработки текстов и звука, выяснить, какие фичи можно извлечь из аудио, как привлечь ML и прикрутить к нему нейросеть, — и сделать всё на основе opensource. 

Меня зовут Алексей Климачев, и я data scientist ВТБ. В прошлом году банк доверил мне провести исследование аудиоданных для целей collection. Если вам интересно, чем может быть полезна правильно обученная модель, анализирующая звонки и прогнозирующая их исход, что использовать для её обучения, с какими сложностями можно столкнуться в процессе и как их обойти, заглядывайте в статью.

Уж задали так задали

Прошлым летом в ВТБ возникла идея создать такую модель, которая может предсказать успешность звонка о просроченной задолженности по продуктам банка. Не то чтобы мы не могли предсказать вероятность успеха по другим параметрам: всё-таки у каждого клиента есть уже известные нам фичи (признаки кредита и срок просрочки, социально-демографические характеристики, история коммуникаций и др.), и по ним тоже можно предугадать его действия. Но в нашем случае хотелось добавить к этому возможность прогноза по другим данным, а именно: по содержанию диалога (тексту) и по характеристикам звука (голос, эмоции и т. д.).

Тут надо пояснить, что мы понимаем под успехом: это оплата просроченной заложенности в течение недели после звонка. Вообще, каждый звонок оператора и прочие дополнительные действия, стимулирующие клиента оплатить задолженность, требуют от банка времени и денег, так что нам важно предугадать, решит ли клиент проблему с долгами в ближайшее время сам и без других действий со стороны банка или нет. Если да, мы можем не тратить время на клиента и предоставить его самому себе: он и так разберётся с задолженностью. А если вероятность такого исхода низкая, мы, напротив, можем ускорить процесс и сразу перевести клиента на следующую стадию просрочки. И то и другое экономит ресурсы банка.

Модель, анализирующая звонки, может быть полезна для самых разных задач. Например, для обучения операторов и повышения эффективности их работы.

Итак, эту задачку поручили мне и моей коллеге Евгении Труфановой. Источниками данных для обучения моделей должны были стать текст и звук, и мы логично решили делать две модели параллельно: одну для предсказаний только по аудио, вторую — по текстам. У Евгении уже был опыт работы с текстами, поэтому ей досталась модель, предсказывающая по ним.

Мне пришлось немного сложнее. Опыт работы с ML и нейросетями у меня, конечно, уже был, но не со звуком, а с табличными данными. А здесь совершенно новое поле для деятельности. С одной стороны, многое пришлось осваивать с нуля и во многое вникать, с другой — появился шанс нырнуть в новую область и перенести на аудио свой опыт в решении банковских задач. Опять же посмотреть, почитать, как что в этой области используют.

В общем, у меня был датасет аудиозаписей диалогов, открытые источники, собственные наработки и время. Из всего этого надо было получить модель.

Выделяем фичи из аудио

Датасет, который я мог использовать для обучения модели, содержал около 9000 образцов реальных аудиозаписей диалогов операторов и клиентов банка. Но нельзя просто так взять и подать все эти аудиозаписи в первоначальном виде на вход и получить хороший результат. У аудио, как у данных, есть множество особенностей, их надо уметь обрабатывать и загружать, чтобы был толк.

Когда мы загружаем аудиозапись с помощью библиотек, она превращается в ряд сигналов — в последовательность или, проще говоря, в список некоторых чисел, которые отражают величину сигнала. Однако в разных библиотеках, из-за их особенностей, при загрузке одного и того же файла эти числа могут отличаться по величине. А это, в свою очередь, приведёт к проблемам уже при обработке данных. Поэтому важно следить, чтобы загруженные библиотеками аудиосигналы были отнормированы, тогда, даже если библиотеки были разными, у рядов будет одна размерность, и с ними уже можно работать на уровне моделирования. 

Ещё важно учитывать качество записи: например, у студийных оно может быть очень высоким — 22 000 сигналов на секунду записи или даже больше. А у телефонных разговоров, которые послужили датасетом для модели, качество было существенно ниже — всего 8000 сигналов на секунду. Если качество аудиоданных различается, может потребоваться даже приведение их к «общему знаменателю» с помощью resampling.

Ещё запись может оказаться слишком длинной для обработки в сыром виде: это займёт слишком много времени, что попросту нерационально. Тут поможет дальнейшая обработка рядов, из которых можно путём разных преобразований получить ряды меньших размеров и извлечь фичи. Это могут быть MFCC, различные спектральные метрики и др.

Ещё на стадии подготовки и копания в статьях на полезные для работы темы я наткнулся на материалы о возможности выявить некоторые заболевания по диалогам с пациентами. Фичи играли в этом важную роль. Я решил тоже заморочиться с их извлечением, чтобы затем переиспользовать в своей модели. Эти метрики и фичи собрал в таблицу:

Впрочем, после размышлений последнюю фичу (которая Harmonics to noise ratio) решил не выделять: оказалось, на это требуется слишком много времени, оно того не стоит.

Для анализа аудио и извлечения фич я использовал библиотеки из открытых источников, в частности, выложенные на GitHub (например, раз, два).

Аугментации как способ расширить датасет

И всё-таки почти 9000 образцов диалогов для обучения было маловато. Чтобы как-то расширить датасет, я прибегнул к хитрости, а именно к аугментациям. Дело несколько осложнила специфика записей. 

С моноканальными записями было бы проще: можно нарезать их на части по окончаниям фраз или от начала до конца фразы. А вот источник наших записей — телефонные разговоры, они двухканальные, и нарезать их надо с умом, чтобы случайно не потерять смысл. Так что мы использовали дополнительные наблюдения, например, последовательность реплик оператора и клиента, которая заканчивается высказыванием одного из собеседников. В диалогах реплик много, и благодаря этому подходу удалось увеличить датасет раз в 10.

Извлекаем эмоции

Важной частью обучения мне виделось извлечение эмоций из аудиозаписей: вектор вероятности содержания эмоций в голосовом сигнале можно было затем переиспользовать как фичу в модели. Да и для других задач эта возможность могла пригодиться, например, для подсказок операторам во время звонков.

И вот здесь мне повезло с открытыми источниками данных: я нашёл уже готовый датасет MELD, собравший около 10 000 отрывков из известного ситкома «Друзья». Для каждого отрывка была разметка с ранжированием по 7 типам эмоций: разочарованный, гневный, удивлённый, нейтральный, грустный, довольный, испуганный. Используя этот датасет, удалось извлечь фичи из аудиозаписей отрывков и бустингом обучить на них модель. В результате мы получили набор моделей для каждой эмоции, потом они применялись для возврата вектора вероятностей эмоций в аудиозаписи.

Правда, были нюансы: то ли из-за того, что источник отрывков был англоязычный, то ли из-за специфики сериала и игры актёров, модель иногда определяла вполне спокойную нейтральную речь русскоязычных клиентов как «грустную». Конечно, хотелось как-то скорректировать этот момент, но из-за отсутствия аналогичного размеченного датасета на русском языке пришлось довольствоваться тем, что есть, и печально варьировать threshold по моделям для большего приближения к нашему восприятию результатов.

Нейросети в помощь

Я также не обошёл вниманием возможность извлечь из аудио дополнительные неинтерпретируемые признаки (в частности, эмбединги), что было легко сделать с помощью предобученных нейросетей — благо в сети их много и уже обученных для решения конкретных задач. Я использовал модели с сайта huggingface.co (раз, два, три, четыре). Прогонял через них наши образцы диалогов, а выходы с предпоследних слоёв сохранял и затем использовал как фичи уже для модели предсказания успеха по звонку.

Что же получилось?

В результате у модели получилась следующая архитектура:

На вход в модель поступает аудио, которое подвергается предобработке. После из него извлекаются фичи и MFCC-ряды, применяются модели для эмбедингов и эмоций.

MFCC-ряды подаются на вход в нейросеть. Я пробовал на этом этапе применять разные типы нейросетей: рекуррентные и свёрточные. Остановился на рекуррентной LSTM: она показала себя лучше.

Далее все полученные данные конкатенируются и подаются в FC-слой. А уже на выходе мы получаем вероятность успеха звонка по звуку. Что нам и требовалось.

А тем временем текстовая модель…

Пока я постигал новый для себя мир обработки звука, моя коллега разбиралась с моделью предсказания по текстам. Может показаться, что с текстами проблем быть не должно, но здесь тоже было над чем поработать.

Дело в том, что телефонный звонок не литературное произведение, написанное красивым и логичным языком. Живые люди в речи употребляют много слов-паразитов (всяких «эм», «ну типа» и т. д.) без смысловой нагрузки, говорят с ошибками и повторами, используют неверные окончания слов. Да и сами реплики часто короткие, в среднем до 50 слов, при этом некоторые состоят буквально из нескольких слов-паразитов. Надо ли говорить, что знаков препинания и разделения на предложения в живой речи тоже нет?

Так что для начала стоило исключить из датасета реплики, которые, скорее всего, состояли из «паразитов» и вряд ли несли какой-то смысл. В итоге все реплики короче трёх слов были удалены.

Сами тексты телефонных разговоров имеют иерархическую структуру: диалоги состоят из реплик, а те — из отдельных слов. Для работы с такими данными обычно применяют иерархические рекуррентные нейронные сети. В них один слой RNN кодирует последовательность слов в эмбединг-реплики, а второй слой — последовательность эмбедингов реплик в эмбединг всего диалога. Мы тоже могли воспользоваться этим способом, но выбрали другой путь. И он оказался даже лучше.

А решение было простое: вместо первого слоя RNN мы использовали предобученный BERT. Данные датасета — тексты диалогов операторов и клиентов — поступали на вход в модель, и далее отдельные реплики эмбедились с помощью BERT в векторы. В качестве BERT-эмбедингов использовали average pooling, а сам BERT взяли уже предобученный.

К полученной в результате последовательности BERT-эмбедингов реплик далее добавляли «флаги»: кто произнёс ту или иную реплику — оператор или клиент банка. Затем в таком виде данные пропускали через рекуррентную компоненту GRU, self-attention и несколько fully-connected слоёв. После чего на выходе модель могла предсказывать вероятность успеха звонка.

Использование BERT оказалось удачным шагом и позволило упростить и подготовку данных перед обучением модели. Как я уже писал, одна из характерных проблем текстов, полученных при распознавании телефонных звонков, — их сырой вид, без разбиения на предложения, без знаков препинания, зато с ошибками и прочим мусором. Так что изначально планировалось как-то причесать эти дикие тексты с помощью Spelling Correction или Denoising. Но когда мы попробовали улучшить модель с помощью такой предварительной обработки, оказалось, никакого прироста нам этот этап не даёт. То есть BERT даже сырые тексты спокойно прожевал и разобрался с ними, он и так умеет.

К сожалению, как и в случае с аудио, при обучении модели предсказывать по текстам оказалось маловато данных. Но нас снова выручили аугментации: из диалога мы вырезали фрагменты начала или конца или случайные реплики. С помощью этого приёма удалось расширить датасет.

Готовая модель выглядела так:

Подводим итоги

Итак, мы получили два варианта моделей, предсказывающих успех звонка на основании разных входных данных — аудио и текста. Логично было бы оценить их, взяв за baseline модель, предсказывающую успех только на фичах клиента. Для этого мы использовали метрику ROC AUC и получили такие результаты:

— прирост +0,009 — при добавлении скоров по звуку;

— прирост +0,008 — при добавлении скоров по тексту.

А затем мы решили применить стекинг, объединить получившиеся удачные модели и посмотреть, что будет. Результаты получились неожиданными: при добавлении обоих скоров оценка составила +0,026. Больше, чем оценки моделей по отдельности.

И вот мы в конце пути. Или, вернее сказать, на перепутье: наши исследования завершены, модели предсказания успеха по звонку созданы, причём в трёх разных вариациях (по аудио, по тексту и по аудио и тексту), а дальше… Дальше предстоит ещё решить, как с наибольшей пользой применить эти модели.

Если у вас тоже есть опыт работы над подобными моделями и опыт хождения по тем же граблям, если вы нашли ещё какие-то полезные лайфхаки и решили какие-то проблемы иначе, делитесь в комментариях. Это может пригодиться и нам, и тем, кто будет искать решение задачи после нас.