Мы, как Банк, привлекаем новых корпоративных клиентов по всей сети отделений Альфа-Банка в регионах/городах РФ. И чтобы это делать эффективно, требуются инструменты, которые позволят оценивать результат тех или иных управленческих действий в разрезе конкретных регионов нашего присутствия. У каждого региона есть определенная специфика: географическая, экономическая, рыночная. И нам необходимо понимать: сколько наших продуктов мы можем потенциально продать в этом регионе и получить новых клиентов, и какой ресурс для этого требуется. 

Иначе говоря — бизнесу необходим инструмент эффективного управления численностью менеджеров с точки зрения того, сколько клиентов может привести каждый менеджер, и как это изменит рыночные показатели Альфы в динамике в среднесрочном и долгосрочном периоде. Например, оправдано ли стратегически решение об экспансии в регион на горизонте 3 лет? Удастся ли компенсировать понесённые затраты за счет роста доли рынка и количества активной клиентской базы? Эту задачу можно решить с помощью методов продвинутой аналитики.

В статье мы поделимся примером первого практического применения Продвинутой Аналитики в процессах стратегического бизнес-планирования численности ресурсов Сети для привлечения клиентов Юридических Лиц.

Для работы с потенциальными клиентами требуется соответствующий ресурс — штат клиентских менеджеров привлечения (КМП) в городах, где сосредоточен бизнес этих компаний. Как понять, сколько именно штатных единиц (ШЕ) менеджеров потребуется, чтобы эффективно работать, например, в Туле в течение следующих 3-х лет без необходимости сокращений? Как это соотносится со стратегическими целями Альфа-Банка в данных регионах, и как изменится рыночная картина через 3 года?

Для начала нам нужно понимать, сколько организаций работает на рынке конкретного города, и скольких из них мы сможем сделать нашими клиентами. Потенциал региона по вводу нового ресурса менеджеров традиционно характеризуется их средней эффективностью — среднее количество привлеченных клиентов в месяц по всем менеджерам на рынке региона. У этой характеристики есть граничные (бюджетные) значения, ниже которых средняя эффективность по региону падать не должна, иначе это может говорить о том, что расходы банка на содержание данного ресурса превышают доходы от привлечения.

Допустим, если завтра мы наймем несколько сотен менеджеров (а их ещё нужно найти на рынке труда), высадим всех в городе M, то избыток менеджеров приведёт не только к тому, что средняя эффективность упадёт, но и к тому, что потенциал рынка будет очень быстро исчерпан, а штат сотрудников придётся сокращать. Ведь рынок ограничен, количество работающих на рынке организаций конечно, и есть риск ввести избыточный ресурс менеджеров. Также важно учитывать, что рынок это динамичная сущность — есть рост рынка (хотя нередко темпы роста количества юридических лиц скорее отрицательные), а есть отток клиентской базы.

Такую задачу с такими вводными мы получили. Как её решать?

Сбор требований

Мы начали составлять ТЗ, прописывать требования и одновременно думать как решить задачу. В это же время общались с бизнесом, описывая их требования. А требования такие:

• Не учитывать личные качества сотрудников, потому что ресурс менеджеров привлечения имеет высокую текучесть, и личные параметры не тот фактор, которым кажется реальным управлять (по крайней мере, на первом этапе моделирования).

• Средняя эффективность одного человека не должна снижаться ниже определенной бюджетной величины. Например, можно запустить 100 менеджеров на один город, если они будут выдавать по 10 клиентов в среднем в месяц (выше их точки безубыточности — бюджетной эффективности), то всё нормально.

• В динамике трёх лет их эффективность не должна снижаться ниже бюджетной (чтобы не увольнять сотрудников). Например, в городе N (все величины в примере для удобства условны) есть 100 000 компаний, а прирост компаний — 1000 в месяц. У Альфа-Банка есть база клиентов, например, 10 000 компаний в городе N. Требуется соблюдать баланс в штатном ресурсе, чтобы не съесть весь рынок. Ведь если мы увеличим количество менеджеров в 5 раз, то они быстро обойдут все организации на рынке города и через год все потенциальные клиенты закончатся. Тогда эффективность менеджеров упадет — рыночного потенциала будет недостаточно для содержания такого штата ресурса привлечения.

Пока общались с бизнесом поняли, что есть один фактор, на который нужно обратить внимание — доля рынка Альфа Банка в конкретном городе. Этот фактор стал одним из ориентиров, вокруг которого продумывали решение.

Состояние рынка региона в момент времени характеризуется несколькими ключевыми, для нашего анализа, факторами, в том числе самые главные: 

• штатный ресурс Альфа-Банка, сколько ШЕ менеджеров;

• доля рынка Альфа-Банка — доля организаций, имеющих счет в Альфа-Банке;

• объём рынка — сколько организаций на рынке региона;

• средняя склонность к становлению клиентом Альфа-банка (склонность — численная оценка вероятности, полученная ML-моделью, по рынку рассчитывается среднее значение оценок по всем организациям, которые не являются клиентами Альфа-банка).

Диаграмма описывает принцип перехода от непрерывных изменений, происходящих на рынке региона, к дискретному описанию состояния рынка в фиксированные точки во времени, через расчёт значений ключевых показателей, описывающих это состояние.

N – объём рынка, количество всех компаний для привлечения.
Р — средняя слонность к открытию РКО.
М — количество ШЕ КМП.
Ω — доля рынка Альфа-Банка.

Если не хотим ориентироваться на личные показатели, то надо ориентироваться на рыночные: количество компаний в городе, количество клиентов, доля банка на рынке в городе, динамика (прогноз на 2-3 года вперед), склонность компаний данного рынка становиться нашими клиентами.

В итоге получился список факторов, характеризующий состояние рынка, состоящих из управляемых и неуправляемых параметров.

Неуправляемые параметры.

Общий объём рынка с учётом роста. Формула расчёта объема:

Средняя склонность компании к открытию расчетно-кассового счета в банке — Р. Определяется на основе прогноза модели склонности к РКО.

Управляемые параметры.

Количество ШЕ и их эффективность. Этим параметром мы можем управлять в краткосрочном периоде. Ниже формула расчёта эффективности на 1 ШЕ КМП в период между временными точками t0 и t1.

Доля рынка Альфа-банка — Ω —отношение количества клиентов Альфа-банка на рынке к N). Этим параметром мы можем управлять лишь в средне- и долгосрочном периоде. Формула:

Важный момент — это подтверждение интуитивно ожидаемой прямой зависимости доли рынка Альфа-Банка и введённого штатного ресурса.

Гипотезы

Гипотеза 1: эффективность зависит от количества менеджеров. 

С увеличением количества КМП в определенный момент насыщения рынка штатным ресурсом (Mx), средняя эффективность КМП начинается снижается, так как менеджеры начинают конкурируют между собой за организации. При количестве менеджеров Mx на рынке перестаёт хватать компаний для такого количества менеджеров — эффективность резко идёт на спад.

Гипотеза 2: эффективность зависит от средней склонности к становлению клиентом.

С увеличением средней склонности растёт и средняя эффективность КМП, так как компании становится привлекать проще, в среднем. Рост эффективности ограничен физическими возможностями менеджеров.

Гипотеза 3: эффективность зависит от доли рынка Альфа-Банка.

Гипотезу можно описать так:

• На первом этапе Альфа-банк заходит на новый для себя рынок. Начинается бурное привлечение склонных клиентов. Ωx — доля рынка Альфа-банка по окончании первого этапа.

• На втором этапе бурное привлечение заканчивается, эффективность выходит на плато с небольшим трендом на снижение, связанным с освоением рынка и снижением склонности оставшихся компаний-неклиентов.

• На третьем этапе, в связи с высокой долей рынка Альфа-банка, привлекать компании становится проще, следовательно, происходит скачок эффективности. Ωz — доля рынка Альфа-банка по окончании третьего этапа.

• На четвёртом этапе достигнута предельная доля рынка Альфа-банка в данном регионе, рынок поделен, эффективность показывает сильное снижение.

Гипотеза 4: эффективность зависит от сезонности (по кварталам).

Во многих процессах мы можем наблюдать сезонность — колебания исследуемой величины под воздействием множества факторов, характеризующиеся номером квартала, либо месяца года.

Процессу привлечения новых клиентов также свойственна сезонность — при прочих равных средняя эффективность КМП колеблется с чередованием роста и падения в зависимости от месяца и квартала.

Аналитика — проверка гипотез

Для проверки гипотез мы собрали данные за несколько лет по регионам присутствия Банка, смотрели как работают менеджеры по месяцам в каждом отделении. Не все гипотезы подтвердились в полной мере (но для этого и нужна их проверка).

Гипотеза 1: эффективность зависит от количества менеджеров.

Факт: зависимость обратная.

Ниже пример фактических наблюдений на рынке одного из регионов.

Осложняло анализ то, что выделенный штатный ресурс имеет слабую динамику, но обратная зависимость подтверждается.

Гипотеза 2: эффективность зависит от средней склонности к становлению клиентом.

Факт: траектория схожа с теоретической, схожая динамика.

Наблюдается прямая зависимость эффективности со средней склонностью организаций к становлению нашим клиентом на рынке.

Даже заметен этап приближения графика к «выходу на плато» средней эффективности — текущий штатный ресурс физически не может привлечь больше клиентов.

Гипотеза 3: эффективность зависит от доли рынка Альфа-Банка.

Факт: наблюдаются два потенциальных пика эффективности аналогично бизнес-гипотезе.

На данных практически не наблюдается последний этап в динамике доли рынка, потому что такая высокая доля рынка редко достижима.

Гипотеза 4: эффективность зависит от сезонности (по кварталам).

Факт: сезонное чередование роста и спада эффективности совпадают с бизнес-гипотезой.

Данные собрали, гипотезы проверили. В итоге…

Задача сводится к поиску конфигурации наиболее эффективной алокации ресурсов привлечения по регионам присутствия банка

Было важно, чтобы не падала средняя эффективность (есть нормативные показатели). Поэтому решили отталкиваться от задачи «Как оценить среднюю эффективность менеджера?» Можно сказать, что это подход, ведущий к решению.

Цель — прогнозировать среднюю эффективность менеджера в данном городе в нужную временную точку.

Целевая переменная — средняя эффективность продаж, отношение количества привлеченных клиентов к числу ШЕ менеджеров.

Основные признаки (наиболее важные для модели и с точки зрения бизнес-смысла):

• Доля свободного рынка на одного менеджера.

• Доля рынка Альфа-банка.

• Средняя склонность к становлению клиентом. В этом случае может использоваться вспомогательная Look-Alike модель склонности, как одна из фичей интегральной модели.

• Квартал (сезонность).

Здесь нам требуется максимальная интерпретируемость. Для заказчика важно понимать, каким образом данные влияют на прогноз модели, поэтому был выбран алгоритм линейной регрессии.

Внимательного читателя, на первый взгляд, может смутить выбор настолько простого алгоритма моделирования как линейная регрессия. Однако, в данной задаче кроется ряд сложностей и подводных камней: требование к чувствительности к определенным признакам, высокие требования интерпретируемости, трудности с использованием результата конечным пользователем (об этом подробнее ниже).

Основная сложность в разработке модели заключалась в том, что из-за погрешностей в данных, наших предположений и часто слабой динамики штатного состава, модель в первой версии была нечувствительна к количеству штатных единиц, считая более значимыми другие признаки.

Решили проблему чисткой данных: убирали выбросы, а для обучения использовали стабильные регионы с историей. Также пришлось повозиться с категоризацией признаков, но это значительно улучшило качество прогноза. Все признаки в итоге прошли через категоризацию значений. Благодаря чему мы пришли к качеству, сравнимому с бустинговыми алгоритмами регрессии.

Качественная модель прогноза эффективности позволяет нам по некоторым вводным (признаки для модели — основные показатели рынка) спрогнозировать количество привлеченных клиентов к концу месяца. Что, в свою очередь, является рыночной динамикой и позволяет рассчитать все необходимые признаки также на конец месяца. 

Показатели оттока и роста рынка региона в будущих месяцах, прогнозируя состояние рынка, можно считать равными некоторым статистикам, например, брать средние показатели региона за некоторый период. А можно рассчитывать некоторыми алгоритмами, например, прогнозируя регрессией динамику относительно истории наблюдений за последние 12 месяцев. На разных этапах разработки мы применяли разные подходы.

Алгоритм симуляции рынка

Ещё на этапе составления ТЗ у нас возникал вопрос — «Каким будет следующий этап после построения модели, способной оценивать эффективность клиентских менеджеров от некоторых водных?» Поэтому следующей целью стал прогноз состояния рынка, выражающийся в расчёте значений ключевых показателей рынка в следующую временную точку от текущего момента.

Итак, следующий этап — симуляция динамики рынка каждого города в виде расчета некоторых показателей рынка на определенную временную точку в будущем, для начала на 1 месяц вперёд. 

Рынок города может рассматриваться как изолированный, так и совмещённый с несколькими областными городами. Таким образом, в некоторых случаях мог браться рынок одного города (как правило, столицы региона), а в других — вместе с рынками нескольких областных городов, сателлитов.

Причин для решения рассматривать рынки нескольких городов как единый, либо противоположное, несколько. Самый важный фактор — отделение Альфа-Банка в городе. Города, в которых есть отделения, называются Городами присутствия. Рынки городов присутствия автоматически попадают в рассмотрение либо как самостоятельные рынки, либо в составе более крупных рынков.

Кроме основного, есть и другие факторы:

• Расстояние между городами и, в целом, степень логистических трудностей: менеджер из города присутствия должен быть в состоянии добраться до рассматриваемого города.

• Размер рынка: маленькие города, например, на 100 компаний могут быть не интересны с учетом понесенных расходов на обработку такого рынка.

• Готовность банка расширяться в данном регионе. Хотя на это косвенно влияют все перечисленные ранее факторы, также имеет значение текущая структура сети и политика банка.

Итак, мы рассчитали и согласовали структуру рынков регионов и входящих в них городов. Также у нас есть модель прогноза средней эффективности КМП. Как прогнозировать состояние рынка через 1 месяц?

Идейно следующее состояние рынка от текущего рассчитывается следующим образом:

По текущим показателям рынка прогнозируется средняя эффективность менеджера. Учитываются объём, средняя склонность, номер месяца и квартала, текущая доля рынка Альфа-Банка и различные производные от этих параметров. Умножая прогноз на число менеджеров, получается число новых клиентов Альфа-Банка в следующем месяце.

Например, на текущих данных ML-моделью мы прогнозируем среднюю эффективность на рынке региона N равную 10 компаниям на менеджера, в этом регионе у нас 10 менеджеров. Получается, прогноз продаж расчётно-кассового обслуживания (привлечение новых клиентов) равен 10*10=100.

Ожидая 100 новых клиентов, зная коэффициенты оттока клиентской базы и роста рынка, мы можем рассчитать к концу следующего месяца количество компаний на рынке в целом и клиентов Альфа-банка, а следовательно, и долю рынка (формулы приводятся в начале статьи в разделе про управляемые и неуправляемые параметры). Коэффициенты оттока клиентов и роста рынка рассчитываются отдельно заранее (несколько вариантов расписывались в конце предыдущего раздела).

Значительно трудней обстоит ситуация с расчётом новых значений средней склонности в течение следующего месяца: 

• Регистрируются новые компании на рынке. Естественно, оценок их склонности к становлению клиентом Альфа-банка мы знать не можем. Нужно как-то учесть их вклад в значение средней склонности.

• Какие-то компании уйдут с рынка. Например, начнут ликвидацию, такие компании нужно перестать учитывать в потенциале рынка.

• Какие-то клиенты оттекут — их стоит учитывать в средней склонности, такие компании вновь могут стать клиентам, причины оттока бывают самые разные.

• Какие-то компании станут нашими клиентами, а мы знаем лишь количество. Причем необязательно клиентами станут самые склонные, ведь ML-модель, как и любая другая, имеет некоторую степень погрешности.

Таким образом, динамика на рынке за следующий месяц требует в расчёте показателя средней склонности как-то учесть новые компании, а некоторые, наоборот, исключить.

Здесь нам поможет предположение, что поведение потенциальных клиентов с точки зрения склонности к становлению клиентом не изменится кардинально в следующем месяце. Тогда мы можем применить накопленную статистику динамики рынка региона.

Вариантов расчёта, опять же, может быть несколько, каждый имеет свои плюсы и недостатки. Мы решили рассматривать значение склонности компании как случайную величину и для каждого региона построить дискретную функцию распределения на имеющейся истории. 

Таким образом, помесячно выстраивается симуляция рыночной динамики с единственным управляющим воздействием — количеством менеджеров привлечения.

Для пользователя же, визуализацию динамики стоит выбирать, исходя из потребностей. Например, динамику показателей можно выводить помесячно, либо поквартально, можно добавить возможность учёта рынка нового областного города интерактивно в процессе симуляции, а не закладывать данную структуру заранее.

Результаты

Бюджетные эффективности менеджеров рассчитываются исходя из размеров (сегмента) компаний, с которыми они преимущественно работают. Размер в данном случае определяется по годовой выручке компании. Сегментом же называется некоторый диапазон значений показателя выручки. Например, в сегмент 90-350 попадают компании, имеющие по финансовой отчетности выручку от 90 до 350 млн. руб. Оценка эффективности построенного алгоритма определяется в разрезе таких сегментов.

Модель прогноза эффективности тестировалась разными способами и на разных выборках, и фактические и прогнозные средние по сегментам значения эффективности мало отличаются. 

Хотя, при отделении тестовой выборки по времени (oot), видим отклонение со старшим сегментом 90-350. Это объясняется спецификой сегмента — крупных компаний меньше в выборке, и они гораздо сложнее с точки зрения поведенческих характеристик.

Ошибка (RMSE) по сегментам сравнительно с бюджетным значением эффективности невелика. И, опять же, заметно значительное ухудшение качества на выборке oot в старшем сегменте.

Проведя аналитику и обсудив результаты с заказчиком, мы пришли к выводу, что на тестирование oot выпали неудачные месяцы — «выбросы» — со значительным изменением динамики рынка.  Это причина отстающего качества прогноза в сегменте 90-350.

Также тестирование модели проводилось на уровне конкретных городов. Поскольку личные качества менеджеров в прогнозе намеренно не учитывались, ожидаемо, что чем крупнее город, тем стабильнее прогноз и лучше соотношение с фактом. В крупных городах ошибка модели стабильно мала. Пример по некоторым городам ниже.

Выводы

Наша цель была в том, чтобы построить понятный и однозначно интерпретируемый инструмент среднесрочного и долгосрочного стратегического планирования, с помощью которого будет возможно оценивать будущий эффект от ввода определенного количества новых ШЕ (менеджеров привлечения) в город. При этом общего подхода, как решать подобные задачи оптимизации, и тем более чёткой инструкции, нет. Но…

Цель была достигнута.

Первая версия инструмента разработана, согласована и утверждена.

На основе результатов работы с инструментом принято бизнес-решение по вводу существенного числа новых ШЕ в городах присутствия Банка. Модель позволила сделать более эффективную аллокацию менеджеров по регионам присутствия АБ.

Модель хорошо показала себя с точки зрения оптимальности аллокации ресурса на Сеть, о чём мы могли судить по продажам в конкретных регионах. Поэтому в наших дальнейших планах как улучшение текущей модели, так и разработка новых аналогичных моделей в других продуктах.

Мы смогли получить симуляцию рынка с учётом его важнейших параметров (как управляемых, так и неуправляемых), которая соответствует его исторической динамике, а по мере накопления данных точность данного подхода будет возрастать.

Наверное, основной take-away из этого сложнейшего проекта — это знание того, как моделировать не конкретную сущность конкретного клиента, а оценивать весь рынок как сложную динамическую систему, состоящую из множества агентов, взаимодействующих с Банком и имеющих определенные характеристики. Этот революционный подход мы будем масштабировать и в других бизнес-процессах. Уверены — у него есть еще большой потенциал монетизации.