Вашу компанию легко ввести в заблуждение, если вы думаете, что увеличение прибыли — это всегда повышенные показатели точности прогноза. В российской практике оценка точности прогноза — один из ключевых показателей, на который ориентируются компании. Однако по нашему опыту он переоценен и часто вводит компании в заблуждение относительно его влияния на конечную прибыль. В статье последовательно рассмотрим 5 основных проблем, с которыми сопряжено использование данного показателя. Также предложим варианты их решения.

Прежде всего разберемся, зачем вообще считать точность прогнозирования. Ответов может быть несколько:

• Выбрать оптимальную модель прогнозирования.

• Рассчитать страховой запас.

• Выделить SKU, которые требуют повышенного внимания.

• Сравнить разные программные продукты.

Оценка точности прогноза определяется через ошибку прогнозирования. Ошибка в данном случае — это разница между фактическим значением спроса и его прогнозным значением. Т.е, чем больше будет ошибка прогнозирования, тем менее точен прогноз. Например, при ошибке прогнозирования 5%, точность прогноза будет составлять 95%. Но самый большой подвох, как увидим дальше, кроется в большом количестве методов расчета ошибки прогнозирования.

В большинстве случаев точность прогнозирования выглядит так:

98.1%

Что может скрываться за этими цифрами? Бесконечное количество метрик, которые считаются совершенно по‑разному, например, таких:

И результаты в каждом случае могут сильно отличаться. Сформулируем первую проблему использования точности прогноза как главного критерия оценки эффективности управления запасами.

Проблема 1. Ошибки прогнозирования могут считаться по разным метрикам, которые дают очень разные результаты и несравнимы между собой.

Чтобы лучше проиллюстрировать эту проблему приведем пример:

На рисунке график продаж булочек за последние 12 дней, а ниже ошибка прогнозирования, рассчитанная по различным методикам.

Как можно увидеть, точность прогноза сильно различается. И этой статистикой можно манипулировать так, как будет удобно. Взяв за основу нужную метрику, некоторые сотрудники могут предоставлять руководству те результаты, которые ожидаются. Или, например, они могу закрывать проект такими цифрами, которые выставят его в выгодном свете. А в некоторых случаях компании могут даже заниматься самообманом, не подозревая об этом и веря, что все идет хорошо.

Решение 1. Фиксировать конкретную метрику оценки точности прогнозирования и методику расчета на уровне компании.

Проблема 2. Как оценить точность прогнозирования для группы товаров и в целом для компании.

Теперь эту метрику нужно как-то агрегировать на всю компания. Допустим, у нас есть 100 000 SKU, продажи которых могут кардинально различаться. Нельзя их просто усреднить. Например, у нас есть два вида товаров - виски и колбаса, которые имеют такие показатели:

Если мы сложим прогнозные и фактические продажи по этим товарам, то они друг друга уравняют. Точность прогнозирования будет 100 %. Но, если смотреть этот показатель отдельно по товарам, все уже не так хорошо.

К тому же, самые внимательные могут заметить, что величина отклонения факта от прогноза у этих товаров одинаковая, но величина ошибки прогнозирования MAPE в одном случае - 50%, а в другом - 100%. Как легко догадаться, это происходит из-за того, что фактические продажи отклоняются в разные стороны. Это еще одна проблема такого подхода. Они ней мы поговорим чуть ниже.

Для решения этой проблемы можно пойти по пути взвешивания этих ошибок в соответствии с их вкладом в важные для компании критерии. Это может быть прибыль или объем продаж.

Например, мы взвешиваем виски и спички по среднему спросу. И в этом случае ошибка сдвигается к тому товару, который больше продается. В итоге мы получаем более-менее верную оценку точности прогнозирования.

Решение 2. Использовать взвешенные ошибки по бизнес‑показателям для оценки точности прогноза.

Давайте теперь посмотрим на высокую и низкую точность прогнозирования с другой стороны.

Проблема 3. Высокая и низкая точность прогнозирования не является ключевым драйвером экономической эффективности.

Для многих SKU высокая или низкая точность прогнозирования не является ключевым драйвером эффективности.Не стоит рассматривать эти математические ошибки, как что‑то, что всегда нужно использовать для оценки качества управления запасами. Нужно понимать, что эти методы пришли из математики и предназначались именно для статистических и математических, а не экономических показателей.

Например, MAPE использовалась для прогнозирования временных рядов, которые имеют регулярное Нормальное распределение, такие как, например, потребление электроэнергии. И только после ее стали применять для оценки точности прогноза спроса. Но, когда мы говорим про продажи товаров, то Нормальное распределение имеют лишь около 6% товаров. Это, как правило продукты питания ежедневного потребления.

Рассмотрим пример редкого спроса — бытовая химия, которая не востребована каждый день:

Как видно из графика, многие метрики здесь просто не работают. Точность по MAPE и sMAPE невозможно посчитать. Даже, если получиться как‑то ухитриться и «выровнять» данные, то мы получим катастрофически низкую точность — 13%.

Теперь посмотрим на предметную область, а не просто на математические ошибки:

Здесь можно увидеть, что точность прогнозирования вообще ни на что не влияет, потому что остаток обусловлен минимальным квантом поставки или частотой поставки, которую может обеспечивать поставщик. Поэтому обращать внимание на эту цифру совершенно не имеет смысла. И здесь уже стоит заботится не о повышении точности прогнозирования, а о переговорах с поставщиками.

Дефицит в прошлом и высокая точность прогноза

С другой стороны, дефицит в прошлом тоже может вводить в заблуждение относительно точности прогноза. Он занижает продажи, а значит точность может быть завышена или занижена.

В примере, точность по MAPE — 95%. Но при этом мы постоянно попадаем в дефицит, а наш прогноз недооценивает спрос в эти периоды.

Решение 3. Оценивать точность прогнозирования оптимальных запасов и не опираться на математические ошибки

Продолжение в следующей статье.