Привет, Хабр! Меня зовут Андрей Ткаченко, я руковожу направлением прогнозирования промо в «Магните». Наша команда запускает цикл статей: мы приоткроем дверь в мир процессов, технологий и алгоритмов крупного российского ритейла, а также поделимся собственным опытом прогнозирования промо. 

Во вводной статье мы расскажем о разнице между промо и регулярными продажами, о команде и истории развития направления прогнозирования в «Магните», а также объясним, почему качественный прогноз промо важен для бизнеса. 

Мы привыкли к большому количеству желтых ценников в магазинах у дома, но так было не всегда. За последние десять лет промо в российском ритейле как инструмент стимулирования спроса пережил революцию. В 2010 году на этапе становления и бурного развития торговых сетей в России цели промоакций были ограничены: сокращение срока вывода новинки на рынок, компенсация шероховатостей планирования объёмов производства либо попытка привлечь дополнительного покупателя невиданной ранее низкой ценой на условный картофель, о которой сообщали в объявлении на ближайшей остановке общественного транспорта… Объёмы промопредложения были незначительны, как и само количество акций.  

За прошедшие годы промо преодолело длинный путь и превратилось в отдельный мир со своими законами и проблемами внутри сложившейся системы ритейла. Доля промопродаж выросла с ~10% на старте до ~40%, появилось множество различных промомеханик и способов коммуникаций с покупателями, большинство крупных компаний помимо обычного промо запустили собственные программы лояльности. Последовательно растущая от года к году доля промопродаж заставила компании уделять процессам организации, планирования и прогнозирования всё больше внимания. 

А пока вернёмся к магазину у дома: с точки зрения покупателя, товар с жёлтым ценником мало чем отличается от стоящего рядом аналога, кроме привлекательной цены. Но мало кто знает, что для торговой сети процесс попадания этого товара на полку – отдельная, не лишённая драматизма, история. 

Регулярные продажи VS промо 

 В случае с регулярными продажами мы имеем дело с поддержанием товарного запаса на ассортимент, имеющий стабильный спрос. Каждый магазин выступает в роли локального склада, на который ежедневно необходимо привозить такой объём товара, который покроет среднюю дневную потребность + страховой запас*. Горизонт прогнозирования — небольшой, менее семи дней, логистическая возможность пополнения — ежедневно или раз в два дня.   

В случае с промо ситуация сложнее, потому что каждая промоакция — в сущности, аномалия с точки зрения регулярных продаж. Поддерживать страховой запас на уровне промопродаж по каждой товарной позиции нецелесообразно — в магазине не хватит места. Кроме того, после окончания акции спрос на товар может резко упасть и весь избыток рискует быть списанным по истечении сроков годности, либо надолго зависнуть в статусе неликвида. При этом проведение промо требует дополнительной подготовки как со стороны поставщика (планирование объёмов производства, распределение по региональным складам), так и со стороны торговых сетей (публикации в каталогах, внешняя реклама, информирование сотрудников о механике проведения акции), что напрямую влияет на плечо прогноза*.

 Качество прогнозирования промо влияет на имидж компании и лояльность покупателей. Так, если человек не нашел в магазине батон бренда X, он без раздумий выберет из лежащих на полках аналогов по сопоставимой цене. Совсем другая ситуация, если клиент идёт за покупками, увидев рекламу на ТВ и заинтересовавшись выгодным предложением, и с разочарованием видит в магазине пустую полку с одиноким жёлтым ценником.  

Итак, мы определились, что правильное планирование и прогнозирование объёмов промопродаж: 

• это залог успешных акций и программ лояльности; 

• положительно влияет на NPS*; 

• существенно отличается от регулярных продаж с точки зрения механики, целей и требований; 

• влияет на финансовую составляющую современного ритейла (охватывает около половины всех продаж). 

Что из себя представляет прогноз промо в «Магните»

Глобальная цель нашей команды — создание высокопроизводительного сервиса прогнозирования (в первую очередь, «ядра» или Back-end части) с единым окном входа, который способен в течение нескольких минут возвращать результат расчёта заказчику. Кроме того, сервис должен быть гибким, чтобы быстро подстраиваться под изменения в поведении покупателей, рыночной конъюнктуры, появление новых видов маркетинговой активности и механик промо, а также под краткосрочные и долгосрочные цели компании. В роли заказчика может выступать любое подразделение, которому нужен расчёт прогноза. Например, помимо еженедельных промо, на расчёт в июне может прийти план новогоднего объёма продаж сезонных инаутов* для планирования производства поставщика.  

Цель нижнего уровня для прогнозирования промо — ответить на вопрос: «Какое количество конкретного товара мы продадим в отдельно взятом магазине в течение промопериода при заданных параметрах?». Звучит как тривиальная задача, но на практике всё не так просто (об этом — в следующих статьях).  

Как развивался промопрогноз в «Магните»

1. Прогнозирование промо выделяется в отдельное направление. 

   Модели: ручной расчёт на базе исторических данных 

   Примерно в 2015 году мы поняли, что нужно выделить промо из общих систем прогнозирования из-за существенных отличий в процессах. Это помогло повысить качество прогноза за счёт создания надстроек и адаптации существующих систем прогнозирования и пополнения под специфику промо. 

2. «Коробочные решения» от контрагентов. 

   Модели: Линейные модели 

   В 2018 году внедрили один из существующих на рынке готовых инструментов прогнозирования промоспроса, что позволило сделать быстрый рывок за счёт применения более современных технических решений.  

3. Самостоятельная доработка и адаптация готового решения. 

   Модели: Линейные модели 

   В конце 2018 года мы начали развивать готовое решение силами своей команды.  

4. Разработка и внедрение алгоритмов на базе ML. 

   Модели: Линейные модели, Мультипликативные модели, ML алгоритмы на базе градиентного бустинга и другие

   В 2019 году мы усилили команду и начали разрабатывать собственные решения на базе ML, а также провели ревизию и пересобрали с нуля существующие, чтобы повысить их эффективность и устранить накопленные баги. Кроме того, мы реализовали сервисный подход к прогнозированию — то есть объединили все алгоритмы и разработки в общий pipeline с единым окном входа для пользователей, тем самым создав первую версию прогнозной машины. 

5. Адаптивный подход к прогнозированию товарных категорий и разработка алгоритмов на основе нейросетей. 

   Модели: Линейные модели, Мультипликативные модели, ML алгоритмы на базе градиентного бустинга, нейросети и другое

   В 2021 году мы повысили эффективность стека боевых алгоритмов и инструментов аналитического блока, сформировали устойчивый цикл жизни и развития алгоритмов. Запустили процесс разработки и тестирования нейросетей с собственной архитектурой. 

Наша команда и организация рабочего процесса

Прежде чем прийти к нынешнему состоянию команда прогнозирования пережила несколько этапов трансформации и роста. Сейчас базовые роли в команде прогнозирования делятся на три направления: 

• Data scientist – отвечает за разработку и развитие алгоритмов, тестирование гипотез. 

• Data engineer – отвечает за внедрение алгоритмов в pipeline, поддержку работы сервиса прогнозирования, настройку потоков данных. 

• Data/Business Analyst – отвечает формирование гипотез и валидацию результатов тестов. 

У каждого участника команды есть набор уникальных навыков, знаний и опыта, которые могут быть на стыке разных областей, с уклоном в одно из направлений. 

Важное преимущество нашей команды — каждое из направлений формировалось на базе сотрудников, имеющих большой опыт работы в «Магните»: 

• во-первых, это позволяет проще и быстрее обучать новых участников команды

• во-вторых, сотрудники знают особенности учёта данных компании и построения корпоративного хранилища  

• в-третьих, знание внутренних процессов и опыт работы в разных подразделениях компании позволяет сразу отсеивать заведомо ложные гипотезы и находить оригинальные решения сложных проблем. 

Рабочий процесс выстроен на базе продуктового подхода, адаптированного к реалиям крупного ритейла и корпоративной культуры «Магнита». Сам продукт обособлен от операционной деятельности компании, что позволяет нам работать в комфортном двухнедельном цикле спринтов-релизов. Ведение Backlog’a, планирование и контроль текущих задач осуществляется в Jira. Команды DS и DE практически не контактируют с пользователями, заказчиками, смежными подразделениями. В зависимости от специфики вопроса внешними коммуникациями занимаются владельцы продукта и бизнес-аналитики блока. 

В этой статье мы дали общее представление о работе нашего подразделения, а в следующем материале расскажем об особенностях и проблемах прогнозирования промо, а также подробнее остановимся на стеке технологий и пайплайне. 

P.S. О каком аспекте из жизни команды рассказать в следующих постах? Предлагайте свои варианты и задавайте вопросы в комментариях!