Цепочка поставок в пищевой промышленности и ритейле — это сложная, медленная и ненадёжная система. В этой статье мы рассмотрим развёртывание Apache Kafka для обработки данных в реальном времени в таких сферах, как производство, логистика, розничная торговля, доставка, рестораны и другие части бизнеса. Это будут примеры из настоящих компаний: Walmart, Albertsons, Instacart, Domino’s Pizza, Migros и т. д.

Цепочка поставок в пищепроме и ритейле

Пищевая промышленность — это сложная глобальная сеть из различных компаний, которая кормит большую часть населения Земли. Ничего общего с этой картинкой:

Компании в этой отрасли занимаются производством, распределением, обработкой, переработкой, приготовлением, консервированием, транспортировкой, сертификацией и упаковкой разной еды.

Современная пищевая промышленность очень многообразна. Это и небольшие семейные компании, где многое делается вручную, и корпорации с автоматизированными и механизированными процессами производства.

В этой статье мы рассмотрим примеры, в которых удалось улучшить цепочку поставок и бизнес-процессы с помощью возможностей обработки в реальном времени.

Почти все компании из примеров используют Kafka для различных задач. Иногда их сферы деятельности пересекаются. В следующих разделах приводятся настоящие примеры из настоящих компаний. Вместе они составляют полную цепочку поставок на основе сервисов в реальном времени в пищевой промышленности и ритейле.

Зачем в пищепроме и ритейле нужна потоковая обработка данных в реальном времени с помощью Apache Kafka?

Почему я вообще стал собирать примеры и решил написать эту статью?

В феврале 2022 года я полетел во Флориду, чтобы встретиться с заказчиками. Я много путешествую и часто сталкиваюсь с разными неудобствами. Так совпало, что все беды, описанные ниже, случились со мной в одни выходные.

Как ручные процессы и пакетная обработка испортили мне путешествие

• Проблема первая — в отеле. Я отменил бронь за неделю до этого, но всё равно получал по почте сообщения с предложением купить апгрейд. Их присылала система пакетной обработки в движке бронирования. Что характерно, я не получал таких предложений для новой брони в этой же сети.

• Проблема вторая — в магазине одежды. Кассовый терминал не работал из-за перебоев с электричеством и интернетом. Обрабатывать платежи было невозможно, люди уходили без покупок. Мне очень нужна была одежда, потому что в моем отеле из-за нехватки персонала не работала прачечная.

• Проблема третья — в ресторане. Я пытался поужинать в стейк-хаусе, но из-за тех же перебоев с электричеством терминал не работал. Официант не мог принять заказ. В отдельную программу на кухне нельзя было вбить заказы от официанта вручную.

• Проблема четвертая — в ресторане. Через полчаса у меня наконец приняли заказ, но выбранного десерта не было в наличии. Оказалось, поставщик его не завозил, а бумажное меню и PDF онлайн никто не удосужился обновить.

• Проблема пятая — в магазине одежды. После ужина я вернулся в магазин одежды. Касса работала, но у меня спросили имейл, чтобы дать скидку 15%. Я удивился, что у них не было моих данных из программы лояльности. Их можно было получить, например, на основе местоположения. Или я мог бы войти и заплатить через мобильное приложение.

• Проблема шестая — отель. На выезде из отеля я заметил, что они не добавили мой бонус лояльного клиента (скидку на питание в ресторане), потому что система поддерживает только пакетную интеграцию с другими приложениями. В чеке не отображалась информация из программы лояльности и правильная сумма. Мне пришлось с этим смириться, хотя по немецкому налоговому законодательству это вообще незаконно.

Моя печальная история показывает, как важна цифровая трансформация в пищепроме, ритейле и туристической отрасли. Я уже писал о потоковой обработке данных с Apache Kafka в авиации и туризме. Здесь мы поговорим о пищевой промышленности и ритейле, но, в целом, всё это применимо и в других отраслях.

В следующих разделах вы увидите, что с правильными технологиями не так уж и сложно оптимизировать бизнес-процессы, автоматизировать задачи и улучшать клиентский опыт.

Цифровая трансформация с автоматизированными бизнес-процессами и сервисами в реальном времени в цепочке поставок

После всего, что со мной случилось в те выходные, я решил собрать реальные примеры из цепочки поставок в пищепроме и ритейле. Некоторые компании уже вовсю внедряют инновации — оцифровывают бизнес-процессы и создают новые сервисы с обработкой данных в реальном времени.

Аналитика IoT для оборудования от Baader

BAADER — это крупный производитель инновационного оборудования для пищевой промышленности. У них есть цепочка создания ценности на базе IoT и данных в Confluent Cloud.

Инфраструктура на основе Kafka предоставляет единый источник истины для всех заводов во всех регионах по всей цепочке создания ценности. Критические операции доступны круглосуточно для отслеживания, расчётов, оповещений и т. д.

Платформа потоковой обработки событий работает на Confluent Cloud, поэтому у Baader есть всё необходимое для создания инновационных бизнес-приложений. Бессерверная инфраструктура Kafka обеспечивает критичные SLA с оплатой за потребление всех нужных возможностей: обмен сообщениями, хранение, интеграция данных и обработка данных.

MQTT используется для подключения к оборудованию и GPS-данных с автомобилей на границе сети. Коннекторы Kafka Connect интегрируют MQTT и другие ИТ-системы, например Elasticsearch, MongoDB и AWS S3. ksqlDB непрерывно обрабатывает данные при передаче.

У меня была статья про Kafka и MQTT для прочих применений IoT с примерами.

Логистика и отслеживание по всей цепочке поставок в Migros

Migros — крупнейшая розничная компания, крупнейшая сеть супермаркетов и крупнейший работодатель в Швейцарии. Они используют MQTT и Kafka, чтобы в реальном времени визуализировать и обрабатывать данные по логистике и перевозкам.

Как рассказали сами ребята из Migros на митапе по Kafka в Швейцарии, они оптимизировали цепочку поставок, создав единый конвейер потоковой обработки данных, причём не только для ситуаций, когда данные требуются в реальном времени, но и для обработки прошедших событий.

Цель — создать одну глобальную систему вместо четырёх локальных. В логистике, например, они используют эту архитектуру, чтобы прогнозировать время прибытия грузовиков и корректировать график.

Оптимизация управления запасами и пополнения запасов в Walmart

Walmart использует Kafka по всей цепочке поставок во всём своём огромном масштабе. Как сказал вице-президент Walmart Cloud: «Walmart зарабатывает 500 млрд долларов в год, у нас каждая секунда стоит миллионы. Сотрудничество с Confluent для нас бесценно. Kafka и Confluent поддерживают нашу цифровую трансформацию по всем каналам и помогают Walmart закрепить успех».

В цепочку поставок в реальном времени входит система управления запасами Walmart. В этой же инфраструктуре они создали систему пополнения запасов в реальном времени:

Вот что они в двух словах рассказали об этой системе на Kafka Summit.

• Обслуживает миллионы покупателей онлайн и в магазинах.

• Поддерживает оптимальный уровень запасов и своевременную доставку онлайн-заказов.

• Каждый день за 3 часа обрабатывает более 4 млрд сообщений, чтобы составить точный план заказов для всей сети магазинов Walmart.

• Apache Kafka используется как хаб данных и для обработки в реальном времени.

• Apache Spark используется для микропакетов.

С точки зрения затрат и эффективности операций, ценность такой системы очевидна: быстрая обработка, высокая точность, упрощение, эластичность, масштабируемость, повышенная отказоустойчивость, экономия расходов.

Кстати, это одно из многих применений Kafka в Walmart. Посмотрите или почитайте другие выступления на Kafka Summit про разные варианты использования.

Омниканальное управление заказами в ресторанах Domino’s Pizza

Domino’s Pizza — это международная сеть, куда входит около 17 тысяч пиццерий. Из традиционной компании по продаже пиццы они превратились в организацию на основе данных, занимающуюся электронной коммерцией. Принимая решения, они руководствуются данными и интересами клиентов.

Покупатели франшизы Domino’s Pizza могут в реальном времени просматривать информацию о работе ресторанов, в том числе такие KPI, как объем заказов по каналу и метрики эффективности пиццерии по разным каналам заказов.

Созданный в Domino’s Pizza хаб данных в реальном времени помогает оптимизировать цепочку поставок благодаря следующим возможностям и преимуществам:

• Улучшенная аналитика работы пиццерий в реальном времени.

• Модернизация традиционных ИТ-систем в поддержку глобального расширения бизнеса.

• Персонализация маркетинговых кампаний.

• Единая панель мониторинга в реальном времени.

Сервисы на основе местоположения и апселлинг в точках продаж в Royal Caribbean

Royal Caribbean — это круизная компания, которой принадлежат четыре крупнейших пассажирских лайнера в мире. На январь 2021 года у компании было 24 лайнера, ожидалось ещё 6.

Royal Caribbean реалиузует самый известный вариант применения Kafka на границе сети. У каждого круизного лайнера есть локальный кластер Kafka, который используется для обработки платежей, информации из программы лояльности, рекомендаций для пассажиров и т. д.:

Пограничные вычисления на лайнерах необходимы Royal Caribbean, чтобы поддерживать эффективную цепочку поставок и превосходный клиентский опыт:

• На лайнерах плохое и дорогое подключение к интернету.

• Пограничные вычисления в реальном времени улучшают опыт клиентов и повышают доход.

• Все данные о круизах собираются в облаке для аналитики и отчётности, чтобы улучшать клиентский опыт, использовать возможности для апселлинга и поддержать многие другие бизнес-процессы.

Кластер Kafka на каждом корабле отвечает за локальную обработку и надёжность критичных рабочих нагрузок. Хранилище Kafka гарантирует сохранность данных и упорядоченность событий, даже если обрабатываться они будут потом. Напрямую в облако отправляются только самые важные данные (если удаётся поймать интернет). Остальная информация реплицируется в центральный кластер Kafka в облаке, когда лайнер на несколько часов заходит в порт, где есть хорошее подключение к интернету.

Читайте больше о вариантах применения и архитектуре для Kafka на границе сети.

Рекомендации и скидки на платформе лояльности в Albertsons

Albertsons — вторая по величине продуктовая компания в Америке, более 2200 магазинов и 290 тысяч сотрудников.

Albertsons использует Kafka с Confluent как хаб данных в реальном времени, чтобы:

• Обновлять информацию о запасах из 2200 магазинов в облачных сервисах почти в реальном времени, чтобы отслеживать запасы и предлагать замену онлайн-покупателям.

• Распространять предложения и купоны по магазинам почти в реальном времени и улучшать покупательский опыт при оплате покупок.

• В реальном времени отправлять данные в аналитические движки, чтобы прогнозировать заказы в цепочке поставок, управлять заказами на складе, доставлять заказы, прогнозировать потребности в персонале, управлять персоналом, планировать спрос и управлять запасами.

• Почти в реальном времени отправлять данные о транзакциях в озеро данных для пакетной обработки, чтобы затем создавать дашборды для продавцов и руководства, обучать модели данных и персонализировать покупательский опыт.

Вот так, например, выглядит в Albertsons архитектура потоковой обработки данных для платформы лояльности в реальном времени:

Обработка платежей и выявление мошенничества в Grab

Grab — это что-то вроде азиатского Uber. Все подобные сервисы активно используют экосистему Kafka. Как и FREE NOW, Grab использует управляемый облачный сервис Confluent Cloud, чтобы заниматься бизнес-логикой, а не обслуживанием архитектуры.

У Grab есть свой сервис GrabDefence для обработки платежей и обнаружения мошенничества. Платформа использует Kafka Streams и машинное обучение для stateful потоковой обработки и обнаружения мошенничества в реальном времени и в большом масштабе.

Grab сталкивается с миллионами сомнительных транзакций в день. Компания теряет 1,6% доходов на мошенничестве в Юго-Восточной Азии. Инженеры и специалисты по data science из Grab создали платформу для поиска аномальных и подозрительных транзакций, а также пользователей с высоким риском.

Вот пример мошенничества: пользователь зарегистрирован как водитель и как пассажир и сам себе переводит оплату, чтобы получить скидку.

Доставка и самовывоз в Instacart

Instacart — это сервис по доставке и самовывозу продуктов в США и Канаде. Продукты заказываются в розничных магазинах, а заказы собирают сотрудники.

Instacart нужна была платформа, которая поддерживает эластичное масштабирование и быстрое внедрение обработки данных в реальном времени. Они выбрали Confluent Cloud, чтобы сосредоточиться на бизнес-логике и быстрее выкатывать новые функции приложения. Во время пандемии им пришлось уложить десять лет постепенного роста в полтора месяца. Это возможно только с нативными облачными и бессерверными технологиями передачи данных.

Узнайте больше из разговора между основателем Confluent Джуном Рао и представителем Instacart на Kafka Summit.

С Kafka можно улучшить каждый этап цепочки поставок

В этой статье мы рассмотрели практические примеры того, как обработка данных в реальном времени повышает операционную эффективность, сокращает расходы и улучшает клиентский опыт.

Экосистема Apache Kafka помогает создавать инновации в любом масштабе в сфере производства, логистики, розничной торговли, доставки и обслуживания клиентов. А в облаке бессерверное решение Kafka позволяет компаниям сосредоточиться на создании решений и ценности для бизнеса..

А как вы оптимизируете цепочку поставок? Вы используете потоковую обработку данных? Вы используете Apache Kafka для обработки данных в реальном времени? Или вы предпочитаете другой инструмент?