Никому не нравится стоять в очереди на кассе, особенно для покупки всего одного или парочки товаров. В условиях пандемии мы вовсе не хотим рисковать и находиться долгое время вблизи незнакомых людей. Год назад мы в Х5 Group решили помочь нашим покупателям и создали приложение для самостоятельных покупок «Экспресс-Скан». Оно принадлежит к системам класса Scan & GO и позволяет покупателю добавлять товары из магазина в виртуальную корзину приложения через сканирование штрих-кода товара с помощью камеры смартфона. Главный плюс новинки -  оплачивать товары можно прямо в приложении, не подходя к кассе и не ожидая в очереди.

Мы уже писали об архитектуре системы, а сегодня решили рассказать о работе команды поддержки. «Экспресс-Скан» - быстро развивающийся проект, где команда поддержки внедрилась почти на самом начальном этапе его становления. Тогда было доступно лишь добавление товара в приложении без возможности оплаты, а тестирование в реальных магазинах и вовсе начиналось в тяжелых условиях пандемии. Поддержка была привлечена не только к сопровождению приложения, но и к совместному изучению ключевых сервисов системы.

Поиск команды поддержки и её внедрение

Ключом к успеху проекта является команда специалистов с широкой компетентностью в понимании работы торговых точек. И если начинали мы с единичных пилотных магазинов, то сегодня «Экспресс-скан» работает уже в более 1200 магазинах. И работу в таком масштабе мы планировали с самого начала. 

В качестве первых сотрудников были выбраны члены команд поддержки торгового ПО из торговых сетей «Пятёрочка» и «Перекрёсток».

Cотрудники оказывали поддержку в работе более чем 50 различных бизнес-операций магазинов. Первое время сотрудники были привлечены к проекту, как к дополнительной активности и совмещали свою основную рабочую деятельность с поддержкой проекта.

Команде необходимо было погрузиться в механику работы как самого приложения, так и микросервисной архитектуры*. Также поддержке требовалось понимание работы смежных сервисов: авторизации клиента, оплаты и фискализация чека. Для погружения в работу всех этих элементов мы начали участвовать в онлайн встречах со множеством профильных команд внутри группы. Дополнительно мы временно внедрили одного из своих сотрудников в коллектив разработчиков микросервисов и переняли знания по поддержке части из них.

* микросервисная архитектура предоставляет для клиента информацию о товарах в приложении: текущие цены и акции, состав товара, фотографии, расчет стоимости товара, начисление баллов на карты лояльности и др.

Аккумулирование новых знаний и приобретение компетентности

Проект «Экспресс-Скан» разрабатывался и внедрялся очень быстро. Поддержке требовалось совершить “квантовый скачок”, чтобы получить необходимый уровень компетентности. После разработки пилотной версии продукта и первичного получения информации, мы начали её структурировать и формировать собственную базу знаний в Confluence. Тем самым мы сформировали начальный пакет знаний для будущих коллег команды поддержки при расширении проекта. Примеры:

Первое тестирование было проведено в нескольких магазинах. На его основе мы сформировали первые инструкции по диагностике возможных проблем в работе приложения. В процессе работы мы создали несколько рабочих чатов проекта и полную сеть контактов ответственных коллег, чтобы диагностировать и решать любые проблемы в реальном времени. Вскоре был запущен полноценный пилот с реальными покупателями в одном магазине.

Мониторинг компонентов системы, его оценка и доработки

Для оперативного реагирования на возникающие проблемы любой системе необходим мониторинг. Мы сформировали собственную графическую схему архитектуры системы, чтобы увидеть полную картину и покрыть мониторингом все уязвимые компоненты.  Это позволило обнаружить компоненты, состояние которых ещё частично или полностью не проверяется в реальном времени, а также сформировать список уже имеющихся алертов (уведомлений) о проблемах. 

В процессе работы пилота возникали непредвиденные технические проблемы и аварийные ситуации. Большая часть функционала приложения ещё не проверялась в онлайн режиме 24/7. Для разработки мониторингов мы написали около 20 технических заданий (далее - ТЗ) разработчикам, а также сформировали ТЗ на 50 различных оповещений о деградациях в работе приложения*. Теперь сотрудники Hot-Line в режиме реального времени 24/7 работают с мониторингом и реагируют на оповещения, подключая к решению проблем ответственные команды днём и ночью круглый год.

*ошибки в работе приложения, скорость выполнения операций, успешность проведенных платежей и статус фискализации чеков, настройки торгового программного обеспечения магазинов, отвечающих за интеграцию с проектом.

Разработка мониторингов требовала много времени, поэтому в качестве первичных средств превентивной диагностики мы придумали временное решение: мы получили доступы к административным панелям, логам и базам данных, и использовали всё это как инструменты мониторинга. Оно помогло нам поддержать целевую доступность функций приложения на уровне 99% времени, что улучшило качества работы приложения для покупателей. Текущая доступность ~99.88%.

Также мы разработали критерии доступности. Они характеризуют возможность для покупателя совершать все операции в приложении. Это согласовало общие метрики и критерии, превышение которых соответствует массовым проблемам для покупателей (технически, авариям).

Построение процессов поддержки. Работа с отзывами

Наилучшим способом тестирования приложения является прямое использование его покупателем и дальнейшая работа с обратной связью. Для этого в приложении есть возможность обратиться на горячую линию по звонку или оставить обращение в текстовом формате. Сотрудники Call-Центра снабжены инструкциями от команды поддержки. Обращения, требующие диагностики или устранения проблем транслируются напрямую в команду поддержки «Экспресс-Скан». Также пользователи могут оставлять отзывы о работе приложения в Google Play Market, Apple AppStore и AppGallery, которые обязательно обрабатываются нашими коллегами.

Круглосуточная доступность приложения – это ежедневный труд. Мы проверяем наличие цен на товары из магазинов, анализируем причины их отсутствия, заводим задачи разработчикам на их устранение. Также проверяется наличие расхождений между централизованной MDM, в которой хранится вся информация о товарах и микросервисов, предоставляющим эту информацию приложению. 

Problem management

Еженедельно поддержка проводит аналитику ошибок в работе приложения «Экспресс-Скан». Так как ежемесячно в приложении проводятся миллионы операций, даже один процент от них – это тысячи случаев для индивидуальной аналитики.

Любой команде, даже успешной, требуется постоянный контроль. Все наиболее важные задачи поддержки собираются и назначаются сотрудникам на общей Kanban-доске в Miro. Ежедневно проводятся короткие встречи для обсуждения задач на сегодняшний день. Еженедельно формируются презентации для руководящего состава и бизнеса с выполненными задачами, статистиками, достижениями поддержки и наиболее критичными проблемами. Ежеквартально формируются достижения отделов, благодаря которым каждая команда стремится сделать как можно больше и быть частью большого прогресса.

На еженедельных встречах уточняются статусы по решению проблем, актуализируется информация в Jira и Confluence, сроки, идёт общение с разработчиками. Команда поддержки ведёт самостоятельно 100% “problem management”, доводя каждую задачу до решения, ускоряя по необходимости и обозначая критичность, собирая и дополняя фактуру. Мы не просто хотим делать мир лучше, но и постоянно совершенствуем процесс достижения этой цели.

Немного о фроде, потенциальном воровстве и его анализе

Встречаются ситуации несанкционированного использования функционала приложения в сторонних целях, например: проверка цен на товары вне области магазина, воровство товаров. Во избежание этого анализируются все операции в работе приложения. По результатам внедряются анти-фрод механики и ограничения. Таким образом защищены все операции приложения, от регистрации покупателя с вводом СМС кода до приобретения товаров. 

Все возможные схемы поведения воров внедрены в анализ и 24/7 проверяются мониторингом, формируя отчёты для службы безопасности X5 Group. Любые новые схемы и поведения также внедряются в мониторинг. 

Некоторые достижения команды поддержки

Мы в цифрах за 1 год:

• Налажено и осуществлено взаимодействие с ~25 различными командами X5 Group

• Решено >150 различных проблем в работе приложения «Экспресс-Скан».

• На 82% снижено количество ошибок, не позволяющих покупателю приобрести товар в приложении.

• На 20% снизили долю брошенных корзин из-за какой-либо ошибки в работе приложения. 

• Улучшили доступность покупки товара в приложении с 99% времени до 99.7% и выше.

• Налажен процесс быстрого согласования и подключения новых магазинов к приложению.

• Написано 7 инструментов, автоматизирующих или ускоряющих часть задач, для более эффективного анализа.

Провели аналитику >140 000  подозрительных операций  в рамках антифрод контроля

С уважением и преданностью своему делу, команда поддержки «Экспресс-Скан».