Недавно мы запустили пилотный проект: в 10 наших московских магазинах вы можете с помощью маленького приложения дополненной реальности M.Go быстро сориентироваться в торговых залах и сразу найти стеллажи с нужными группами товаров. Насколько нам известно, это первый подобный проект в мировой практике розничной торговли. Я хочу рассказать поподробнее об этом приложении, как оно устроено и во что может разрастись этот проект, если покупателям придётся по душе.
Лет 8-10 лет назад на смартфонах впервые появились различные проекты дополненной реальности. Они позволяли находить на изображении, статическом или видео, определенный плоский маркер, похожий на QR-код. Приложение могло распознать его размеры и положение в пространстве. С тех пор эта технология активно развивалась. Самый громкий пример продукта с дополненной реальностью — это игра Pokemon GO, которая взорвала все чарты несколько лет назад. Также сегодня на рынке есть решения, сильно облегчающие сторонним разработчикам создание AR-продуктов.
Как работает M.Go
При запуске приложение автоматически определяет ваше местоположение и предлагает выбрать магазин, в котором вы находитесь. После этого M.Go попросит вас откалиброваться на маркере. Они наклеены на полу во всех 10 магазинах, которые сегодня поддерживают приложение (по два маркера в каждом, кроме большого двухэтажного магазина на Садовой-Спасской — в нём вы найдёте уже три маркера):
Нужно навести камеру смартфона на эту наклейку на полу, приложение её распознает и «поймёт», где именно вы стоите.
И через пару секунд на экране появится список категорий товаров и услуг, доступных в этом магазине.
Нажмите на нужную иконку, и на экране появятся два указателя. Один «висит» вдалеке над тем местом, куда вам нужно попасть (он может исчезать с экрана, если камера наведена в другую сторону), а второй указатель всегда внизу экрана — это стрелка, показывающая направление, как навигатор.
Почему в каждом магазине наклеено по несколько маркеров? Дело в том, что приложение работает правильно, пока оно активно. Как только вы его свернёте или активным станет другое приложение (например, вам кто-то позвонит), навигация внутри магазина прервётся. И чтобы снова использовать M.Go, нужно калиброваться. А чтобы покупателям не приходилось каждый раз возвращаться в начало, мы наклеили по дополнительному маркеру в магазинах.
Как устроен M.Go
Когда мы начали создавать приложение, то опирались на своё видение и здравый смысл. Ведь других похожих решений в сфере ритейла тогда не было. Были лишь удачные примеры использования стека технологий для создания приложений с дополненной реальностью. Мы провели несколько закрытых пилотов. На них проверяли работу технологии AR и разные варианты интерфейса, что особенно важно для таких приложений.
Первый вариант был со стрелкой, показывающей направление. Во втором варианте был летающий бот, который двигался по предварительно заданному маршруту. Мы выбрали вариант со стрелкой, так можно прийти в нужный отдел магазина, выбрать другую категорию товаров и отправиться дальше. А в варианте с ботом нужно было опять вернуться к калибровочному маркеру, выбрать следующую категорию товаров и только после этого идти по новому маршруту. Неудобно. К тому же наши магазины и так устроены довольно просто, это не лабиринт продуктовых гипермаркетов, в которых устанешь добираться до выхода.
Сегодня на рынке есть две библиотеки ARKit и ARCore, созданные в недрах Apple и Google. Библиотеки могут распознать не только маркеры, но и само пространство, в котором находится устройство пользователя. Каждый кадр с камеры, переводится в черно-белый режим c высокой контрастностью, так что на изображении остаются только линии контуров. Система находит ключевые точки (места пересечения контуров на изображении) и превращает их в «облако точек». Это пространственные маркеры.
Эта технология и легла в основу нашего приложения.
Поверх движков ARCore и ARKit мы сделали специальную архитектуру для работы именно с помещениями магазинов. У них своя специфика — ряды товаров достаточно однородны и не всегда визуально уникальны. Чем дольше покупатель ходит по магазину, тем больше накапливается погрешность позиционирования. Мы корректируем её разными способами. Одно из решений — это дополнительные маркеры, позволяющие перекалиброваться, не возвращаясь в начало.
Кстати, калибровочные маркеры мы сначала сделали красно-белыми, в фирменных цветах. Они были очень красивые, но очень быстро пачкались. Пришлось подобрать другое сочетание цветов, после чего маркеры даже стали надёжнее распознаваться приложением.
По нагрузке на процессор M.Go сопоставимо с каким-нибудь мессенджером. Основной потребитель энергии — камера. M.Go может работать на большинстве iOS- и Android-устройств, начиная с Android 7.0 и iOS 11. Такое ограничение накладывают на SDK сами Google и Apple.
Почему наше AR-приложение «знает» только 10 магазинов? Внедрение поддержки каждого магазина требует много труда:
- составить цифровую планограмму (карту магазина) с указанием размещения всех категорий товаров,
- договориться, где будут размещены маркеры,
- протестировать, насколько точно приложение «ориентируется».
Но проект ещё пилотный, мы хотим понять, нужна ли людям такая функциональность.
Что дальше?
Если пилот будет успешным, мы встроим AR-функциональность в наше основное приложение и добавим новые возможности. Вариантов много. Например, упростить изменение размещения товаров в магазине. Чтобы администратор в планшете просто указывал на схеме магазина, где теперь лежат те или иные категории. А эти данные синхронизировались бы с установленными у пользователей приложением.
Можно создать полноценную универсальную систему для руководителей магазинов, чтобы в ней:
- подробнее делить товары на подкатегории,
- указывать остаток товаров,
- добавлять актуальные промоакции.
В клиентское приложение планируем добавить кнопку вызова продавца в конкретную зону, а также внедрить элементы геймификации: ловите летающие по залу скидки или ищите виртуальные бонусы за холодильником. Кроме того, решение позволит находить товары, которые не выставлены в торговом зале, с подробным описанием и 3D-моделью.
Комментарии (24)
chapter_one
10.06.2019 19:37Хм… То есть теперь смартфон-зомби, которые вообще не видят ничего, кроме экрана своего телефона, будут еще и в магазинах. Они еще и не слышат ничего, ибо в наушниках. Ок, буду знать, от каких мест надо держаться подальше.
cyber_roach
10.06.2019 20:43Ожидал увидеть сабж: «Навигация… к нужной полке», желательно чтобы прямо из дома, к нужному магазину минуя всех консультантов и время поиска.
Увидел навигацию по отделам в маленьком магазинчике, где и так все понятно ((
В навигации по отделам, думаю, особого смысла нет (если вы не ТЦ Мега или вроде-того).
Как вау-эффект, хорошо выйдет — выше уже указали, как будут сбивать телики за 300к прыгая за летающими скидками)))Spunreal
10.06.2019 23:00Такую навигацию да в Ашан, Ленту или Окей. При чём желательно по позициям, хотя бы примерно. А то приходишь со списком и мечешься от одного угла к другому, т.к. макароны в одном месте, туалетная бумага в другом, крупы в третьем, ой забыл ватные диски взять возле туалетной бумаги…
Даже хотел подобное сделать своими силами, а потом понял, что они меняют полки местами чаще, чем я еду к ним :(
А так составил список покупок дома, пришёл в гипер, а за тебя уже маршрут построен. Прошелся быстро, всё понакидал в корзину и довольный пошёл домой с 10 пакетами. А если к этому добавить ещё и автоматическую оплату, как у амазона, то вообще улёт.
chieftain_yu
11.06.2019 09:29При этом они лишат себя такого милого пункта как «о, ещё ж (увиденное по дороге от бумаги к огурцам) надо купить!».
Оно им точно надо?
А так отдельные гиперы уже позволяют заказать (с доставкой или с самовывозом) нужные вам продукты через инет.
Yuriy_krd
11.06.2019 13:06Они будут менять полки всегда. Это часть маркетинга. Потому что когда ты знаешь, что и где лежит, ты будешь поступать так, как описано в твоем последнем абзаце. И маркетологам вместе с магазом не удастся тебе впарить еще что-нибудь, что тебе надо так же, как зайцу — стоп-сигнал. А так ты идешь к знакомому месту, а там, опа! другие товары. И ты начинаешь искать привычный товар, а он лежит в другом месте. И пока ты ищешь, ты глазами будешь пробегать по полкам с другими товарами, и, может, если не ты, то жена/мама/дети увидят что-нибудь и купят «на импульсе».
Spunreal
11.06.2019 15:42Ну не знаю, возможно, я один такой, но после 2-й смены полок в Ашане за пол года (учитывая, что ходил в Ашан раз в месяц) мне это надоело и я перешел на онлайн покупки к конкурентам.
Yuriy_krd
11.06.2019 15:51Увы, подобным грешит не только Ашан. Я замечал еще в Ленте и в Окее. О причинах смены расположения товаров мне поведал за рюмочкой чая один из причастных к этой затее товарищей, ибо я тоже негодовал по этому поводу. Ведь казалось бы, что может быть лучше, если человек пришел в магазин, купил, что ему нужно, получил положительные эмоции от покупки, но наши желания расходятся с желаниями маркетологов…
miksoft
10.06.2019 22:40Для начала бы угадать магазин, в который ехать надо. А то приезжаю туда, где числится нужный товар, а его нет.
Yuriy_krd
11.06.2019 07:52М.Видео! Могу предложить идею «на миллион» :) Сделать в приложении две кнопки:
1. «Консультанты, прочь от меня, сам разберусь!».
2. «Нужна консультация».
И на каждой витрине сделать по два индикатора (хоть два светодиода).
А к первой функции можно еще и «прикрутить» функцию распечатки всех документов на ближайшем принтере для получения товара с отправкой на принтер склада (если есть такой процесс получения) необходимой сборочной накладной. Ну и, как апофеоз, прикрутить онлайн-оплату. Чтобы было, как «заказ в интернет-магазине», только с возможностью пощупать товар и посмотреть на него в реале.
fakir89
11.06.2019 08:50Насколько я понял, для калибровки местоположения используются наклейки с определённой картинкой. А почему, например, не использовать маяки iBeacon? В таком случае при использовании маяков пользователю приложения не нужно дополнительно сканировать маркеры на полу для корректировки местоположения.
Yuriy_krd
11.06.2019 09:41iBeacon — это API сервиса Apple. Для OS Android данный API непригоден.
jonic
12.06.2019 03:35Тем не менее это обычный BLE и навигацию по нему можно сделать: https://youtu.be/nGPS2Ahk7L8
chieftain_yu
11.06.2019 09:29Чем это так уж лучше простых карт?
anyotherusername Автор
12.06.2019 09:54Сразу видно направление, в котором нужно двигаться.
chieftain_yu
12.06.2019 10:13Вы считаете это плюсом?
Что при приходе в магазин нужно сперва иметь смартфон и поставить ваше приложение, затем найти наклейку, потом запустить ваше приложение (которое наверняка захочет много всего интересного в плане прав), затем идти с одним глазом в экране?
Мне вот кажется, маркировка стеллажей и полок и возможность посмотреть через браузер (дома, заранее, перед походом в магазин) — намного удобнее.
Глянул дома — интересующий меня товар лежит на стеллаже 2, полка Б, вот стеллаж отмечен на карте выбранного магазина.
Пришел в магазин (у входа лежит пачка карт магазина в бумаге), нашел стеллаж 2 по заметному из прохода крупному ярлыку, вот она обозначенная полка Б, вот он интересный мне товар.anyotherusername Автор
12.06.2019 10:16Приложение ставится по qr коду, так же расположенному на маркере, сделать это не сложно. Помимо AR навигации и предложенного Вами решения, расположение той или иной группы товаров всегда можно уточнить у продавца. На мой взгляд вариативность в поиске нужной группы товаров это плюс.
iHateCpp
11.06.2019 09:48Думаю, что те, кто будут использовать эту фичу — это продвинутая категория посетителей. То есть те, кто придут, обмацают, пощупают и закажут в интернете за полстоимости.
Так что очень странная инициатива.
Wolframium13
11.06.2019 13:34Смысл мацать палку колбасы, чтоб потом её через инет заказывать?
iHateCpp
12.06.2019 01:18Это мвидео, там на все невероятная наценка. Я туда, например, прихожу ноутбуки щупать. Бытовую технику. Да даже мобилки.
Skerrigan
11.06.2019 10:39Уточнение: речь не про конкретную компанию, а в целом, по стране...
Хм, забавно, что еще сравнительно не так давно можно было поиметь проблем, если доблестные сотрудники видели, как «кто-то пришел и снимает телефоном» (всяко выглядит одинаково процесс для стороннего человека) — ютуб показывает ролики даже совсем не так давно с инцидентами.
MarinaToshina
Тут главное, чтобы пока идешь по стрелкам, не завалить выставку 8К телевизоров в том же торговом зале…
anyotherusername Автор
Могу Вас заверить, что за время тестирования и работы системы ни одного телевизора не пострадало.