Мы собрали прототип дрона, который будет летать по складу и инвентаризировать алкоголь. Вообще-то такой дрон нужен много для чего (и вы могли видеть в некоторых магазинах ездящие колонны, которые занимаются чем-то подобным), но именно на складе алкоголя крайне важно, чтобы это был не человек. Потому что есть огромная проблема с подбором персонала на такие объекты. Отметим, что в результате отбора и последовательного отсева тех, кто злоупотребляет алкоголем на работе или стремится его украсть, в итоге на складе работают в основном глубоко религиозные люди, которым ислам запрещает пить.

Но вернёмся к роботу. От него нужны три вещи:

1. Двигаться по складу без помощи оператора.
2. Считывать штрихкоды или QR-коды паллет и надписи около них.
3. Превращать это в данные инвентаризации и передавать в WMS в итоге.

Казалось бы, простейшая задача для пятичасового хакатона. Но на деле всё немного не так. Начнём с того, что метки под скотчем или полиэтиленом (то есть нужно сопоставление нескольких кадров без бликов) имеют разный шрифт и бывают рваными или протёртыми.

Что делать с метками?

Вот примеры. Тут всё просто:



Тут — тоже:



В области пикинга (разбора упаковок на отдельные единицы) сложнее, но всё равно реально:



Хотя не всегда — вот здесь уже надо распознавать отдельные бутылки:



А вот совсем сложные случаи. Бликующая поверхность:



И плохая видимость из-за полиэтилена:



В случае с бликами задача решается облётом параллельно упаковке и снятием нескольких кадров. Более того, уже есть практическое решение, которое по размазанному видеопотоку определяет номера вагонов прямо из кучи кадров, каждый из которых не подходит для распознавания по отдельности. То есть это решается. Другие две проблемы — перекрытие кода и поворот кодом «от себя» — решаются организационно (отправкой человека и правилами склада).

Качество распознавания QR и штрихкодов — больше 90 % без дополнительной коррекции видеоаналитикой. В опытах мы работали с большим количеством различных дефектов, и могу сказать, что распознавание удалось улучшить ещё на несколько процентов. Поскольку обычно информация на наклейках избыточна, то, кроме штрихкода, там есть торговое наименование и прочие данные.

Есть сложности с пикингом (похоже, инвентаризация в первых итерациях будет без него, то есть для складов кросс-докинга). И мы не можем понять глубину полки по фронтальной съёмке. Это критично для выкладки в рознице, но неважно для склада, поскольку там обычно хранится всё именно паллетами.

Параллельно мы делали прототип софта для тайных покупателей. Там другая интересная задача: бывает, что директор регионального продуктового ходит в гости к соседу с бумажкой переписать цены на колбасу и молоко. В промышленных масштабах это решается тайными покупателями с приложениями для забивания цен. Ещё более правильный подход — чтобы они просто писали видео своего похода, а потом в таблицу падали не десятки чисел, а сразу вся матрица товаров. Там мы столкнулись в тестах с тем, что постоянно нужно настраиваться на формат ценника: то кто-то переносит копейки вниз от рублей, то рубли крупно, а копейки мелко, то вдруг начали сокращать названия на ценниках, а потом вообще половину букв отрубили (потому что не влезло). Человек ещё может оглядеться и понять, о чём ценник, а вот робот уже страдает. В итоге в пилоте мы остановились только на штрихкодах.

Интересно, что для пикинга наши заокеанские друзья придумали решение. Берутся обычные RFID-метки и вращающийся робот, который наводит такое поле, что по интенсивности «ответа» можно установить, где же находится метка (и сколько их). Мы посчитали для России — увы, оно несовместимо с охраной труда и Санэпидемом. Нужно убрать людей до включения. Пока не делали. Если кому хочется попробовать и заодно провести дератизацию — мы только за эксперименты.


Далеко не всё на складе можно автоматизировать. Вот это проверка того, что пришло в паллетах, и упаковка.


Образцы содержимого сверяются с документами.

Выбираем платформу для дрона

Есть два варианта: что-то ездящее (на практике это колонны для проверки выкладки в торговых центрах) и что-то летающее. В случае складов нужно однозначно летающее вот почему:







Альтернатива — рельсы на потолке и что-то спускающееся с них на телескопической штанге, но для этого нет готовых решений. А вот квадрокоптеры есть, что резко меняет цену. Да и монтаж рельсов — не самая тривиальная задача.

Следующий вопрос: оно должно быть на кабеле питания или на аккумуляторе? Дроны на кабеле питания могут делать всё сколько угодно времени и не требуют ручной замены батарей. Дроны на аккумуляторе нуждаются в операторе. На практике мы поспрашивали зарубежных коллег, использующих дроны со шнуром, и они посоветовали аккумуляторные. Потому что слишком много пересечений кабеля уже при двух летающих дронах.

Итоговая модель — можно запускать задачу раз в месяц по расписанию и за полчаса облетать склад двумя дронами. Они сбрасывают свой видеопоток на сервер, где уже и происходят разбор и сама инвентаризация. Скорее всего, складу это не надо как постоянное решение, поэтому мы готовы пробовать это как SaaS, то есть с оплатой за результат. Альтернатива — on-premise-решение, когда вот вам готовый дрон, вот готовый сервис, вот готовый софт, вот готовый сервак и готовое же ПО.

Автопилот

Нет нормальных систем вертикального позиционирования дрона.

Точнее, не было до появления наших партнёров UgCS, софт которых мы по России дистрибутируем. У них была задача обследования вертикальных стен карьеров. У нас была задача нарисовать граффити дроном на стене. Мы тогда очень заморочились на то, чтобы быть достаточно близко (иначе распылитель делает пятна на полстены) и при этом не колбаситься от усилий распылителя и потоков воздуха близко от вертикальной поверхности. Задача решена, управляющий софт для дрона для полётов у высоких стеллажей есть.

Как понять маршрут?

Нужно к чему-то привязаться для работы на складе по длине ряда. Варианты такие:

1. Лететь до конца ряда и учиться, а потом планировать маршруты.
2. Клеить ленту на пол или потолок для движения по ней либо раскатывать светодиодную ленту.
3. Вешать LoRa или блютуз-маяки для движения по ним.

Относительно маяков сразу скажу, что задача решаемая, но сложная. Мы делали для этого склада ИТ-инфраструктуру и, в частности, радиообследование для Wi-Fi-покрытия для вот этих вот терминалов сотрудников:



Вот примерно в таких местах — дикое сочетание интерференции и экранирования (перегородки металлические):



С другой стороны, есть промышленные алгоритмы для дронов, обследующих ЛЭП и нефтепроводы. Поэтому решаем, что остановимся на ленте. Но дрон получается большой, поэтому оставляем и антенны.

Функции: автоматическое сканирование стеллажей на складе, проверка правильности размещения паллет, проведение инвентаризаций, передача данных о выявленных событиях (интеграция с back-end-системами).

С такими размером и устройством вот в таких местах уже не пролезет:


Но элитка и обрабатывается вручную.

А дальше началось интересное. Есть ряд ритейлеров, которым такое интересно. Начинаем пробовать — выясняется, что нужны начсклада, директор по логистике, много согласований. Они приходят и говорят: «У меня есть человек за 30 тысяч рублей. Я ему даю терминал, куда пикать, и лестницу. И он ходит и пикает. И плюс подметает пол и меняет лампочки». И с прищуром ленинским спрашивают: «А твой дрон не сможет же лампочку поменять?»

Мерчендайзинг-роботы

С учётом вышесказанного есть две модели того, что может делать робот в магазине, решающий такие же задачи. Сфера более проработана на практике:

1. В обычном FMCG или модном (сейчас уже такие решения на практике есть) можно поменять выкладку и пустить ездить колонны для сканирования товаров.
2. Либо использовать робота для частой проверки данных о выкладке, чтобы он раздавал задачи людям вокруг и контролировал их.

Второе, кстати, обходится дешевле штрафов за неверную выкладку, потому что робот хоть и дурак, зато находит именно ошибки быстрее людей. А вот считает он пока на инвентаризации плохо.

Мерчант-роботы находятся в одной среде с покупателями. Может показаться, что это хорошо, потому что он же может их считать, отвечать на вопросы «Где колбаса?» и развлекать всех селфи с автоматроном Vaulttec2020, но на деле всё куда сложнее. Сейчас они защищены от ударов резиновыми отбойниками и сонарами. Отбойники — это на случай вот таких ситуаций, когда скорость слишком высока:



А сонары говорят: «Эй! Куда прёшь? Отвали!» — людям с тележками. Сам он не наедет, но вот что будет, если особо злобные бабки будут толкать его тележками, я не знаю. Скорее всего, нужен режим оператора для видеосвязи в таком случае. А то получится, что на третий день эксплуатации спёрли контроллер и аккумулятор.

Основные функциональные возможности робота для торгового зала: автоматическое сканирование полок в торговом зале и стеллажей на складе (РЦ), проверка правильности выкладки товара и ценников на полке, обнаружение заканчивающегося товара и пустых полок, передача данных о выявленных событиях (интеграция с back-end-системами), опциональное оснащение системой Digital Signage.

Итог

Роботы находятся на стадии прототипа и ждут своего часа на складах или в торговых сетях. Если вы из розницы или со склада и готовы пробовать — пишите мне на почту retail@croc.ru, и мы с лабораторией робототехники приедем к вам в гости. Прямо сейчас стоимость в разрезе двух-трёх лет примерно равна стоимости ручных работ, но роботы дешевеют с каждым днём и дают массу плюсов вроде стабильности работы и более быстрых инвентаризаций, когда можно за сутки посчитать вообще весь склад.