Компания Promwad начала внеднять свое приложение для визуального поиска объектов из потокового видео: сейчас оно работает на ТВ-приставках и умеет находить в магазинах одежду и обувь, которую носят герои фильмов, телепередач и роликов на Youtube. Эту технологию на базе искусственного интеллекта можно будет задействовать и для других товаров — от мебели и бытовой техники до продуктов питания и элементов декора. А операторы цифрового ТВ и владельцы контента смогут монетизировать свое видео через реферальные программы онлайн-магазинов. 

Проект начался со белорусско-американского стартапа Oyper, который задействовал компьютерное зрение и искусственный интеллект для распознавания и поиска визуальной информации. Так появилась новая технология, которую можно было внедрять в любой сфере, но для старта был выбран e-commerce в модной индустрии, который успешнее других справился с цифровизацией своего бизнеса. 

Это решение впечатлило инженеров центра разработок компании Promwad, они предложили Oyper реализовать партнерский проект. Так было разработано приложение для ТВ-приставок и мобильных устройств на базе Android, которое находит в онлайн-магазинах одежду видеопотока.  

Как это работает?

При просмотре видео пользователь замечает на одном из актеров интересную рубашку или кроссовки. Он нажимает кнопку на пульте, AI-приложение определяет все предметы одежды на видео и предлагает результаты поиска, из которых можно выбирать нужный и сразу перейти в онлайн-магазин для покупки.

Результаты поиска можно фильтровать по цене и найти похожую вещь в других ценовых сегментах. 

Приложения для распознавания предметов и визуального поиска были доступны и раньше, однако их функциональность была ограничена поиском по изображениям. Стартап Oyper впервые применил эту технологию для видео. 

Иван Кутень, технический директор Promwad, рассказывает о разработке: «В условиях карантина из-за COVID-19 люди каждый день просматривают тысячи фильмов, сериалов и ТВ-передач. Вместе с тем увеличивается сегмент e-commerce: из-за пандемии темпы роста электронной торговли в 2020 году составили 30% в России и более 32% в США.  Наш новый проект объединит эти два тренда и поможет зрителям выбрать новую одежду даже условиях самоизоляции». 

Кто целевая аудитория этого проекта? 

Конечный пользователь этой технологии — зрители цифрового ТВ, Youtube и аудитория соц. сетей. Однако на данном этапе проект рассчитан на операторов цифрового ТВ и владельцев видеоконтента. Именно они будут внедрять приложение Promwad на базе нейросети Oyper. Новая технология позволит им повысить вовлеченность аудитории и получать дополнительную прибыль через реферальные программы онлайн-магазинов одежды. 

Сейчас запущено несколько пилотных проектов со стриминговыми сервисами и телеком-операторами, которые хотят первыми в отрасли анонсировать это решение под своим брендом.

По мере того, как ритейл будет переходить в онлайн, а разработчики технологии визуального поиска обучат свою нейросеть поиску других объектов из видеопотока, к проекту смогут присоединиться и новые участники рынка.