Как, по-вашему, связаны монетизация ТВ-каналов, нейронные сети и судоку? На первый взгляд – как программирование с искусством: возможно, но удается далеко не многим. Однако, присмотревшись, наша команда нашла необычный ответ на этот вопрос. Продукт, который разработали инженеры, позволял с помощью разных видов нейронных сетей определять начало и конец рекламных блоков, чтобы они появлялись в правильное время. Сейчас же, он уже трансформировался в универсальное средство для решения широкого круга задач. И мы с удовольствием расскажем, что к чему.
Все началось с того, что основным источником прибыли для американских стриминговых компаний и ТВ-каналов стала монетизация контента с помощью рекламы. Владельцы ТВ-каналов разрешали заменять провайдерам определенную часть рекламы и показывать там рекламу их клиентов. Однако, если рекламные блоки наслаивались друг на друга, то рекламодатели оставляли негативные отзывы. В итоге, реклама на канале отключалась, а доход терялся.
Для решения этой проблемы использовались разные подходы. Свой подход был и у одного из крупных поставщиков видеоконтента в США, который начал работать с EPAM. Однако его точность не превышала шестидесяти процентов. Это значит, что в сорока процентах случаев рекламные ролики перекрывали друг друга, что могло привести к полному отключению рекламы на этих ТВ-каналах.
По словам менеджера проекта Влада Байовского, «как только проект стартовал, инженер Леша Дружинин столкнулся с этой проблемой, и у него возникла идея. Заключалась она в том, чтобы создать продукт, который будет определять начало и конец рекламных блоков. Скажу честно, сначала я был настроен скептически, так как решение было технически сложным, то есть предполагало использование нейронных сетей и машинного обучения. И на тот момент у нас не было соответствующей экспертизы в этих областях.
В целом, все ребята, которые успели принять участие в этом проекте, опробовали разные типы нейронных сетей и разные алгоритмы, связали и синхронизировали разные компоненты. Несмотря на то, что идея родилась в Калифорнии, нам удалось задействовать 70 инженеров из абсолютно разных локаций EPAМ.
В итоге у нас получился отличный продукт, который теперь не только определяет смену рекламы, но является универсальным решением для любых задач, связанных с определением смены видеоконтента, включая потенциальное решение для видео поиска. Иными словами, его область применения не ограничивается лишь рекламой — это могут быть, например, и ТВ-шоу, у которого меняются рубрики, и данные с видеокамер или оцифрованные старые фильмы, у которых нет метаданных о содержании видеоряда».
Леша Дружинин, Senior Software Engineer:
«Если бы мы не делали проект, а ставили пьесу, то у нас получилась бы очень хорошая пьеса! У нее постоянно меняются жанры, происходит кардинальная и частая смена действий, есть интрига. Сначала мы пытались решить задачу простым способом, без нейронных сетей, но ничего не получилось. Нам пришлось полностью разобраться с устройством большинства видов нейронных сетей и с нуля обучить их выполнять определенные задачи. Чтобы было понятно – существует множество архитектур нейронных сетей, но нас интересовали те из них, которые обрабатывают визуальную информацию.
Со временем мы заметили, что наш проект стал чемпионом в компании по использованию нейронных сетей: у нас их было более пяти видов. Сейчас мы остановились на двух. Они анализируют каждый кадр и каждый кусочек звука. Когда происходит кардинальная цветовая смена кадров либо тональности звука, сети на это реагируют, предсказывая конец рекламы и затем переход между рекламными блоками. Пока та сеть, которая определяет переход между роликами, точнее той, которая предсказывает конец ролика.
Каждая из них получает свою копию нарезанных кадров и звуков, однако вместе они обеспечивают 90-процентную точность результата. Мы запустили это решение на реальных каналах, и оно работает. Нам удалось создать бота, который умеет смотреть телевизор. Образно говоря, если после этого проекта к нам придут клиенты с просьбой “А сделайте-ка нам улучшенный Smart TV”, то мы уже готовы к таким задачам. Наше решение — это и есть маленький Smart TV, который уже способен самостоятельно различать контент, только для определенной ниши».
Кстати, об опыте мировых IT-компаний. Во время работы над этим проектом команда EPAM пришла к тому, что уже давно практикуют мировые корпорации, – требования к открытому коду. Так как изменения на проекте возникали очень часто и постоянно подключались новые инженеры, код просто должен быть гибким. Поэтому проводились постоянные проверки его читаемости или, как говорят, meaty (мясистости).
Изначально задачей команды было «поразить, удивить и завоевать доверие заказчика». Однако в процессе работы над решением стартовая концепция улучшилась до такой степени, что получился универсальный продукт, который после определенной доработки можно предлагать многим компаниям, бизнес которых связан с видеоконтентом.
Над статьей работали: Дарья Прокопович, Ольга Нечаева
Все началось с того, что основным источником прибыли для американских стриминговых компаний и ТВ-каналов стала монетизация контента с помощью рекламы. Владельцы ТВ-каналов разрешали заменять провайдерам определенную часть рекламы и показывать там рекламу их клиентов. Однако, если рекламные блоки наслаивались друг на друга, то рекламодатели оставляли негативные отзывы. В итоге, реклама на канале отключалась, а доход терялся.
Для решения этой проблемы использовались разные подходы. Свой подход был и у одного из крупных поставщиков видеоконтента в США, который начал работать с EPAM. Однако его точность не превышала шестидесяти процентов. Это значит, что в сорока процентах случаев рекламные ролики перекрывали друг друга, что могло привести к полному отключению рекламы на этих ТВ-каналах.
По словам менеджера проекта Влада Байовского, «как только проект стартовал, инженер Леша Дружинин столкнулся с этой проблемой, и у него возникла идея. Заключалась она в том, чтобы создать продукт, который будет определять начало и конец рекламных блоков. Скажу честно, сначала я был настроен скептически, так как решение было технически сложным, то есть предполагало использование нейронных сетей и машинного обучения. И на тот момент у нас не было соответствующей экспертизы в этих областях.
В целом, все ребята, которые успели принять участие в этом проекте, опробовали разные типы нейронных сетей и разные алгоритмы, связали и синхронизировали разные компоненты. Несмотря на то, что идея родилась в Калифорнии, нам удалось задействовать 70 инженеров из абсолютно разных локаций EPAМ.
В итоге у нас получился отличный продукт, который теперь не только определяет смену рекламы, но является универсальным решением для любых задач, связанных с определением смены видеоконтента, включая потенциальное решение для видео поиска. Иными словами, его область применения не ограничивается лишь рекламой — это могут быть, например, и ТВ-шоу, у которого меняются рубрики, и данные с видеокамер или оцифрованные старые фильмы, у которых нет метаданных о содержании видеоряда».
Леша Дружинин, Senior Software Engineer:
«Если бы мы не делали проект, а ставили пьесу, то у нас получилась бы очень хорошая пьеса! У нее постоянно меняются жанры, происходит кардинальная и частая смена действий, есть интрига. Сначала мы пытались решить задачу простым способом, без нейронных сетей, но ничего не получилось. Нам пришлось полностью разобраться с устройством большинства видов нейронных сетей и с нуля обучить их выполнять определенные задачи. Чтобы было понятно – существует множество архитектур нейронных сетей, но нас интересовали те из них, которые обрабатывают визуальную информацию.
Со временем мы заметили, что наш проект стал чемпионом в компании по использованию нейронных сетей: у нас их было более пяти видов. Сейчас мы остановились на двух. Они анализируют каждый кадр и каждый кусочек звука. Когда происходит кардинальная цветовая смена кадров либо тональности звука, сети на это реагируют, предсказывая конец рекламы и затем переход между рекламными блоками. Пока та сеть, которая определяет переход между роликами, точнее той, которая предсказывает конец ролика.
Каждая из них получает свою копию нарезанных кадров и звуков, однако вместе они обеспечивают 90-процентную точность результата. Мы запустили это решение на реальных каналах, и оно работает. Нам удалось создать бота, который умеет смотреть телевизор. Образно говоря, если после этого проекта к нам придут клиенты с просьбой “А сделайте-ка нам улучшенный Smart TV”, то мы уже готовы к таким задачам. Наше решение — это и есть маленький Smart TV, который уже способен самостоятельно различать контент, только для определенной ниши».
Кстати, об опыте мировых IT-компаний. Во время работы над этим проектом команда EPAM пришла к тому, что уже давно практикуют мировые корпорации, – требования к открытому коду. Так как изменения на проекте возникали очень часто и постоянно подключались новые инженеры, код просто должен быть гибким. Поэтому проводились постоянные проверки его читаемости или, как говорят, meaty (мясистости).
Изначально задачей команды было «поразить, удивить и завоевать доверие заказчика». Однако в процессе работы над решением стартовая концепция улучшилась до такой степени, что получился универсальный продукт, который после определенной доработки можно предлагать многим компаниям, бизнес которых связан с видеоконтентом.
Над статьей работали: Дарья Прокопович, Ольга Нечаева
barbanel
Ага, так вот где эти ребята!
По глупости приобрел себе новый «умный телевизор».
Уже через месяц эта паскуда засунула неотключаемый рекламный блок в то место меню, которым я пользуюсь больше всего.
Браво, мерзавцы!
wxmaper
Это случайно не самсунг? А то они и в смарфонах вставляют рекламу в свои приложения, а без этих приложений фукциональность телефона снижается. В частности я говорю про samsung pay и bixby. Даже писал жалобу в техподдержку, что меня не устраивают рекламные блоки на пол экрана в приложениях, которыми пользуюсь повседневно в местах скопления людей, которые тоже наблюдают яркие рекламные баннеры в экране моего аппарата. Но мне вежливо сообщили, что рекламу нельзя отключить ни сейчас, ни в дальнейшем. И с каждым очередным обновлением прилетает пачка новых баннеров.
Уже сто раз пожалел, что приобрел себе смартфон самсунга. Но теперь я на 100% уверен, что НИКОГДА не куплю ни себе, ни своим родственникам их продукцию.
barbanel
Баннер болтается в меню выбора источников сигнала — там его имхо быть ну никак не должно!!!
wxmaper
Какое совпадение. Совсем уже, простите, зажрались.
Это же сколько неуважения к клиентам нужно иметь, чтобы так нагло втюхивать рекламу.
Mylistryx
Эти конченные еще засрали всю память на новом смарт.тв неудаляемыми приложениями. Можно доставить еще что то одно, типа яндекса, мегабай на 15-20. Нахрена мне их иви и прочие мегого если я ими не пользовался и не собираюсь?
barbanel
del.
промахнулся веткой.
rostislav-zp
в домашней сети проблему рекламы на всех устррйствах решил установкой на старый ноутбук -pi-hole. Для мобильных устройств-vpn+pihole.бонусом сразу видно когда и какое устройство куда обращалось. Все банеры исчезли. Жаль рекламу на YouTube не удалось побороть.