На конференции по продуктовому маркетингу Epic Growth Conference Head of Mobile Hotels в Aviasales Константин Савченко рассказал про эксперименты и примеры использования технологий искусственного интеллекта в Aviasales.
Смотрите видео или читайте заметки под катом.
Многие решения в Aviasales, которые связаны с технологиями искусственного интеллекта, выросли из хакатонов. И большинство этих решений с первой же версии дают ощутимый рост и хорошие результаты для бизнеса, например, увеличение конверсии или сокращение затрат.
Чтобы использовать технологии искусственного интеллекта, вовсе необязательно быть в этом профи. Секрет здесь простой: большие корпорации уже сделали всё за вас. И выложили, например, готовые решения на GitHub, где вы можете найти нейросети и умные библиотеки.
Чтобы вдохновить вас попробовать создать решения, основанные на искусственном интеллекте, Константин Савченко собрал семь примеров, как в Aviasales используют эти технологии.
Порядок партнеров в билете — простой пример, но когда-то он очень помог начать разбираться в том, что такое машинное обучение. Это билет, который вы находите на Aviasales. К конкретному билету разные партнёры предоставляют свои цены.
Зачастую цены от разных партнеров одинаковые. Нам необходимо выбрать, кого из партнеров поставить на большую оранжевую кнопку «Купить», которую нажимает большинство пользователей. Конечно, в первую очередь мы ставим самую низкую цену, только так это работает. Но если низких цен несколько от разных партнёров и они одинаковые, нам необходимо выбрать лучшую.
В этом случае мы ориентируемся на два параметра. Первое — это конверсия из нажатия кнопки «купить» в покупку. И второе — комиссия, которую нам платит конкретный партнер. По каждому составляется табличка (смотреть скрин ниже), которая помогает на первое место определить партнёра с максимальной эффективностью.
Все наши партнёры хотят улучшать свои воронки, поэтому проводят множество экспериментов, и конверсия периодически меняется. За этим важно следить и это тот момент, который можно автоматизировать.
Предположим, что в 5% случаев вы ставите на кнопку «купить» не партнера с самой лучшей ценой, а начинаете прогонять всех остальных партнёров, чтобы выявить, какая у них сейчас конверсия. Вы обновляете эту табличку, пересчитываете продуктивность — и, таким образом, следующий пользователь уже видит новый порядок партнёров. Ваша система обучается на данных, которые она получает от партнёров, и выбирает лучшее решение. Это уже можно назвать машинным обучением.
#2 Сортировка отелей
Если с билетами всё достаточно просто: можно отсортировать их по цене и поставить в начало самый дешёвый, то с отелями этот приём не пройдёт.
Если мы покажем самый дешёвый отель, скорее всего, это будет хостел на окраине и вряд ли он кому-то понравится. Можно начать делать то же самое, что и с билетами: показывать по очереди все отели, смотреть, какая у них конверсия и выбирать лучшие. Но у нас 4 млн отелей. Я боюсь, что до итогов этого теста никто из нас не доживет. Поэтому мы прибегаем к помощи технологий искусственного интеллекта.
Здесь также есть готовое решение. В этом случае «умная» библиотека, которую сделали ребята из «Яндекса», создана как раз для тех, кто ещё не разбирается в искусственном интеллекте. У отелей есть большое количество характеристик, на основе которых пользователь делает свой выбор: цена, рейтинг, отзывы и так далее. На входе вы отдаёте библиотеке параметры отеля; получается передавать конверсии из показа отеля в покупку.
Что делает эта библиотека? Она пытается на основе этих данных предугадать, какая конверсия будет у похожих отелей. На выходе вы получаете прогноз конверсий, который можно использовать как сортировку.
В этом эксперименте у нас вырос средний чек +17%. Этот алгоритм начал показывать более дорогие отели выше остальных — и тем самым люди стали покупать более дорогие отели.
Другие показатели и все, что касается конверсии, — заметно выросло: конверсия в продажу +6%, доход +19%.
#3 Анализ фотографий
Партнёры предоставляют нам много фотографий для каждого отеля. Но мы не знаем, что на них изображено. Нам нужен AI, чтобы знать, какого они качества и в каком порядке их нужно показывать. Среди фотографий есть и такие:
Этот знаменитый фен попал как-то в топовую выдачу по Москве. Это была одна из причин, почему мы решили в этом разобраться.
Есть огромное количество библиотек; мы нашли подходящую, которая пытается определить местоположение, изображенное на фотографии.
Мы прогнали все наши фотографии через эту библиотеку (можно назвать её обученной нейронной сетью) и получили результат — примерную разбивку того, что видит библиотека на фотографии.
Нам важно было понять, на улице это или внутри. Если на улице, то нас интересовал прежде всего бассейн. Внутри — кровати, туалеты, холл.
Дальше мы решили, что пользователям интересно увидеть в первую очередь номер отеля. Что такое номер? Это когда на фотографии крупно изображена кровать. С этим справиться было не очень сложно. Начали отсматривать вручную, что получилось: выглядело всё круто, но на курортные направления (особенно для массового туризма) фотографии кроватей выглядели плохо. Это была очень скудная кровать в очень скудном номере.
Мы проанализировали, что же делают в таком случае наши партнёры и конкуренты. А они показывают фотографии бассейна, потому что бассейн в таких отелях всегда красивый. Мы стали ставить вперед именно те отели, у которых есть красивая фотография бассейна.
Запустив такую выдачу, мы не только избавились от ручного труда (раньше мы нанимали людей на фрилансе, которые руками отбирали фотографии отелей в топовых городах), но и подняли конверсию +12%, которая выросла в основном за счёт пляжных локаций в эксперименте с бассейном.
#4 Анализ отзывов
Эстетичность фотографий и стиль интерьера — это то, с чем ещё можно работать, как мы считали. Зачастую очень похожие по характеристикам отели выполнены в совершенно разном стиле. Узнать о том, где какой интерьер — можно не только по фотографиям, но и по отзывам.
Пользователи часто пишут о том, как им нравится интерьер. Я мало встречал отзывов, например: «Здесь потрясающий номер, как у моей бабушки». Но про какие-то современные и стильные отели обычно пользователи пишут. Пишут про расположение, близость достопримечательностей или вид из окна.
Когда пользователи ищут отель, они сначала отсеивают все, что им не подходит, оставляя в фаворитах несколько опций. И следующий шаг, который влияет на выбор, — это просмотр отзывов. Отзывов часто бывает слишком много. Мы подумали, что было бы круто прочитать выжимку, то есть самое главное. С этой идеи и начали.
Привлекли наших партнёров, которые специализируются на анализе отзывов. Вместе с ними мы вытащили из отзывов самое главное и собрали определённый набор бейджев, которые мы разместили на отели.
Мы очень хотели запустить эту фичу, очень сильно о ней мечтали. Но оказалось, что людям всё равно. Мы вешали красивые бейджики на отели, которые раскрывали главное преимущество отеля. Но это никак не сказалось на конверсии и на цифрах.
#5 Предсказание цен на билеты
За все время работы в Aviasales у нас накопилось огромное количество данных. И наша гипотеза заключалась в том, что существует взаимосвязь между тем, как меняется цена на билеты в зависимости от того, сколько времени осталось до вылета или в какой день этот вылет.
Это тоже был один из наших хакатон-проектов, где ребята разработали решение, которое достаточно быстро стало давать крутые результаты.
Благодаря этому решению мы стали в том числе экономить на данных, стали заполнять в календаре цен те места, те цены и даты, на которые у нас не было реальных данных.
Это работает с потрясающей точностью: ошибается только на 10% цены, что кажется хорошим показателем для решения, сделанного на коленке.
Что ещё интересного с предсказаниями? Люди зачастую решают, стоит ли ждать понижение цен на билет или всё-таки стоит покупать сейчас. Таким образом, мы стали делать подсказки для пользователей «покупай сейчас» или «подожди». Обычно цены на билеты только растут, поэтому в 90% случаев мы говорим: «Покупай сейчас». Доверие пользователей здесь было минимальным.
Ниже представлен макет того, что мы планируем сделать. Мы будем показывать графики, как будет меняться цена по нашим прогнозам. Рассчитываем получить от этого больше доверия пользователей.
#6 Предсказание отмен отелей
Большинство пользователей покупают невозвратные авиабилеты и тот факт, что пользователь купил билет, можно считать финальной сделкой.
В случае с отелями по-другому; доля возвратов высокая и нам важно планировать, сколько денег мы здесь заработаем. Поэтому на основе того, сколько времени осталось до брони и на основе прошлых действий пользователей мы стараемся предсказывать, какой будет процент и цена отмены. Это помогает в планировании.
#7 Оценка качества трафика
Чаще всего люди путешествуют два раза в год. Поэтому, когда они устанавливают приложение, совершенно не факт (и это нормально), что они не купят билеты сейчас. Но всё равно важно оценивать, насколько это хороший источник трафика. Мы пытаемся по первым действиям пользователя предугадать, какая вероятность того, что он совершит покупку.
Хочу обратить ваше внимание на первые три пункта. Благодаря этим пунктам, мне кажется, мы узнали, что внедрять технологии искусственного интеллекта достаточно просто. Я рекомендую взять вашего разработчика и потратить один день на исследования.
Если у вас есть какая-то задача, которую, вам кажется, можно было бы автоматизировать. Есть огромная вероятность, что то, что вам нужно сделать, уже сделано до вас, применить это к себе не займёт много времени.
Больше докладов по продуктовому маркетингу — в Telegram-канале @epicgrowth.
Расшифровка выступления опубликована на vc.ru.
Смотрите видео или читайте заметки под катом.
Многие решения в Aviasales, которые связаны с технологиями искусственного интеллекта, выросли из хакатонов. И большинство этих решений с первой же версии дают ощутимый рост и хорошие результаты для бизнеса, например, увеличение конверсии или сокращение затрат.
Чтобы использовать технологии искусственного интеллекта, вовсе необязательно быть в этом профи. Секрет здесь простой: большие корпорации уже сделали всё за вас. И выложили, например, готовые решения на GitHub, где вы можете найти нейросети и умные библиотеки.
Чтобы вдохновить вас попробовать создать решения, основанные на искусственном интеллекте, Константин Савченко собрал семь примеров, как в Aviasales используют эти технологии.
#1 Порядок партнёров в билете
Порядок партнеров в билете — простой пример, но когда-то он очень помог начать разбираться в том, что такое машинное обучение. Это билет, который вы находите на Aviasales. К конкретному билету разные партнёры предоставляют свои цены.
Зачастую цены от разных партнеров одинаковые. Нам необходимо выбрать, кого из партнеров поставить на большую оранжевую кнопку «Купить», которую нажимает большинство пользователей. Конечно, в первую очередь мы ставим самую низкую цену, только так это работает. Но если низких цен несколько от разных партнёров и они одинаковые, нам необходимо выбрать лучшую.
В этом случае мы ориентируемся на два параметра. Первое — это конверсия из нажатия кнопки «купить» в покупку. И второе — комиссия, которую нам платит конкретный партнер. По каждому составляется табличка (смотреть скрин ниже), которая помогает на первое место определить партнёра с максимальной эффективностью.
Все наши партнёры хотят улучшать свои воронки, поэтому проводят множество экспериментов, и конверсия периодически меняется. За этим важно следить и это тот момент, который можно автоматизировать.
Предположим, что в 5% случаев вы ставите на кнопку «купить» не партнера с самой лучшей ценой, а начинаете прогонять всех остальных партнёров, чтобы выявить, какая у них сейчас конверсия. Вы обновляете эту табличку, пересчитываете продуктивность — и, таким образом, следующий пользователь уже видит новый порядок партнёров. Ваша система обучается на данных, которые она получает от партнёров, и выбирает лучшее решение. Это уже можно назвать машинным обучением.
#2 Сортировка отелей
Если с билетами всё достаточно просто: можно отсортировать их по цене и поставить в начало самый дешёвый, то с отелями этот приём не пройдёт.
Если мы покажем самый дешёвый отель, скорее всего, это будет хостел на окраине и вряд ли он кому-то понравится. Можно начать делать то же самое, что и с билетами: показывать по очереди все отели, смотреть, какая у них конверсия и выбирать лучшие. Но у нас 4 млн отелей. Я боюсь, что до итогов этого теста никто из нас не доживет. Поэтому мы прибегаем к помощи технологий искусственного интеллекта.
Здесь также есть готовое решение. В этом случае «умная» библиотека, которую сделали ребята из «Яндекса», создана как раз для тех, кто ещё не разбирается в искусственном интеллекте. У отелей есть большое количество характеристик, на основе которых пользователь делает свой выбор: цена, рейтинг, отзывы и так далее. На входе вы отдаёте библиотеке параметры отеля; получается передавать конверсии из показа отеля в покупку.
Что делает эта библиотека? Она пытается на основе этих данных предугадать, какая конверсия будет у похожих отелей. На выходе вы получаете прогноз конверсий, который можно использовать как сортировку.
В этом эксперименте у нас вырос средний чек +17%. Этот алгоритм начал показывать более дорогие отели выше остальных — и тем самым люди стали покупать более дорогие отели.
Другие показатели и все, что касается конверсии, — заметно выросло: конверсия в продажу +6%, доход +19%.
#3 Анализ фотографий
Партнёры предоставляют нам много фотографий для каждого отеля. Но мы не знаем, что на них изображено. Нам нужен AI, чтобы знать, какого они качества и в каком порядке их нужно показывать. Среди фотографий есть и такие:
Этот знаменитый фен попал как-то в топовую выдачу по Москве. Это была одна из причин, почему мы решили в этом разобраться.
Есть огромное количество библиотек; мы нашли подходящую, которая пытается определить местоположение, изображенное на фотографии.
Мы прогнали все наши фотографии через эту библиотеку (можно назвать её обученной нейронной сетью) и получили результат — примерную разбивку того, что видит библиотека на фотографии.
Нам важно было понять, на улице это или внутри. Если на улице, то нас интересовал прежде всего бассейн. Внутри — кровати, туалеты, холл.
Дальше мы решили, что пользователям интересно увидеть в первую очередь номер отеля. Что такое номер? Это когда на фотографии крупно изображена кровать. С этим справиться было не очень сложно. Начали отсматривать вручную, что получилось: выглядело всё круто, но на курортные направления (особенно для массового туризма) фотографии кроватей выглядели плохо. Это была очень скудная кровать в очень скудном номере.
Мы проанализировали, что же делают в таком случае наши партнёры и конкуренты. А они показывают фотографии бассейна, потому что бассейн в таких отелях всегда красивый. Мы стали ставить вперед именно те отели, у которых есть красивая фотография бассейна.
Запустив такую выдачу, мы не только избавились от ручного труда (раньше мы нанимали людей на фрилансе, которые руками отбирали фотографии отелей в топовых городах), но и подняли конверсию +12%, которая выросла в основном за счёт пляжных локаций в эксперименте с бассейном.
#4 Анализ отзывов
Эстетичность фотографий и стиль интерьера — это то, с чем ещё можно работать, как мы считали. Зачастую очень похожие по характеристикам отели выполнены в совершенно разном стиле. Узнать о том, где какой интерьер — можно не только по фотографиям, но и по отзывам.
Пользователи часто пишут о том, как им нравится интерьер. Я мало встречал отзывов, например: «Здесь потрясающий номер, как у моей бабушки». Но про какие-то современные и стильные отели обычно пользователи пишут. Пишут про расположение, близость достопримечательностей или вид из окна.
Когда пользователи ищут отель, они сначала отсеивают все, что им не подходит, оставляя в фаворитах несколько опций. И следующий шаг, который влияет на выбор, — это просмотр отзывов. Отзывов часто бывает слишком много. Мы подумали, что было бы круто прочитать выжимку, то есть самое главное. С этой идеи и начали.
Привлекли наших партнёров, которые специализируются на анализе отзывов. Вместе с ними мы вытащили из отзывов самое главное и собрали определённый набор бейджев, которые мы разместили на отели.
Мы очень хотели запустить эту фичу, очень сильно о ней мечтали. Но оказалось, что людям всё равно. Мы вешали красивые бейджики на отели, которые раскрывали главное преимущество отеля. Но это никак не сказалось на конверсии и на цифрах.
#5 Предсказание цен на билеты
За все время работы в Aviasales у нас накопилось огромное количество данных. И наша гипотеза заключалась в том, что существует взаимосвязь между тем, как меняется цена на билеты в зависимости от того, сколько времени осталось до вылета или в какой день этот вылет.
Это тоже был один из наших хакатон-проектов, где ребята разработали решение, которое достаточно быстро стало давать крутые результаты.
Благодаря этому решению мы стали в том числе экономить на данных, стали заполнять в календаре цен те места, те цены и даты, на которые у нас не было реальных данных.
Это работает с потрясающей точностью: ошибается только на 10% цены, что кажется хорошим показателем для решения, сделанного на коленке.
Что ещё интересного с предсказаниями? Люди зачастую решают, стоит ли ждать понижение цен на билет или всё-таки стоит покупать сейчас. Таким образом, мы стали делать подсказки для пользователей «покупай сейчас» или «подожди». Обычно цены на билеты только растут, поэтому в 90% случаев мы говорим: «Покупай сейчас». Доверие пользователей здесь было минимальным.
Ниже представлен макет того, что мы планируем сделать. Мы будем показывать графики, как будет меняться цена по нашим прогнозам. Рассчитываем получить от этого больше доверия пользователей.
#6 Предсказание отмен отелей
Большинство пользователей покупают невозвратные авиабилеты и тот факт, что пользователь купил билет, можно считать финальной сделкой.
В случае с отелями по-другому; доля возвратов высокая и нам важно планировать, сколько денег мы здесь заработаем. Поэтому на основе того, сколько времени осталось до брони и на основе прошлых действий пользователей мы стараемся предсказывать, какой будет процент и цена отмены. Это помогает в планировании.
#7 Оценка качества трафика
Чаще всего люди путешествуют два раза в год. Поэтому, когда они устанавливают приложение, совершенно не факт (и это нормально), что они не купят билеты сейчас. Но всё равно важно оценивать, насколько это хороший источник трафика. Мы пытаемся по первым действиям пользователя предугадать, какая вероятность того, что он совершит покупку.
Семь примеров
- сортировка партнёров;
- сортировка отелей;
- анализ фотографий;
- анализ отзывов;
- предсказание цен;
- предсказание отмен;
- оценка трафика.
Хочу обратить ваше внимание на первые три пункта. Благодаря этим пунктам, мне кажется, мы узнали, что внедрять технологии искусственного интеллекта достаточно просто. Я рекомендую взять вашего разработчика и потратить один день на исследования.
Если у вас есть какая-то задача, которую, вам кажется, можно было бы автоматизировать. Есть огромная вероятность, что то, что вам нужно сделать, уже сделано до вас, применить это к себе не займёт много времени.
Больше докладов по продуктовому маркетингу — в Telegram-канале @epicgrowth.
Расшифровка выступления опубликована на vc.ru.