CEO Rick.ai Илья Красинский ответил на вопросы, с которыми сталкиваются продакт-менеджеры, в формате Q&A сессии на Epic Growth Conference.



Смотрите расшифровку под катом.

Какая эффективная методика оценки перспективности фичи?

Любая фича всегда понижает метрики. Мы автоматизируем тот или иной сценарий поведения человека. Если процент людей, который понял выгоду фичи и ею воспользовался, практически равен нулю, то и ценность фичи будет минимальная.

Существуют минусы после запуска новой фичи в продукте: растёт код базы, появляются новые баги и дефекты, пользователям сложнее даётся первая сессия и сложнее происходит активация.

Есть методика оценки. Вы берёте поток пользователей, которые будут использовать данную фичу. Так вы сможете оценить, насколько изменится конверсия и доход с платного пользователя. Далее сможете просчитать, какой поток денег новая фича вам может принести.

В какой момент надо сказать «enough is enough»? Или нужно прыгать и пытаться, пока отсутствие финансов не остановит мой стартап?

Очень часто развитие компании тормозит отсутствие финансирования. В этом случае бизнес становится для вас не активом, а чемоданом без ручки, который бросить жалко, но и тащить тяжело.

Соответственно, в этой ситуации выжимайте максимум, пока не пристрелите эту «дохлую лошадь», потому что в следующий раз вам потребуется от двух до пяти лет, чтобы приблизиться к вашей текущей точке развития. Определите, какие навыки и опыт вы можете себе еще привести и не бойтесь избавиться от балласта.

Когда, по вашему мнению, более 50% компаний (хотя бы ИТ), перейдёт на роботизированную аналитику по аналогии с Rick.ai? Какие основные барьеры на текущий момент?

Главные проблемы текущей аналитики:

В большом числе компаний уже есть подразделение Big Data. В подавляющем большинстве эти подразделения занимаются хранением данных, в меньшем — составлением алгоритмов. Между топ-менеджментом, продакт-менеджерами и аналитиками data science обычно существует технологический разрыв. Бизнес-ребята часто не понимают, какой вопрос задать аналитику.
В основном эти данные не консистентны, то есть в них уже на этапе сбора заложены погрешности.

Аналитика очень хрупкая, её очень легко сломать. Соответственно, ключевой вопрос — есть ли у вас встроенная система мониторинга роботизированной аналитики.

Основной барьер перехода к роботизированной аналитике — данные не аккумулируются в используемые вами системы и, соответственно, дают неправильные цифры. Поэтому любые выводы и управленческие решения тоже будут враньём.

Пока эта проблема не решится на уровне интеграции и потока данных, наверное, все будут пилить свою «Звезду Смерти», веря, что она работает. Я напилил в своей жизни уже пять таких систем, и каждый раз разработчики находили в них баги и дефекты.

Мой совет: дублируйте данные, чтобы у вас были разные системы аналитики и чтобы вы могли сверять цифры друг с другом. Одна система — это очень ненадежная вещь, ошибки очень легко случаются.

Какие перспективы ML в предиктивной аналитике?

Нужно различать два типа машинного обучения:

1. Составленный на языке программирования Python.
2. Составленный с помощью презентации PowerPoint.

Последний тип гораздо больше используется. Но, к сожалению, на практике очень плохо реализуется. Эти презентации плохо переходят в работающий продукт. Соответственно, основная проблема машинного обучения в том, что люди видят чёрный ящик на выходе.

Я верю, что такие потоки информации человек уже давно не может обрабатывать. Я вижу то, к чему мы все идём таким образом: либо будут чёрные ящики, наподобие моделей атрибуции, которые делает Google, либо какая-то система, которая будет анализировать данные и объяснять человеку, как она проанализировала, что находится в этом срезе (компания, домен, конверсия).

Насколько вероятно появление инструментов, позволяющих тестировать гипотезы до внедрения изменений в продукте?

Они у вас уже есть: «Google таблицы» или Excel.

Большая часть гипотез не может поменять ни одну метрику, не может ничего хорошего сделать пользователю, их надо отстреливать. И из 50 гипотез, если вы оставите семь, у вас есть шанс на успех.

В 2019 году понятно, что человек все ещё считает хуже, чем калькулятор. Но кажется, что человек умеет придумывать нестандартные идеи.

Какие вопросы задать продакту на собеседовании?

Самый простой способ: поговорите с десятью профессионалами отрасли в формате нетворкинга на конференции. Вы получите список из пятидесяти вопросов. Оставьте те вопросы, которые вам нравятся, и вы получите какой-то фреймворк.

Как это у нас в команде:

— У человека должен быть высокий уровень энергии. Если человек с низким уровнем энергии, то вся команда будет токсична.

— Человек должен быть системным и с опытом рефлексии. Развивать навык системности выходит очень дорого и затратно по времени. Проверяется достаточно просто: задайте вопрос человеку про его предыдущий опыт работы, в том числе про негативный, и какой вывод он сделал из этого опыта.

Примерно 50% людей говорят: «Спасибо, отличный вопрос! Пойду подумаю». Это значит, что за последний год, когда эта ситуация произошла, они эту работу не сделали. Такой привычки у них нет.

— Человек не должен бояться. В ходе работы надо принимать большое количество решений, скорее всего, продакт будет ошибаться. Важно, чтобы он не боялся этого делать.

Как измерить инкрементальный эффект от ретаргетинга?

Триггерный анализ. Вы берёте сегмент пользователей, смотрите все сессии пользователя и цепочку событий. Делите людей на две группы: те, кто попал в ретаргетинг, и те, кто не попал.

На практике надо понимать, что у нас никогда не стоит задача сверхточно что-то измерять. Часто это просто бессмысленно. Если ваши инвестиции в ретаргетинг меньше того объёма работ, которые я только что описал, то сама работа по анализу ретаргетинга будет дороже, чем просто его делать.

Вам нужна точная модель атрибуции. Сверимся с понятиями: не надо точно атрибуцировать тот или иной доход в какую-нибудь рекламную кампанию. У нас всего лишь четыре управленческих решения:

• отключить процесс, не сходиться совсем; мы слишком много тратим, почти ничего не получаем;
• можно чуть-чуть доработать;
• не трогать;
• усиливать.

За что бы вы уволили продакта?

— Если его модель мира сильно не соответствует реальности.
— Если его гипотезы слабые и плохо коррелируют с нашими пользователями.
— Если не любит общаться с пользователями.
— Если не любит делать коридорчики, кастдевы.
— Если не проверяет свои гипотезы.
— Если использует неактуальный набор инструментов.
— Это означает, что он будет сильно ошибаться в выводах, не хочет учиться делать правильно и просто не следит за последними фреймворками, которые происходят в индустрии, а значит подотстал.

Проводишь эксперименты, 95% неудач, успехов мало, постоянно тлен и боль в голове. Как быть?

Обострение случается в конце года. Под конец года люди вспоминают цель, которые они себе поставили.

Смысл такой — надо уметь проигрывать. Нужно повторить себе: было много экспериментов, значит я просто что-то не учёл и не понял. Поменяли юнит-экономику, поменяли подход, конверсию подняли, но это не значит, что у проекта всё будет хорошо.

Поощряйте поддержку и заботу внутри команды. Один из навыков, который я сейчас в себе развиваю: как объяснить продакт-менеджеру, дизайнеру, маркетологу, аналитику, что они сделали всё неправильно, но при этом, чтобы у них не опустились руки и они на следующий день вышли на работу со словами: «Ок, седьмой раз всё переделаем, и у нас получится».

Самые крутые продуктовые команды России?

Я считаю, что их достаточно много. Например, Ultimate Guitar, Skyeng, RealtimeBoard. За успехом таких компаний стоят не только первые лица, которые у всех на виду, но и исполнители, которые каждый день проделывают колоссальную работу.

С ними круто дружить. Это просто бесплатный поезд, на котором вы получаете новые идеи, книжки и фреймворки. Поэтому окружить себя таким списком людей, мне кажется, — одна из важных задач.

Больше практик по узкопрофильным продуктовым навыкам на Epic Workshop Day.