Привет, Хабр!

Я снова про своего Telegram-бота для дисциплины. Каждая моя статья тут приводила в него новых людей. После последней за один день пришли 60 человек. Я тогда подумал: ну всё, полетело.

Спойлер: не полетело.

Сейчас в базе 299 аккаунтов вместе с моим. В аналитическом срезе 298. За последние семь дней ботом пользовались 11 человек. Средний DAU за месяц 7. Реферальная программа за всё время привела трёх человек.

Трёх пользователей, Карл. Не процентов.

Product-market fit я не нашёл. Но и мёртвым проект назвать не могу: небольшая группа людей возвращается месяцами, хотя до недавнего времени бот почти не развивался и никак не продвигался.

В общем, получилось что-то среднее между «ну всё, закрываем» и «срочно масштабируем». Про него и расскажу.

Сразу для контекста:

• я продакт с семилетним стажем, в основном в b2b и b2b2c;

• это мой первый самостоятельный b2c-проект;

• код пишу с ИИ, сам здесь продакт, разраб, тестер, девопс и маркетолог;

• да, я знаю про retention, когорты, JTBD и прочие взрослые слова;

• нет, знание этих слов не спасло меня от довольно банальных ошибок.

На своём проекте внутренний продакт иногда куда-то выходит. Видимо, кофе попить.

Четыре статьи дали четыре притока

На Хабре у меня вышло четыре статьи про бота. После каждой был заметный приток.

Нормальной атрибуции тогда ещё не было, поэтому не буду делать вид, что могу доказать источник каждой регистрации. Но даты выглядят убедительно. В таблице регистрации за первые семь дней, включая день публикации.

Самая просматриваемая статья не дала самый большой приток. Лучше всего сработала статья не про Python, архитектуру или тесты, а про саму идею: результаты без самоистязания.

Людей цепляло обещание продукта. Ну а дальше я перепутал интерес к обещанию с ценностью самого продукта.

Воронка: половина не дошла до первой отметки

Раньше аналитика жила прямо в продовой SQLite. Я мог быстро посмотреть количество пользователей, отметок или команд. Получить нормальную воронку было сложнее, поэтому я смотрел на то, что было удобно смотреть.

Очень продуктовый подход, пхах!!)

В итоге сделал отдельный обезличенный экспорт. В нём нет Telegram ID, имён, username, названий фокусов и текстов причин. Только случайные ключи, даты, статусы и агрегаты. Одна команда, и базу можно спокойно разбирать локально.

Вот что там оказалось:

Вот тут стало неприятно ?.

Половина зарегистрировавшихся не сделала вообще ни одной отметки. До момента, когда бот мог принести хоть какую-то пользу, они просто не дошли.

А я в это время добавлял тотемных животных, квесты, стили общения, рефералку и начинал Android-приложение.

То есть первый этаж ещё без окон (ало!), зато я уже выбираю цвет штор на втором.

В прошлой статье я писал про DAU 15-19% и онбординг около 95%. Я эти цифры не придумал. На том срезе и при тех определениях они действительно получались. Но вывод из них сделал слишком приятный.

Регистрацию почти считал пользователем. Активность свежей когорты воспринимал как удержание. Прохождение отдельных шагов называл онбордингом. Метрика была настоящая. Смысл я ей назначил удобный.

На работе я именно за такое задаю неприятные вопросы. А тут проект свой, идея нравится, отзывы тёплые. Внутренний скептик как-то быстро успокоился.

Поворот, из-за которого я не закрыл проект

На этом месте логично сказать: гипотеза не подтвердилась, расходимся.

Но я отдельно посмотрел на когорту после статьи 19 марта. В неё попали 90 человек.

Восемь из девяноста. Не успех в продуктовой презентации, конечно.

Но эти восемь составляют почти половину всей месячной аудитории бота. Они пришли из одной статьи и продолжали возвращаться спустя несколько месяцев.

Значит, всплеск 19 марта не был только любопытством. Большинство ушло, но для небольшой группы продукт зачем-то встроился в жизнь.

Вот это «зачем-то» теперь интересует меня сильнее количества регистраций.

Обратная связь улучшала бота, но не объясняла его ценность

Сначала я сформулировал это так: обратной связи почти не было. Потом перечитал и понял, что это неправда.

Обратной связи было много. Люди писали, что бот ощущается человечным. Хвалили тексты, отсутствие давления, отдельные фичи, стикеры, сделанные под этот проект. Сообщали про неудобные кнопки, непонятные экраны и баги. Всё это реально помогало делать продукт качественнее.

НО! почти все отзывы были про атрибуты бота. Про то, какой он. Не про то, что он изменил.

Я спрашивал прямо: стало ли хоть что-то в жизни немного иначе? Получилось ли вернуться к тому, что раньше постоянно откладывалось? Стало ли проще переживать пропуск? Помог ли бот удержать что-то важное?

И вот тут обычно была тишина. Варианта два, и оба честные.

Первый: бот не даёт достаточно пользы, поэтому рассказывать просто не о чем.

Второй: тема слишком личная. Написать разработчику «эта кнопка неудобная» легко. Рассказывать незнакомому человеку про отношения с собой, обещания, провалы и чувство вины намного сложнее.

Вполне может быть, что объяснять ничего не хочется, а пользоваться ботом хочется продолжать.

И как тут развивать продукт?

Метрики отвечают на вопрос «что произошло», но не объясняют почему. Интервью могут объяснить почему, но люди не обязаны превращать личный опыт в исследование для моего пет-проекта. Ещё один призыв «дайте обратную связь, пожалуйста» эту проблему не решит. Я уже пробовал.

Само продолжение использования тоже обратная связь. Возможно, даже честнее комплимента. Но восемь человек показывают только место, где стоит копать. Они не объясняют, что именно строить дальше.

Поэтому вместо ещё одной красивой истории мне понадобился проверяемый эксперимент.

ИИ ускорил разработку. И неправильные приоритеты тоже

ИИ сильно снизил для меня стоимость новой фичи. То, что раньше не стал бы делать из-за трудозатрат, теперь можно собрать за вечер.

Звучит как сплошной плюс. Но если идёшь не туда, ИИ ускоряет и это.

Приоритеты выбирал я, конечно. И выбрал знакомую ловушку: когда непонятна главная ценность, очень приятно улучшать всё вокруг неё.

Сами фичи не были бесполезными. Тотемы нравились. День отдыха появился из реального запроса. Вариативные тексты сделали бота живее. Для тех, кто уже пользовался, продукт становился лучше.

Проблема была в порядке. Реферальная система появилась до устойчивого желания рекомендовать продукт. Результат: три приглашения на 298 регистраций. Мощь, мазафака.

Потом начал делать Android-приложение. Оно, кстати, получалось вроде даже ничего. И именно поэтому остановиться было сложно.

Но приложение не отвечало на главный вопрос: зачем возвращаться завтра? Я мог ещё несколько месяцев делать API, аккаунты, синхронизацию и красивый интерфейс. В конце получил бы более удобную оболочку той же непроверенной гипотезы.

Поэтому приложение отложил. Основной продукт снова один: Telegram-бот.

V2 проверяет один фокус, 7 дней и 4 возвращения

Название V2 звучит так, будто я всё переписал, добавил нейросеть и блокчейн. На самом деле новая версия стала меньше.

Для новых пользователей теперь один сценарий:

1. выбрать одно небольшое действие;

2. попробовать возвращаться к нему семь дней;

3. сделать хотя бы четыре отметки;

4. не считать пропуск концом всего эксперимента.

Прогресс виден прямо в сообщении:

День 1 из 7 · отмечено 1 из 4

Раньше бот по сути спрашивал: «Получится ли быть дисциплинированным каждый день?»

V2 спрашивает иначе: «Получится ли достаточно часто возвращаться к одному важному действию?»

Разница небольшая технически, но для меня огромная продуктово. Философия про мягкость наконец стала частью механики, а не только приятным текстом вокруг стриков и наград.

Мне эта версия прям нравится. В ней есть простое соглашение: один фокус, семь дней, четыре возвращения. Без обещания новой жизни и без требования стать идеальной версией себя к понедельнику.

Включил V2 только для новых регистраций через feature flag. Текущих пользователей эксперимент не затрагивает. Отдельно добавил события для онбординга, первой недели и возвратов.

Исторический ориентир уже есть. Четыре отметки за первую неделю делали 17,1% всех зарегистрировавшихся. В самой сильной мартовской когорте получилось 27,8%.

Ставка простая: собираю минимум 50 новых пользователей V2. Из них хотя бы 35% должны набрать 4 из 7. Если когорта меньше, выводов не делаю и продолжаю набирать данные. Если размер достаточный, а результат ниже 35%, значит, V2 не дала того улучшения первой недели, ради которого всё затевалось.

Это не академический A/B-тест и не доказательство причинности. Это продуктовый критерий решения, зафиксированный до результата. В этот раз красивую метрику задним числом выбирать не буду.

После этой статьи я буду считать не пришедших, а оставшихся

Цель у меня нескромная: начиная с октября выйти на 50 DAU в среднем за неделю. Сейчас 7. Нужен рост примерно в семь раз.

Получится? Понятия не имею.

На сегодня Хабр остаётся качесвтенным единственным каналом, который уже реально приводил новых людей. Ютубы и инста - пока мимо. Поэтому да, эта статья тоже часть эксперимента. Без новой когорты я не смогу проверить V2.

Но сам по себе новый приток больше не будет считаться успехом.

После прошлой статьи я смотрел на 60 регистраций за день и радовался. Теперь буду смотреть на другое:

• сколько завершили онбординг;

• сколько сделали первую отметку;

• сколько набрали 4 из 7;

• сколько вернулись через 30 дней;

• сдвинулся ли средний DAU с нынешних семи.

Если снова придут 90 человек, а через месяц останутся единицы, значит, я просто повторил март. Если V2 заметно улучшит первую неделю и люди продолжат возвращаться, у проекта появится право на следующую итерацию.

Результаты опубликую в обоих случаях. Провал здесь не менее полезен, чем успех: он хотя бы закроет одну гипотезу и не даст ещё полгода украшать второй этаж.

V2 уже работает в @focuscompanion_bot.

Раньше после каждой статьи я считал, сколько людей пришло.

После этой мне важнее, сколько останется.