Недавно мы в Лиге Ставок обновили наш основной сайт. Изменения кардинальные. По сути мы выкинули старый, и на его место выпустили новый продукт. Можно сказать, мы убили устоявшуюся годами привычку пользователя и предложили ему сформировать новый паттерн использования. Как это отразилось на метриках? Стало лучше? Хуже? Сейчас расскажу.
Новый сайт был включен а/б тестом на 50% аудитории. Выборки нормированы, данные стат.значимы. На графике разница в количестве ставок (наш North Star) между тестовой и контрольной группой. Если график идет выше доверительного интервала, значит тестовая (новый сайт) перфомит лучше, и наоборот. Горизонтальные линии - доверительный интервал. Итак, что мы здесь видим?
До момента раскатки нового сайта обе группы почти идентичны, разница между их количеством ставок сильно не отличается и находится +/- в доверительном интервале. Это кстати хорошая проверка для вашего любого а/б теста - проверьте, что их поведение не отличается друг от друга до начала теста.
После релиза новой версии количество ставок у тестовой группы (новый сайт) становится заметно хуже контрольной. То есть мы своим релизом ухудшили ключевую метрику продукта! Казалось бы, ситуация критическая. Надо откатывать релиз назад, дорабатывать версию и пробовать еще раз
Спустя 2 недели мы видим, что ситуация развернулась в обратную сторону. Сначала график вышел в норму, то есть значения у обоих групп сравнялись, а позже показатели нового сайта и вовсе стали лучше старого сайта, и эта тенденция сохраняется. То есть мы не просто не уронили метрики продукта, мы сделали их лучше.
Что случилось в эти 2 недели?
А в общем-то ничего. Мы не выкатывали никаких дополнительных обновлений, не делали срочных хотфиксов чтобы закрыть баги, не добавляли мощностей в серверах. Все что произошло - это пользователи сначала испытали стресс от того, что в их привычной рутине появилось что-то новое, а потом (спустя 2 недели) привыкли к этой новизне и адаптировались к ней.
Видите ли, людям вообще не нравится что-то новое. Каждый раз когда в нашей устоявшейся жизни что-то меняется - для нас это стресс и дискомфорт. Если вы всегда утром заходите в одну и ту же кофейню на протяжении 5 лет, а потом она в один день перестает работать, и вам надо искать другую (которая может будет даже лучше) - это стресс. Если вы жили долгие 10 лет в одной квартире, а потом переезжаете в квартиру получше и просторнее - это тоже стресс, вы будете всячески сопротивляться факту переезда, хоть даже вы и знаете, что будет лучше.
Также и с интерфейсами. Каждый раз когда Apple выкатывает обновление дизайна iOS - мы плюемся и страдаем, а потом привыкаем и даже не замечаем что стало лучше. Попробуйте сейчас переключится на iOS версии 4го айфона, и посмотрите на сколько вас хватит? ?
Или самый показательный пример в нашем сегменте интернета - «Дуров, верни стену». Когда Вконтакте пошли на то обновление, они просто об хребет сломали устоявшиеся и очень сильные привычки использования продукта их пользователями. Но шаг был нужный, потому что продукт эволюционировал, да и культура потребления контента тоже не стояла на месте. И как мы видим по прошествии времени, никто больше не хочет вернуть стену. Нам уже даже сложно представить, а как это было.
Так что держите в голове историю про эффект новизны и не спешите принимать быстрых решений через неделю после релиза. Иногда пользователям нужно просто немного времени, чтобы адаптироваться.