Привет!
Ваши A/B-тесты не работают? Тогда мы идём к вам! Ну или вы к нам…
На связи Женя Пак, я руковожу отделом разработки инструментов A/B-тестирования и стендов метрик.
Так часто бывает, что А/В-тесты обходятся дорого и ощущаются больно. Особенно, если до конца не понимать, зачем они вам нужны. Открываю секрет – они нужны вам, чтобы помочь бизнесу быть эффективным. И в угоду этой эффективности мы не раз оптимизировали нашу платформу, оперативно решали проблемы горящего продакшена, меняли процессы и придумывали инновационные решения.
Одним словом, мы на тестах собаку съели и теперь готовы поделиться своими набитыми шишками.
Наш опыт поможет избежать проблем и ошибок на старте создания системы А/В-тестирования, либо покажет, что можно улучшить в существующих процессах и методологии ваших тестов.
И мы хотим поделиться этим опытом, поэтому приглашаем вас на открытый Ozon Tech Community A/B-testing Meetup, 25 января в 18:00 в Москве.
В программе:
Игорь Моисеев
Аналитик-исследователь
Покажет, какие ошибки анализа экспериментов приводят к тому, что выводы по проведенным экспериментам становятся невалидными.
Антон Ермилов
Руководитель группы разработки «Стенды метрик»
Опишет ошибки и проблемы, допущенные в создании централизованной системы аналитики метрик А/В-тестов.
Евгений Пак
Руководитель отдела «Инструменты А/В-тестирования и стенды метрик»
Поведает о том, чего нужно опасаться, о чем нужно подумать заранее при создании А/В-платформы, чтобы было не стыдно смотреть руководству в глаза.
Александр Толмачев
Руководитель службы аналитики Ozon Fintech
Расскажет о проблемах в процессах А/В-тестирования в больших компаниях и о том, как их избежать.
Вячеслав Коськин
Старший менеджер по продукту в отделе «Инструменты А/В-тестирования и стенды метрик»
Продемонстрирует, с какими сложностями придется столкнуться менеджеру, попавшему в водоворот А/В-тестирования.
Встречаемся в офисе Ozon: Москва-Сити, «Башня на Набережной», блок С, 30 этаж. Начинаем собираться в 17:30.
Для участия в событии офлайн регистрируйтесь по ссылке и ждите подтверждения в письме. А если хотите присоединиться онлайн, то в том же письме вам придёт ссылка на трансляцию. Трансляция будет на нашем YouTube-канале и в сообществе в VK.
Количество мест в зале ограниченно. Не забудьте взять с собой паспорт или водительское удостоверение.
До встречи!
man55
Большая просьба, передать г-ну Игорю Моисееву пожелание: рассмотреть ошибку выдачи экспериментаторам для тестирования современных мощных компьютеров и мобильных девайсов, которая привела к тому, что при анализе экспериментов очевидно был сделан вывод "у меня все работает"
вывод по проведенным экспериментам у Вас стал абсолютно невалидным, ибо у подавляющего большинства моего окружения, пользующегося компьютерами и другими устройствами категории "не топовое и 3+ лет от роду" сайт и сервисы OZON безбожно тормозят и вырабатывают привычки "ничего никуда не вводить и ничего нажимать не менее 30 секунд после предыдущего действия, ибо бесполезно"
echmel
Озон топчик :)
beono
Каким экспериментаторам? АБ тест ведь проводится на обычных пользователях. Просто части пользователей показываются некоторые изменения, а часть наблюдает обычное поведение. Поэтому какие устройства есть у реальных пользователей, те и формируют результат тестирования.
Может быть речь о том, что вообще уделять больше внимания маломощным устройствам при выкатке фич? Здесь у меня опыт такой, что Озон вполне нормально работает на устройствах старше 3 лет. Наверное, нужен более конкретный пример.
Eth_Moses
У меня просьба к вам разобраться что такое A/B тестирование прежде чем писать комментарий слабо относящийся к теме.