Это руководство поможет вам понять все, что нужно для начала работы с A/B-тестами. Вы увидите способы запуска тестов, расстановки приоритетов гипотез, анализа результатов и лучшие инструменты для экспериментов с помощью A/B-тестирования.

Все курсы и материалы бесплатны.

Курсы

Курсы предлагают структурированный подход к изучению A/B-тестирования. Они позволяют получить фундаментальные знания, научиться использовать инструменты для проведения тестов.

Курсы на русском языке:

• Курс «A/B-тестирование» (Hippo Insurance и Dynamic Yield)

• A/B тесты в играх модуль 1, А/Б тесты в играх модуль 2, А/Б тесты в играх модуль 3 (devtodev)

• А/б тестирование сайта или лендинга — практическое руководство (Tilda)

• А/B тестирование с помощью Python (Skypro)

Курсы на английском языке:

• A/B тестирование (курс в коллаборации с Google)

• A/B тестирование для бизнес аналитиков (Udacity)

• A/B тестирование & оптимизация (XP2)

• Расширенный курс по провидению экспериментов (XP2)

Практика лучших компаний

Блоги и публикации от известных компаний представляют собой ценные источники информации о передовых практиках и инновационных подходах в A/B-тестировании. Они рассказывают о современных инструментах, методах анализа данных и особенностях проведения тестов, основанных на реальном опыте.

Примеры от компаний на русском языке:

• A/B тесты и как мы их готовим (Яндекс Практикум)

• Зачем нужна платформа А/Б, Как проходят эксперименты в Авито, Метрика в бакетах, Статистический критерий, видео (Авито)

• Как разрабатывать сотни A/B экспериментов (Циан)

• Как же мощно я провел A/B-тест, или почему не стоит сравнивать наблюдаемый аплифт с MDE (Lamoda)

• Как определить размер выборки для бутстрэпа старым дедовским способом (Lamoda)

• Как устроено A/B-тестирование в Авито, статья (Авито)

• Руководство по статистическим тестам (VK)

• Статистика в А/Б. Мифы и реальность (Авито)

• Проверка корректности А/Б тестов (X5 Ритейл Групп)

• Switchback-эксперименты в Ситимобил. Эпизод 1: Скрытая сила switchback

• Как в Учи. ру построили платформу для анализа A/B-тестов на ClickHouse (Учи. ру)

• Как у нас устроено A/Б-тестирование. Лекция Яндекса (Яндекс)

• Инфраструктура А/Б-экспериментов в большом Поиске. Доклад Яндекса (Яндекс)

• Как перестать беспокоиться и начать верить A/B-тестам (Badoo)

Практика компаний на английском языке:

• Метод последовательного тестирования в экспериментах A/B (Uber)

• Эксперименты в Airbnb (Airbnb)

• Фреймворк для дизайна экспериментов (Airbnb)

• Что такое А/Б тест (Netflix)

• Это все A/Bout-тестирование: экспериментальная платформа Netflix (Netflix)

• Как Netflix использует данные, опросы и A/B-тестирование для совершенствования своего алгоритма рекомендаций (Netflix)

• Увеличьте свои шансы с A/B тестами (Microsoft)

• Новая платформа для проведения экспериментов в Spotify и как мы ее используем (Spotify)

• А/Б тестирование и квантили (Spotify)

• Экспериментальный анализ в Lime (Lime Engineering)

Примеры проектов с кодом

Изучение готовых проектов по A/B-тестированию позволяет увидеть реальные примеры реализации тестовых сценариев и анализа результатов. Вы можете изучить код, методику и подходы, которые другие люди использовали в своих проектах, и применить их в своей работе.

Примеры А/Б тестирования с кодом и пояснением на английском:

• Подробный гайд по а/б тестированию внедрения новых технологий в игру с помощью Python

• А/Б-тестирование с помощью Python

• Гайд по А/Б тестированию с помощью Python в 3 частях: Part 1/3(AA-test), Part 2/3(AB-test), Part 3/3(relationship metrics).

• 11 примеров A/B-тестирования из реального бизнеса (Hubspot)

• A/B-тестирование: пошаговое руководство с использованием Python (DataArt)

• A/B-тестирование и как его реализовать на Python, используя всего несколько строк кода (Analytics Vidha)

• Пример а/б теста с Python (пользователь Google Colab)

• Пример а/б теста с Python (пользователь Kaggle)

Статистика

Знание статистики необходимо для A/B-тестирования, чтобы проводить корректные и надежные анализы результатов тестов, определять статистическую значимость различий между вариантами и делать обоснованные выводы на основе данных.

Статистика на английском языке:

• Статистическое мышление и анализ данных(MIT)

• 10 статистических ловушек А/Б тестирования (CXL)

• Введение в статистику (Stanford University)

• Статистика для экспериментов от Harvard University

• Вероятность и статистика в науке о данных с использованием Python (SanDiego University)

• Статистическое мышление для Data Scientist и аналитиков данных от (Columbia University)

Некоторые из этих курсов - на платформе "Coursera", даже если платформа пишет, что нужно оплатить 7дневный период, курсы можно получить бесплатно. Подробнее в посте и особенно в комментариях под постом я расписывала подробно.

Статистика на русском языке:

• Основы статистики на Stepik: 1 часть, 2 часть, 3 часть.

Дополнительные материалы

• Контролируемые онлайн-эксперименты и A/B-тесты (Ron Kohavi, Roger Longbotham)

• Блог с полезными статьями по тестированию

• Статьи по А/Б тестированию (XP2)

• Математика A/B-тестирования на примере кода Python

• Тестирование методов лечения: лучшие исследования для лучшего здравоохранения Imogen Evans, Hazel Thornton, Iain Chalmers, Paul Glasziou

• Гайд по А/Б тестированию (CXL)

• А/Б тесты для нематематиков, видео (Involta)

• А/Б тестирование в R (Elea McDonnell, доцент в LeBow College of Business at Drexel University)

• Краткое руководство по реализации А/Б тестов на Python

• Нежное введение в математику, лежащую в основе A/B-тестирования

А также в своем телеграм-канале Аналитика и Growth mind-set делюсь полезными материалами по аналитике данных, в том числе по А/Б тестированию.