Привет, Хабр! В этой статье мы затронем один из аспектов множественного тестирования, а именно определение оптимальных размеров групп в случае общей контрольной группы. Докажем теоретически, что предлагаемый способ является оптимальным и сравним его с другими популярными подходами.

Меня зовут Саша, я работаю Head of DA/DS в X5 Tech. Мы с Колей продолжаем писать серию статей по А/Б тестированию, это наша пятая статья. Первые четыре можно посмотреть тут:

1. Стратификация. Как разбиение выборки повышает чувствительность А/Б теста

2. Бутстреп и А/Б тестирование

3. Проверка корректности А/Б тестов

4. А/Б тесты с метрикой отношения. Дельта-метод

Предположим, что мы проводим множество независимых А/Б тестов, тогда типичный способ разделения пользователей на группы выглядит следующим образом:

При этом после окончания экспериментов мы будем сравнивать с соответственно. Пользователи контрольных групп не подвержены влияниям экспериментов, их поведение не должно отличаться друг от друга, поэтому их можно объединить в общую контрольную группу:

Таким образом, ставится вопрос об оптимальном разбиении трафика на группы при наличии одной контрольной группы и нескольких экспериментальных. Формализуем задачу:

Пусть у нас есть N пользователей, 1 контрольная группа, k экспериментальных групп. Положим, размер контрольной группы равен n, а размеры экспериментальных групп равны и равны m. Решается задача о нахождении оптимальных значений n и m:

Соответствующие размеры групп:

Чтобы решить данную задачу, нам нужно определиться с терминами, а именно: что означает "оптимальное" разбиение? Так как мы говорим про А/Б тестирование, то наилучшим разбиением будем считать то, которое обеспечивает наименьшую дисперсию статистики. Одной из наиболее часто встречающихся статистик является t-статистика: 

Предполагается, что оценки дисперсий групп не являются случайными величинами и равны, что может быть адекватным предположением при больших размерах групп.

Поэтому задача сводится к нахождению такого разбиения, которое бы минимизировало следующий функционал:

Также есть условие регулярности, заключающееся в том, что распределяются все пользователи:

Решим данную задачу оптимизации:

Таким образом, если в эксперименте одна экспериментальная группа , то получаем ожидаемый результат – разбить всех пользователей на две равные группы.

Если же экспериментальных групп больше, чем одна, то в каждую экспериментальную группу нужно выделить

пользователей, а в контрольную

пользователей. Ниже приведена таблица с размерами групп в процентном соотношении для разного количества экспериментов:

В заключении сравним данное разбиение с иными разбиениями, которые могут прийти в голову без аналитических выкладок.

1. Оптимальное разбиение:

2. Равномерное разбиение:

3. Контрольная группа занимает 50% выборки:

В таблице представлены значения функционала . Чем меньше, тем лучше. В последнем столбце произведён расчёт, во сколько раз меньший эффект возможно обнаружить при оптимальном разбиении относительно типичного разбиения:

Так, если у вас k=10 экспериментальных групп, то при оптимальном разбиении вы бы смогли обнаружить эффект в 1.13 раз меньший, чем при ином типичном разбиении.

Как это неудивительно, при равномерном разбиении и при разбиении 50 на 50 получаются одинаковые результаты.

Итого, когда в эксперименте присутствует всего одна экспериментальная группа, результаты согласуются и между собой, и со здравым смыслом. Происходит разделение на две равные части. При увеличении количества экспериментальных групп оптимальное разбиение помогает достичь большей чувствительности тестов по сравнению с другими способами разбиения.