Недавно YouTube подкинул мне видео об оценке эффективности резюме. Автор ролика создал пять вариантов, чтобы изучить влияние четырёх факторов: имени соискателя, названия компании, перерыва в работе и оформления. Каждое резюме было отправлено на 100 релевантных вакансий.

Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных» в Яндекс Практикуме. В этом тексте я расскажу, какие результаты показал эксперимент из YouTube, и попробую выяснить, являются ли они статзначимыми.

Как работодатели отреагировали на резюме в видео

• №1. Скучное стандартное резюме белого (если судить по имени) мужчины с упоминанием работы в Meta Деятельность Meta Platforms Inc. запрещена на территории РФ на самом видном месте. Вариант получил 18 приглашений на собеседование.

• №2. То же резюме, но упоминание Meta Деятельность Meta Platforms Inc. запрещена на территории РФ запрятано в середину документа, а на самом видном месте — noname-компания. 10 приглашений на собеседование.

• №3. Резюме №1, выполненное в красивом шаблоне Canva. Итог — 8 (!!!) приглашений на собеседование.

• №4. Резюме №1, но с женским именем в заголовке, и у женщины, судя по имени, явно есть этнические корни. 10 приглашений на собеседование.

• №5. Резюме №1, но с перерывом в работе в три года. 8 приглашений на собеседование.

Внимание, вопрос. Являются ли эти результаты статзначимыми?

В данном случае у нас получился A/B/n-тест. Это такой A/B-тест, в котором при одной контрольной группе А (в нашем случае резюме №1) мы создали несколько тестовых групп (резюме №2, №3, №4 и №5).

Для оценки результатов теста воспользуемся методами из бесплатного курса «Основы статистики и A/B-тестирования» от Яндекс Практикума.

Формулировка гипотез

В данном исследовании мы используем двухстороннюю альтернативную гипотезу. Так мы сможем проверить, есть ли значимые различия в количестве приглашений на собеседование у различных версий резюме как в сторону возрастания результатов, так и в сторону убывания. Даже несмотря на то, что все тестовые резюме показали худший результат относительно контрольного.

• Нулевая гипотеза (H0): различия в долях приглашений на собеседование для резюме №1 и резюме №2 не являются статистически значимыми.

• Альтернативная гипотеза (H1): различия в долях приглашений на собеседование для резюме №1 и резюме №2 являются статистически значимыми.

Мы будем сравнивать не только результаты рассылки резюме №2 с результатами рассылки резюме №1. Также мы сравним результаты рассылки резюме №3, №4 и №5 с результатами контрольной группы — резюме №1. При этом мы будем подменять в формулировках гипотез номер 2 на номер соответствующего резюме.

Выбор критерия

Будем использовать z-критерий для долей. Он используется в статистике для сравнения двух пропорций, измеренных в двух независимых выборках. Этот метод особенно полезен, когда требуется оценить, есть ли статистически значимые различия между долями успеха в двух различных группах — как раз наш случай.

Z-критерий основан на стандартной нормальной кривой (z-распределении) и рассчитывается следующим образом:

где p1 и p2 — доли успеха в первой и второй группах соответственно, n1 и n2 — размеры этих групп, и p — комбинированная пропорция успеха, рассчитанная по формуле:

где x1 и x2 — количество успехов в каждой группе.

Если вычисленное значение z-статистики попадает в критический диапазон стандартного нормального распределения (обычно используются значения ±1.96 для α = 0.05), то различия считаются статистически значимыми. Это указывает на то, что наблюдаемые различия в долях между двумя группами не случайны.

Уровень α

Возьмём стандартный уровень α = 0,05. Это означает, что мы допускаем 5%-й шанс допустить ошибку первого рода — то есть ошибочно отклонить нулевую гипотезу, когда она на самом деле верна.

Расчёты

Для начала вычислим доли успеха для каждого резюме:

• Резюме №1 (контрольное): 18 приглашений, p1 = 0,18.

• Резюме №2: 10 приглашений, p2 = 0,10.

• Резюме №3: 8 приглашений, p3 = 0,08.

• Резюме №4: 10 приглашений, p4 = 0,10

• Резюме №5: 8 приглашений, p5 = 0,08

Теперь по формулам, приведённым выше, вычислим z-значения и сравним их с контрольным значением ±1.96:

• резюме №1 и резюме №2: z ≈ 1,63, p-значение больше 0,05. Различие не является статистически значимым.

• резюме №1 и резюме №3: z ≈ 2,10, p-значение меньше 0,05. Различие является статистически значимым.

• резюме №1 и резюме №4: z ≈ 1,63, p-значение больше 0,05. Различие не является статистически значимым.

• резюме №1 и резюме №5: z ≈ 2,10, p-значение меньше 0,05. Различие является статистически значимым.

Ого! Мы получили статистически значимые отличия между результатами рассылки резюме №1 и №3, а также между результатами рассылки резюме №1 и №5. Значит, мы можем с уверенностью утверждать, что красивый шаблон для резюме и перерыв в работе около трёх лет снижают ваши шансы на трудоустройство.

Или нет?

Множественная проверка гипотез

Тут нам помогут методы из курса «Математика для анализа данных» от Яндекс Практикума. Нужные формулы находятся в модуле «Статистические методы».

Когда проводится несколько независимых тестов, вероятность того, что хотя бы один из них приведёт к ложноположительному результату, увеличивается. Предположим, что тесты независимы, тогда вероятность не получить ни одного ложноположительного результата в каждом тесте составляет 1−α. Если мы проводим m таких тестов, то вероятность не получить ни одной ошибки первого рода во всех тестах составляет . Таким образом, вероятность того, что хотя бы в одном из тестов произойдёт ошибка первого рода, равна: .

В нашем случае мы проводили четыре проверки гипотез, то есть m = 4. Используя указанную формулу, получим вероятность совершить хотя бы одну ошибку первого рода .

Чтобы контролировать этот риск и сохранить общий уровень значимости на заданном уровне 0,05, применяются корректировки на множественные сравнения, такие как поправки Холма или Бонферрони.Эти методы корректируют критерии принятия решений, чтобы уменьшить вероятность ложноположительных результатов и обеспечить более надёжные выводы.

Поправка Бонферрони очень проста в объяснении, но очень сильна. При её применении отклонить нулевую гипотезу удаётся крайне редко. Мы будем использовать поправку Холма. Для этого мы:

1. Упорядочим p-значения от самого маленького до самого большого.

2. Применим поправку по формуле: для i-го p-значения: ), где m — общее количество тестов, а α — общий уровень значимости.

Перейдём от z-значений к p-значениям (мы сделаем это за пределами статьи, допустим, с помощью таблиц).

• p12 ≈ 0,103 (для сравнения резюме 1 и 2)

• p13 ≈ 0,036 (для сравнения резюме 1 и 3)

• p14 ≈ 0,103 (для сравнения резюме 1 и 4)

• p15 ≈ 0,036 (для сравнения резюме 1 и 5)

Теперь упорядочим их по возрастанию:

• p13 ≈ 0,036

• p15 ≈ 0,036

• p12 ≈ 0,103

• p14 ≈ 0,103

Посчитаем новые скорректированные поправкой Холма α:

• для первого (самого маленького) p-значения: α1 = 0,05 / 4 = 0,0125

• для второго p-значения: α2 = 0,05 / 3 ≈ 0,0167

• для третьего p-значения: α3 = 0,05 / 2 = 0,025

• для четвёртого p-значения: α4 = 0,05 / 1 = 0,05

Увы, но теперь все p-значения выше уровня скорректированных α. Значит, мы НЕ можем с уверенностью утверждать, что любое из изученных отклонений от стандартного резюме снижают ваши шансы на трудоустройство.

Так как оформлять резюме?

Результаты из видео могут подвести нас к красноречивым выводам, но на самом деле всё не так драматично — и влияние на трудоустройство опыта работы в большой компании, перерыва в карьере, пола или этнической принадлежности эксперимент автора на самом деле не доказывает. 

Возвращаемся к вопросу из заголовка — нужно ли вам красивое резюме? С одной стороны, мы не доказали вредность красивых шаблонов. С другой, мягко говоря, полезность подобных улучшений также не доказана. А раз не доказано наличие статистически значимого положительного влияния, зачем тратить время?