Недавно YouTube подкинул мне видео «Я пообщался со 100 людьми, сдавшими ЕГЭ на 100, и вот что понял» — автор поговорил со ста выпускниками, сдавшими экзамен на высший балл, и обобщил их опыт. Многие советы из видео можно распространить не только на подготовку к экзамену, но и на подготовку к собеседованию или «вхождение в IT» — так что ролик будет интересен и тем, кто давно окончил школу.

Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных» в Яндекс Практикуме. Как аналитик с профдеформацией я в любом подобном исследовании вижу недоделанный А/В-тест — и считаю своим долгом его доделать. В этом тексте я расскажу, какие результаты показал эксперимент из YouTube, и попробую выяснить, являются ли они статзначимыми.

Я не буду повторять формулы, использованные в моей прошлой статье «Нужно ли вам красивое резюме? Оцениваем результаты эксперимента с помощью статистики». Вместо этого я разберу проблемы проведения статтестов, не описанные мною ранее.

Генеральная совокупность и выборка

Для оценки качества нашей выборки воспользуемся материалом из бесплатного курса «Основы статистики и A/B-тестирования» от Яндекс Практикума.

Генеральная совокупность — это полный набор всех элементов, которые исследуют в рамках задачи. Генеральной совокупностью в этом исследовании являются люди, удовлетворяющие всем следующим критериям.

• Выпускники 11 класса российских школ. Хотя не только выпускники 11 классов сдают ЕГЭ, мы ограничимся выпускниками из-за особенностей доступной информации.

• Год сдачи ЕГЭ — не ранее 2002-го (год появления ЕГЭ) и не позднее 2024-го (год выхода видео). Мы не знаем точный год окончания школы, так как автор видео его не называет. Более того, автор иногда в качестве примера указывает себя, при этом он окончил школу несколько лет назад.

• Результат сдачи ЕГЭ по истории равен 100 баллам.

Выборка — это отдельный набор элементов, отобранных из генеральной совокупности некоторым случайным процессом. Выборкой в данном исследовании являются 100 опрошенных автором видео «стобалльников». При этом интуитивно понятно, что более «свежие» выпускники 2024 и 2023 годов преобладали в выборке по двум причинам:

• задавать вопросы вроде «сколько часов в неделю у вас уходило на подготовку к экзамену» лучше как можно раньше, пока респондент не забыл такие детали;

• свежие «стобалльники» наверняка охотнее говорили об экзамене и делились методами достижения результатов.

Чтобы результаты статтеста были корректными, выборка должна соответствовать нескольким критериям. Так, её элементы должны быть набраны случайно — каждый элемент должен иметь одинаковую вероятность попасть в одну из групп. Было ли соблюдено это условие в экспериментах с резюме (подробнее о нём — в статье  «Нужно ли вам красивое резюме? Оцениваем результаты эксперимента с помощью статистики») и «стобалльниками»?

В экспериментах с резюме, скорее всего, да. Хотя автор видео не слишком подробно останавливается на методе выбора вакансий, в целом понятно, что на любую вакансию можно откликнуться. Да, этот отклик могут не рассмотреть, но отправить его ничего не мешает, а значит, проблем с возможностью любой вакансии попасть в выборку не было.

Совсем иное — отбор «стобалльников». Для исследования важно не просто отправить отклик, но и получить согласие на участие в интервью. Автору видео пришлось найти в соцсетях 218 потенциальных респондентов для получения 100 интервью. Основной проблемой указана невозможность отправить личные сообщения из-за настроек профиля.

Строго говоря, это сильно снижает качество нашей выборки. 54% найденных потенциальных участников не имели шансов в неё попасть. Мы не знаем, что общего у «стобалльников» с закрытыми сообщениями и как сильно изменились бы результаты, попади они в выборку. Можем ли мы тогда вообще доверять выводам, полученным на такой неслучайной выборке?

Можем. Но пометочку о неидеальности нашей выборки мысленно делаем. В целом доля успешно проведённых интервью при обычных опросах колеблется около 30%. Я не дам подтверждающие ссылки, опасаясь процитировать иностранного агента или нежелательную организацию, но эту информацию можно легко найти в интернете самостоятельно. И, согласно исследованиям (ссылки на которые я также не приложу), этим опросам можно доверять, хотя и ограниченно. То есть сама по себе доля успешно проведённых интервью в 46% является «красным флагом», сигнализирующим о необходимости провести дополнительные исследования (что не является темой этой статьи).

Отсутствие контрольной группы

Но проблема неидеальной выборки меркнет по сравнению с другой — у нас вообще нет контрольной группы! Можем ли мы в таком случае проводить А/В-тесты или делать выводы?

Оказывается, можем. И решить эту проблему можно несколькими способами.

1. Мы можем предположить худший из возможных результатов в контрольной группе. Это позволит нам не отвергнуть нулевую гипотезу в пользу гипотезы о положительном влиянии. Или не позволит. То есть так мы точно не сможем доказать наличие статзначимого влияния, но сможем аргументированно показать его отсутствие.

2. В качестве данных для контрольной группы мы можем использовать данные «в среднем по популяции».

Переходим к анализу выводов.

Талантливый человек талантлив во всём

Оказывается, у «стобалльников» по истории результаты сдачи других ЕГЭ также существенно превышают средние показатели. Так, 98 из 100 респондентов сдали каждый из трёх экзаменов на 80+ баллов. И 52 — на 90+ баллов.

При этом часть респондентов делала упор на многочасовую подготовку к ЕГЭ по истории, но никто из опрошенных не имел резервов времени для подготовки к остальным экзаменам на таком же уровне. Некоторые могли выделить на подготовку не более четырёх часов в неделю на предмет. То есть даже при «обычных» трудозатратах на подготовку они получали отличный результат. Автор видео называет это одарённостью и расшифровывает как «способность эффективно обрабатывать информацию».

Я бы чуть перефразировала и вывод, и причину. Если у ученика получается блестяще выучить один предмет, он наверняка сможет достичь отличных результатов и при изучении других, так как его результаты объясняются в том числе умением учиться, самодисциплиной, хорошей памятью и другими качествами. Деньги к деньгам, а знания к знаниям.

Итак, вывод у нас есть. А где расчёты? И тут мы сталкиваемся с очередной проблемой.

Отсутствие точных данных

Мы не знаем средний балл опрошенных автором «стобалльников» — автор его не указал. Средний балл по стране тоже неизвестен, Рособрнадзор почти ничего не сообщил о результатах за 2024 год, а результаты за прошлые годы неполны. И как же быть?

Раз точных данных нет, попробуем вывести оценку. Раз мы собираемся опровергнуть гипотезу «Блестящая сдача экзамена по истории не влияет на успех при изучении других предметов» в пользу гипотезы «Блестящая сдача экзамена по истории оказывает положительное влияние на успех в изучении других предметов», нам нужна верхняя оценка для средних результатов по стране. И нижняя оценка для результатов по группе «стобалльников».

У нас есть оценка снизу среднего балла ЕГЭ для 98 из 100 опрошенных — 80 баллов. Если точнее, 86,6, так как за два экзамена они получили не менее 80 баллов, а за ещё один — не менее 100. Среднее будет > (80+80+100) / 3 = 86,6. Ну что ж, это было легко.

А теперь к средним баллам по стране. Раз данных за 2024 год нет, мы можем взять данные за 2021, 2022 и 2023 годы, взять из них максимальные результаты по стране и таким образом оценить общие результаты. Но даже это нельзя сделать в полной мере, так как по ряду предметов результаты отсутствуют. Поэтому предлагаю брать не общие результаты за все экзамены, а результаты экзамена по русскому языку. И у меня на это пять причин три причины.

• Это один из самых массовых экзаменов наряду с экзаменом по математике. Сдавать эти два предмета необходимо вне зависимости от выбранной специальности.

• Результаты по этому экзамену, согласно открытым данным, на протяжении многих лет являются одними из самых высоких среди всех остальных экзаменов. Выше результаты возможны только при сдаче непопулярных экзаменов по иностранным языкам. Но они дают несущественный вклад в средний балл «по всей стране по всем экзаменам», и на таких маленьких выборках проще получить экстремальные значения.

• Данные по этому экзамену наиболее полны. По тем же иностранным языкам за определённые годы невозможно найти ни средний балл, ни количество сдавших, ни долю «стобалльников».

В 2021, 2022 и 2023 годах средние баллы по русскому языку были равны 68,43; 68,3 и 71,4. Ок, давайте оценим средний результат ЕГЭ 2024 по русскому языку в 71,4 балла — и поймём, что по-прежнему не можем провести расчёты по двум причинам.

• Шкала оценки результатов ЕГЭ существенно изменилась в 2024 году. При этом наиболее сильным искажениям подверглась средняя часть спектра. Говоря образно, стало намного проще получить четвёрку вместо тройки. А вот вероятность получить пятёрку вместо четвёрки почти не изменилась. То есть нам стоило бы сравнивать не средние баллы, а «долю отличников», что бы это ни значило.

• Нужно оценить не только средние значения, но и дисперсию. И попытка оценить дисперсию средней оценки ЕГЭ по стране представляет собой весьма нетривиальную задачу в условиях отсутствия подробных данных.

Оба этих затруднения можно избежать, заметив, что и автор видео, и Рособрнадзор отдельно считают долю «высокобалльников» с результатами 80–100 баллов. Что ж, давайте считать их отличниками. По счастью, русский язык по-прежнему остаётся самым массовым предметом с самыми полными данными и высокой относительно других предметов долей отличников. В 2021, 2022 и 2023 годах эти доли были равны 26%; 21,6% и 28,9%.

Итак, 28,9% становится оценкой сверху доли отличников по любому экзамену за период c 2002 по 2024 год. Отмечу, что мы можем получить более точную оценку по имеющимся у нас данным, но нам это не нужно.

Это же полностью решает проблему неизвестной дисперсии, ведь переходя от средних баллов к долям отличников, мы переходим от неизвестного вида распределения (скорее всего, оно будет похоже на нормальное, но точно мы этого не знаем) к распределению Бернулли с параметром p. Этот параметр можно достаточно точно оценить через средний результат по распределению на достаточно большой выборке, и он же полностью определяет дисперсию. Подробнее распределение Бернулли вы можете изучить в блоке «Теория вероятности и основы статистики» курса «Математика для анализа данных».

Теперь мы готовы перейти к расчётам? Всё ещё нет. Сначала нужно сделать наши выборки — и контрольную, и тестовую — действительно независимыми.

Независимость выборок

Сдача двух экзаменов с результатом не менее 80 баллов каждый — это гораздо более впечатляющий результат, чем сдача одного экзамена с результатом не менее 80 баллов. Если мы учтём этот фактор, то наши оценки группы «стобалльников» станут ещё более впечатляющими.

Но тот факт, что в тестовой группе мы учтём оценки от каждого респондента дважды, сделает нашу выборку зависимой. То есть мы не можем оценивать все результаты по всем экзаменам. Мы должны случайно выбрать у каждого выпускника по одному экзамену — и для выборки «по всей популяции», и для выборки «ста “стобалльников”».

И тогда мы получаем вот такие оценки.

• Доля отличников для выборки «один случайно выбранный экзамен для каждого выпускника по всей популяции» может быть оценена сверху в 28,9%.

• Доля отличников среди выборки «один случайно выбранный экзамен, кроме экзамена по истории, у каждого выпускника из выборки «ста “стобалльников”» может быть оценена снизу в 98%.

Определение гипотез.

• Нулевая гипотеза (H0): оценка 100 баллов за ЕГЭ по истории не влияет на шансы выпускника получить отличную отметку за любой другой экзамен.

• Альтернативная гипотеза (H1): оценка 100 баллов за ЕГЭ по истории повышает шансы выпускника получить отличную отметку за любой другой экзамен.

Зададим стандартный уровень α = 0,05.

Воспользовавшись z-тестом для двух пропорций, получим p-значение настолько малое, что практически сможем приравнять его к нулю. Таким образом, мы можем уверенно отклонить нулевую гипотезу в пользу альтернативной: навыки, полученные при подготовке к ЕГЭ по истории, пригодятся вам и при подготовке к другим экзаменам.

Очень широко (и статистически не очень обоснованно) мы можем переопределить наш вывод как: «Если вы сумели хорошо разобраться в какой-то научной или профессиональной области, вы с большой вероятностью сможете разобраться и в новой для себя сфере».

К блестящей сдаче экзамена можно подготовиться самостоятельно?

Автор видео утверждает, что только 18% из опрошенных им «стобалльников» готовились к экзамену по истории без помощи репетиторов и специальных онлайн-школ по подготовке к ЕГЭ. К сожалению, мы никак не можем проверить статистическую значимость этой информации. Есть информация, что 48% семей нанимают репетиторов для своих детей в 10–11 классах. Но какая доля семей оплачивает услуги онлайн-школ по подготовке к ЕГЭ, мы не знаем.

Так же, как и не знаем, кому репетитор нужен больше — идущему на 100 баллов при почти гарантированных 80 или тому, кто рискует не сдать экзамен даже на минимальный требуемый балл? И не является ли наём репетитора показателем повышенной тревожности и (или) большей финансовой устойчивости родителей?

Возможно, наём репетитора или обращение в онлайн-школы за дополнительными занятиями — это новая норма. И распространена одинаково широко и среди «стобалльников», и среди остальных выпускников.

Полезные выводы из исследования, которые невозможно проверить статистически

• В учёбе помогает стади бадди (партнёр по учебе). Причём в этой роли будет полезен и пассивный слушатель выученного, и активный соученик.

• Важен хороший увлечённый учитель. Возможно, поэтому обучение у менторов, по видеокурсам с живым преподавателем в кадре или в школах с наставниками эффективнее, чем по книгам.

• Не существует секретной и крайне эффективной техники обучения и запоминания информации. Кажется, всё лучшее вроде «высыпайтесь», «занимайтесь регулярно» и «структурируйте информацию» уже собрано в совершенно несекретных трудах Барбары Оакли.