Скриншот с thesaurus.com с синонимами слова «значимый» (significant): «важный», «судьбоносный», «убедительный»… А у меня — свой словарь синонимов этого слова: «ужас», «ужас» и ещё раз «ужас». Перед вами самая короткая в мире лекция о статистике, о том, что не так с людьми, которые к ней обращаются, или же: p=0.042. Продолжение от эксперта в статистике, машинном обучении и искусственном интеллекте — к старту нашего флагманского курса по Data Science.

Статистическая незначимость

Вопреки всеобщим представлениям, термин «статистически значимый» вовсе не означает ни «важный», ни «судьбоносный», ни «убедительный». Если вам кажется, что слово «значимый» используется в угоду словарю синонимов, вы становитесь жертвой хитроумной уловки. Пусть поэты вам не лгут.

«You shouldn’t let poets lie to you» — Björk

Если вы хотите свести знакомство с подробностями статистики к минимуму, вот всё, что нужно знать о статистической значимости:

• Она не означает, что произошло что-то значимое.
• Она не означает, что результаты важны и достойны внимания.
• Она не означает, что эти данные покажутся вам интересными.
• Она означает лишь то, что кто-то заявляет, что чем-то удивлён.
• Она не скажет вам ничего полезного, если вам мало знакомы этот кто-то и это что-то.

Для тех, кто не принимает соответствующих решений, статистически значимые результаты редко бывают значимыми с точки зрения «важности» — только в отдельных случаях они позволяют задавать интересные вопросы, но зачастую эти вопросы не относятся к делу.

Будьте особенно бдительны, когда этот термин, затаив дыхание от восторга, используют дилетанты. Иногда особо самоуверенные шарлатаны идут ещё дальше. Они намеренно опускают слово «статистическая» и пускают в ход всю силу поэзии. «Ты посмотри-ка, — говорят они вам, — наш сабж значим с точки зрения самой Вселенной!»

Но это вовсе не так.

Но самые злостные недоброжелатели произносят «статистически значимый» так, как будто это синоним словам «определённо», «непогрешимо» или «истина в последней инстанции» — вот тут-то и теряются последние крупицы иронии. Сам этот термин рождён в той сфере человеческой [мысли], которая имеет дело с неопределённостью и поэтому (по определению!) принадлежит той области, где любое знание просто не может быть непогрешимым.

Осторожно, жаргон!

Тем, кто предпочитает отвечать на жаргон жаргоном, я подготовила более формальный материал в следующем разделе. Не стесняйтесь пропустить этот кусок, но, если вы любознательны и при этом пришли на этот сайт недавно, предлагаю вам сначала прочитать о важнейших идеях статистики. Это займёт 8 минут.

Почти все ссылки в моих статьях ведут на посты блога, где я подробнее раскрыла выделенную тему. Поэтому эта статья может стать для вас стартовой площадкой для мини-тура по анализу и обработке данных.

Статистическая значимость

«Статистическая значимость» означает лишь то, что величина p была достаточно мала, чтобы исследователь мог поменять своё мнение. Иными словами, этот термин сообщает нам об отказе от нулевой гипотезы. Но в чём же состояла эта нулевая гипотеза? И насколько выверены условия теста? ¯\_(ツ)_/¯

Добро пожаловать в статистику, где ответ p = 0,042, но мы не знаем формулировки вопроса, на который он был дан.

По сути дела, исследователь, который определил условия проверки гипотезы, и есть единственный человек, для которого результаты этой проверки статистически значимы.

Статистика — дело личное

Статистика даёт набор инструментов для принятия решений, но как вы будете ими пользоваться — это уже ваше дело, причём глубоко личное.

При этом ключевой вопрос нужно формулировать очень осторожно, принимать допущения, с которыми вы готовы ужиться, и делать рискованный выбор, ведь ваш ответ может быть неверным в различных аспектах (случайность — дама капризная), а затем с помощью математики получить ответ на ваш конкретный вопрос с учётом этого риска.

Есть что-то извращённо-комичное в том, как популярна статистика в риторической травле оппонентов.

Вот поэтому настоящие эксперты никогда не превращают статистику в молот паладина для насаждения Истины. Два исследователя могут анализировать один набор данных, пользоваться одними инструментами и прийти к разным — и вполне корректным — выводам… В общем, есть что-то извращённо-комичное в том, как популярна статистика в риторической травле оппонентов.

Статистическая значимость персональна. Если я удивлена данными настолько, что это поменяло моё мнение, это не значит, что вы должны следовать моему примеру.

Поскольку я понимаю принципы работы статистики, я не могу не удивляться высокомерию — и даже грубости — тех, кто говорит о статистической значимости людям, далёким от знания ограничений статистики [как области знаний]. Этот термин звучит слишком универсально, чтобы быть кому-то полезным. Он, скорее, играет роль риторического приёма, который заменяет слова «Молчи и слушай меня: мои методы прекрасны!» Давайте вместе поставим подобной риторике заслуженный дизлайк.

Перенимая чужую статистическую значимость

И что же, чужие статистически значимые результаты не позволяют нам что-либо понять?

Вот тут-то и начинается философия, так что для моего мнения по этому вопросу понадобится отдельная статья:

В двух словах, я хотела бы сказать, что вполне нормально делегировать часть решений другим людям, если вы доверяете их компетентности и вам близки их интересы. Если они убеждены в своей правоте, вы заимствуете их мнение, чтобы не делать их работу с нуля.

Используя чужие статистические выводы, вы основываете своё решение не на данных, а на доверии к отдельному человеку.

Но не забывайте, что, используя чужие статистические выводы, вы основываете своё решение не на данных, а на доверии к конкретному человеку. В доверии к людям нет ничего плохого. Вы не обязаны строить своё мировоззрение с нуля методом проб и ошибок. Обмен знаниями — одна из причин успеха Homo sapiens, однако стоит помнить, что от получаемых знаний вас может отделять несколько витков провода «испорченного телефона».

Если вы делегируете кому-то свои решения — вы принимаете чужую величину p и чужие решения, поэтому убедитесь в компетентности и надёжности этого человека.

И пусть поэты вам не лгут

Что же делать, если статистический жаргон изливает на вас человек, которому вы не доверяете? Срочно скачите от него в закат!

Даже если от его заявлений о статистической значимости веет убедительностью, будьте осторожны с тем, что продаёт вам этот оратор. Если вы доверяете собеседнику, отсылки к статистической значимости вам и не требуются, достаточно знать, что в этом убеждён он. Если же доверия он не вызывает, его статистический жаргон заслуживает ничуть не больше внимания, чем его восторженные возгласы.

Что даст нам ответ, если мы не выяснили, в чём состоял вопрос?

Если бы я могла выбрать одну мысль, которую вы сможете вынести из этой статьи, я бы напомнила вам одно: если вы плохо знаете того, кто принимает решение, то, может, заставить его поменять мнение (и о чём, вообще, речь), то его заявления о статистической значимости для вас совершенно бесполезны. Что даст нам ответ, если мы не уяснили, в чём состоял вопрос?

А мы научим работать со статистикой аккуратно, чтобы вы прокачали карьеру или стали востребованным IT-специалистом:

• Профессия Data Scientist (24 месяца)
• Профессия Data Analyst (10 месяцев)

Чтобы посмотреть все курсы, кликните по баннеру: