Исследование показало, что люди предпочитают сложные методы, потому что привыкли к ним
Незаконное обвинение Салли Кларк в убийстве двоих её сыновей – знаменитый пример неправильного использования статистики в суде
В 1999 году британский солиситор Салли Кларк попала под суд за убийство двух своих малолетних сыновей. Она утверждала, что оба они стали жертвами синдрома внезапной младенческой смерти. Эксперт, свидетель обвинения, Рой Мидоу, утверждал, что шансы на то, что этот синдром заберёт жизни двух младенцев из богатой семьи, составляли 1 к 73 млн, что уравнивало их с шансом ставить на скачках на лошадь с коэффициентом 80 к 1 четыре года подряд и всё время выигрывать. Жюри присяжных приговорило Кларк к пожизненному заключению.
Однако Королевское статистическое общество после объявления приговора выпустило заявление, где утверждалось, что Мидоу ошибся в своих расчётах, и что для заявленных им чисел «не было статистических оснований». Приговор Кларк был отменён в результате апелляции в январе 2003 года, и это дело стало каноническим примером последствий неправильного рассуждения на основе статистики [Приговор был отменён после того, как выяснилось, что патологоанатом выдал неверное заключение. Кларк несправедливо отсидела три года в тюрьме, получила серьёзную психологическую травму, и через четыре года умерла от передозировки алкоголя / прим. перев.].
В новом исследовании, опубликованном в журнале Frontiers in Psychology, изучался вопрос того, почему людям так сложно решать статистические задачи, в частности, почему мы явно предпочитаем сложные решения простым и интуитивным. Это свойство нужно записать на счёт нашего сопротивления изменениям. Заключение исследования гласит, что всему виной нежелание меняться: мы стараемся придерживаться известных методов, изученных нами в школе, что не даёт нам увидеть существование более простого решения.
Примерно 96% населения с трудом решает задачи, связанные со статистикой и вероятностью. Однако, чтобы быть хорошо информированным гражданином XXI века, необходимо компетентно справляться с такого рода задачами, даже если вы и не сталкиваетесь с ними в своей профессиональной области. «Как только вы берёте в руки газету, вы сталкиваетесь с огромным количеством чисел и статистических выкладок, которые необходимо правильно интерпретировать», — говорит соавтор работы Патрик Вебер, аспирант по преподаванию математике из Регенсбургского университета в Германии. И большинство из нас сильно не дотягивают до этого уровня.
Часть проблемы состоит в контринтуитивном методе представления подобных проблем. Мидоу представил свои свидетельства в т.н. «формате естественной частоты» (к примеру, «один из десяти людей»), а не в процентах («10% от популяции»). Это было умное решение, поскольку «1 из 10» интуитивно понятнее [то, что это более понятно, пока что всего лишь гипотеза / прим. перев.] и яснее для жюри. Недавние исследования показали, что показатели решения статистических задач увеличиваются с 4% до 24%, когда задачи представлены в формате естественной частоты.
Это имеет смысл, поскольку вычислять вероятности довольно сложно, для этого требуется три умножение и одно деление, согласно Веберу, после чего нужно поделить два получившихся члена уравнения. А для формата естественной частоты требуется всего одно сложение и одно деление. «С естественными частотами у вас есть такие данные, которые вы можете себе ясно представить», — говорит Вебер. Формат вероятностей более абстрактен и менее интуитивен.
Задача по Байесу
Что насчёт оставшихся 76% людей, не способных решать подобные задачи? Вебер с коллегами попытались выяснить, почему так происходит. Они взяли 180 студентов университета и дали им две пробных задачи на т.н. Байесовский вывод, оформленные либо в формате вероятностей, либо в формате естественной частоты.
В задачи входила байесовская статистика – допустим, вероятность того, что у 40-летней женщины найдут рак груди (1%) – вместе с элементом чувствительности (у женщин с раком груди положительный результат проверка маммограммы даст в 80% случаев) и количеством ложных положительных результатов (женщины без рака имеют шанс в 9,6% получить положительный результат). Вопрос: если 40-летняя женщина получает положительный тест в проверке на рак груди, какова вероятность наличия у неё реального заболевания (оценка «апостериорной» вероятности)?
В одной из пробных задач участников просили подсчитать вероятность того, что случайно выбранный человек со свежими следами уколов на руке окажется героиновым наркоманом
Задача с маммограммой слишком известна, поэтому Вебер и его коллеги придумывали свои задачи. К примеру, вероятность того, что случайно выбранный человек из заданной популяции является героиновым наркоманом, равна 0,01% (базовое значение). Если выбранный человек – наркоман, то существует 100% вероятность того, что у него будут свежие отметки от иголок на руке (элемент чувствительности). Однако, есть вероятность в 0,19%, что у случайно выбранного человека будут свежие отметки от иголок на руке, но он не будет наркоманом (вероятность ложного положительного срабатывания). Какова же вероятность того, что случайно выбранный человек со свежими отметками от иголок на руке будет героиновым наркоманом?
Вот та же задача в формате естественной частоты: 10 человек из 100 000 являются героиновыми наркоманами. 10 человек из 10 наркоманов имеют свежие отметки от игл на руках. При этом 190 человек из 99 990 людей, не являющихся наркоманами, имеют свежие отметки от игл. Какой процент людей со свежими отметками от игл будут наркоманами?
В обоих случаях ответ будет 5%. Но процесс получения ответа в формате естественной частоты гораздо проще. Набор людей со следами уколов на руке – это сумма из 10 наркоманов и 190 не-наркоманов. 10/200 даёт нам правильный ответ.
Инерция мышления
Студентам нужно было демонстрировать расчёты, чтобы было легче следить за их процессом размышления. Вебер с коллегами удивились, обнаружив, что даже получив задачи в формате естественной частоты, половина участников не использовала более простой метод их решения. Они переводили проблему в более сложный формат с процентами и со всеми дополнительными шагами, поскольку такой подход был им знакомее.
В этом суть инерции мышления, также известной, как эффект настройки. «Мы встраиваем в наши решения наши предыдущие знания», — говорит Вебер. Это может быть полезным, и помочь нам принимать решения быстрее. Но это может не дать нам увидеть новых, более простых решений задач. Этому подвержены даже эксперты шахматной игры. В ответ на ход противника они выбирают испробованную стратегию, хорошо им известную, в то время, как может существовать более простое решение по постановке мата.
Вебер предполагает, что одной из причин этого является то, что студенты слишком часто сталкиваются с форматом вероятностей на уроках математики. Это в частности проблема стандартной образовательной программы, но он также считает, что среди учителей может существовать предвзятость по отношению к естественным частотам, к их кажущейся математической нестрогости. Но на самом деле это не так. «Можно вполне строго определить эти естественные частоты математически», — настаивает Вебер.
Изменить такой подход довольно сложно – нужно, во-первых, пересмотреть программу обучения математике, включив туда формат естественной частоты. Но это не повлияет на ситуацию так сильно, если учителя не будут чувствовать себя комфортно от использования этого формата, поэтому университетам тоже придётся включить его в программу тренировки учителей. «Это даст студентам полезный инструмент, помогающий разбираться с концепцией неопределённости, дополняющий стандартные вероятности», — говорит Вебер.
Комментарии (46)
Yastreb1332
29.10.2018 10:47Существуют три вида лжи: ложь, наглая ложь и статистика
ru.wikipedia.org/wiki/%D0%9B%D0%BE%D0%B6%D1%8C,_%D0%BD%D0%B0%D0%B3%D0%BB%D0%B0%D1%8F_%D0%BB%D0%BE%D0%B6%D1%8C_%D0%B8_%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0nicholas_k
29.10.2018 11:52Дизраэли имел в виду как раз манипуляции статистикой, которую люди ложно интерпретируют(собственно об этом и пост).
Между тем как сама статистика как отрасль знаний имеет высочайшую ценность, которая с годами становится только больше.
Математика вообще величайшее достижение человека.Yastreb1332
29.10.2018 12:48сама по себе статистика важна и нужна, но то как и для чего ей пользуются люди к сожалению говорит не в пользу людей.
FINTER
29.10.2018 10:48… наркоманом, равна 0,01 (базовое значение). Если выбранный человек – наркоман, то существует 100% вероятность того, что у него будут свежие отметки от иголок на руке (элемент чувствительности). Однако, есть вероятность в 0,19% ...
Разобраться становится труднее, когда непроцентные вероятности перемежаются с процентными. Сходу вообще непонятно, что тут происходит.
UPD: Прочитав дальше понял, что первая вероятность в %, но просто знак % пропущен.
adictive_max
29.10.2018 11:04ИМХО, по поводу первого примера проблема не в том, что кто-то «не желает меняться», а в том, что статистические выкладки для больших выборок напрямую используют как основное доказательство в суде по конкретному делу. Не «этот метод позволяет с такой-то точностью установить факт, который доказывает что...», а «маловероятно, что это произошло само, поэтому вы по-любому виноваты».
achekalin
29.10.2018 11:21Это как в анекдоте, «вероятность выйти на улицу и встретить динозавра — 50%»?
Сложнее всего то, что мы все привыкли к стереотипам вида «человек шатается — значит пьяный» (хотя может просто терять сознание от приступа болезни), а привыкли как раз от того, что чаще встречали именно пьяных, чем больных. Кто как, конечно, но в суде такие выкладки звучат особенно глупо, когда свидетель говорит одно (на основании своего жизненного опыта), а судья — другое (на основании уже своего опыта).vassabi
29.10.2018 12:53реплика про суд напомнила
старый неприличный анекдотВ селе украли корову, вечером сели за стол отец и три сына, хряпнули по стакану самогонки.
Отец: Раз корову украл — значит пидорас!
Старший: раз пидорас — значит маленький!
Средний: раз пидорас и маленький — значит из соседней Ивановки!
Младший: Раз пидорас, маленький и из Ивановки — значит Васька!
Пошли, отмудохали Ваську, тот месяц в реанимации пролежал, заява, следствие, суд.
Отец с сыновьями сидят на скамье подсудимых.
Судья — почему Ваську побили?
Они: Так он корову нашу украл!
Судья — почему это именно он?
Они:(повторяют свою логическую цепочку).
Судья — не понял?!
Они опять повторяют.
Судья: Ну хорошо, вот вам коробочка, что вы можете про нее сказать?
Отец: Коробочка квадратная.
Старший: раз коробочка квадратная — в ней что-то круглое.
Средний: Раз квадратная, а в ней круглое, значит оно оранжевого цвета.
Младший: Раз квадратная, в ней круглое и оранжевое — значит там апельсин!
Судья открывает коробочку, достает из нее апельсин и говорит: Васька, не еби мозги!
Отдай людям корову!Daddy_Cool
29.10.2018 13:22+1Лично сталкивался с таким. Я так понимаю это был злобный ротавирус. Особенность — симптоматика развивается очень быстро. Мне стало плохеть на работе, я решил поехать домой. Дошел до метро — 7 минут, проехал три станции, еще 9 минут. На выходе я уже чуть ли падал — держался за стенки, меня тошнило, и т.п… Окружающие шипели — типа «Фу, он же пьяный!». Увы. )))
MTyrz
30.10.2018 00:43Надо заметить, что при ошибочности диагностики поведенческий-то паттерн должен был оказаться верным: что от пьяного, что от завирусованного логично держаться подальше :)
dimm_ddr
29.10.2018 13:39+1Вебер с коллегами удивились, обнаружив, что даже получив задачи в формате естественной частоты, половина участников не использовала более простой метод их решения. Они переводили проблему в более сложный формат с процентами и со всеми дополнительными шагами, поскольку такой подход был им знакомее.
Это какие-то странные исследователи раз их это удивило. Это же фундаментальный математический метод — привести к уже известному. Потому что «более простой» метод более прост только когда он тебе уже известен и известна его надежность. Если этого нет, то такой метод нужно, во-первых, придумать, во-вторых, доказать что он даст правильный результат. Что в случае когда известен «более сложный» метод будет равносильно вычислить ответ сложным методом, потом простым, а потом таки убедиться что это не совпадение и его можно применять для других задач. Офигенно просто, да.
vics001
29.10.2018 14:40Эксперт, свидетель обвинения, Рой Мидоу, утверждал, что шансы на то, что этот синдром заберёт жизни двух младенцев из богатой семьи, составляли 1 к 73 млн
Какой кошмар… Эксперт убедил, что вероятность равна популяции Британии т.е. такой человек чисто статистически обязан существовать и дальше пошел бред про какие-то ставки и лошади.artyomtch
29.10.2018 16:44Любопытное наблюдение :) Но тут справедливости ради надо сказать, что в Британии нету 73 миллионов людей, чьи семьи богаты и имеют двух младенцев. Тем более нет 73 миллионов семей с двумя младенцами. Т.е. в вероятности «1 к 73 млн» речь идет всё же не обо всем населении, а о конкретном (и куда менее многочисленном) срезе.
vics001
29.10.2018 17:10Ну тут 2 независимых случайных события, нельзя перемножать вероятность быть богатым и иметь какие-то отклонения (имхо, надо проверить)
artyomtch
29.10.2018 18:25Я не уверен в том, насколько события независимы. Можно предположить, что есть как минимум корелляция между семейным благосостоянием и состоянием здоровья. Не знаю, насколько там есть причинно-следственная связь, это тяжелее установить и я не берусь делать предположения на сей счет. Плюс к этому, наверное, было бы глупо включать в подсчет вышеозначенной вероятности бездетные семьи. В принципе, без дополнительной информации вообще тяжело определить, как он подсчитал вероятность и какую именно выборку для этого использовал.
vics001
30.10.2018 03:21Можно точно сказать, что на таких маленьких выборках (до 1000 человек похоже) теория вероятности, а точнее мат. статистика вообще не работает.
Можно рассмотреть пример лотереи наоборот, 1 из 100 млн человек выигрывает лотерею, но всегда можно найти некоторые х-ки черный, бездетный, возраст 35, чтобы сузить выборку до 100 человек и с уверенностью сказать, что вероятность, что из этой группы выиграет человек равна 100 на 100 млн — почти 0, значит, лотерея подтасована и т.п.
Alozar
29.10.2018 17:13Опять же справедливости ради, такая статистика делается не в один момент времени, а на основании данных за продолжительное время. То есть, если просуммировать население допустим 10 поколений, то в среднем соотношение больных и здоровых будет 1 к 73 млн.
Тут как с выпадением зеро на рулетке. Вероятность выпадения 4 зеро подряд равна 1 к 100500 млн., но на протяжении времени такую ситуацию можно получить.
TheShock
30.10.2018 11:16Но тут справедливости ради надо сказать, что в Британии нету 73 миллионов людей, чьи семьи богаты и имеют двух младенцев
Ах, ну так можно еще дополнительно условий накидывать и загонять вероятность в неимоверные проценты. Ну, к примеру.
— шансы на то, что этот синдром заберёт жизни двух младенцев из богатой семьи, в которой жену звать Салли, составляют 1 к 1 млрд
— А шансы того, что этот синдром заберёт жизни двух младенцев из богатой семьи, в которой жену звать Салли, а фамилия — Кларк, составляет 1 к 500 млрд
Шансы маленькие, а семья такая в Британии одна. Значит, она точно виновна. К примеру в Германии (довольно богатой стране) такому синдрому подвержены 8 из 10000 детей. То есть вероятность ребенка умереть от этой болезни — 1/1250. Это довольно мало! Допустим, есть 1250 семей в которых есть два ребенка и один из них умер от этой болезни. Это значит, что приблизительно в одной из этих семей и второй ребенок умрет от этой болезне. Хочу отметить, что в год в ВБ роздает 800 тысяч детей в 22 миллионах семей. А двое детей в семье — это самое распространенное количество
Использование фактора про богатые семьи — просто чтобы задрать статистику. Про это причину есть огромное количество догадок и «богатство» — лишь одна из многих. Он мог добавлять любые другие факторы:
— матери от 30 до 40
— во время беременности мать болела / была здорова
— вскармливание было искусственным / грудным
— мать курящая / некурящая
Каждый этот фактор понижает вероятность и заставляет принять решение о том, чтобы посадить невиновного человека пожизненно
Gutt
31.10.2018 21:58Необходимо учитывать, что причина синдрома внезапной смерти младенцев неизвестна. Не исключено, что в той семье было что-то, что приводило к повышению вероятности таких событий.
vitaliy2
29.10.2018 17:14При подсчёте нужно рассматривать 2 случая:
1. Допустим, у неё были близняшки. Тогда вероятность болезни обоих может повыситься раз так в 1000, к примеру, до 1 к 73 тыс. Сравниваем это с вероятностью, что она хотела убить детей — допустим, 1 к 500 тыс. В итоге вероятность, что виновна — 13%.
2. Другой вариант — родила двух детей с интервалом 9 месяцев. Пусть вероятность болезни повышается только до 1 к 730 тыс (в 100 раз), а вероятность, что она родила двух детей и хотела их убить становится 1 к 3 млн (в 6 раз ниже, чем в предыдущем случае). Тогда вероятность, что она виновна — 20%.
В обоих случаях не хватает для обвинения. Нужно пытаться находить другие доказательства. А вообще я не знаю, каков процент матерей в Германии, которые хотят убить своего догодовалого ребёнка. Но даже если в 10 раз выше, не хватит для обвинения (выйдут шансы виновности 59% и 71%).vics001
29.10.2018 17:37Статистическое обвинение вещь плохая, но мне кажется там должна быть вероятность не меньше 99.9999%. Вещь плохая, потому что у людей в целом плохо с теорией вероятностью и появляются вот такие прокуроры и такие случаи.
vanxant
29.10.2018 21:19Погуглите — отпечатки пальцев и даже тест ДНК не дают шесть девяток вероятности. Люди врут, в том числе оговаривают себя. В итоге всё правосудие стоит на очень, очень шатких основаниях.
adictive_max
30.10.2018 04:02Отпечатки пальцев и ДНК хотя бы не говорят напрямую «этот человек виноват», они говорят «это человек трогал вот эту вещь». То есть там там именно ВИНУ доказывать всё-таки надо. А на основе статистики выносить прямое решение о виновности — это то же самое, что заменять суд подкидыванием монетки.
vics001
31.10.2018 01:47Тест ДНК может быть косвенной уликой, грубо говоря, вероятность может быть больше 6 девяток, если мы говорим о людях проживающих в этом городе или которые могли находится в этом месте.
То есть в этом случае, вероятность того, что это не «этот человек» умножается друг на друга с каждой уликой. С другой стороны, там чаще всего проблемы, что человек не отрицает, что он возможно трогал эту вещь или находился в данном месте.vanxant
31.10.2018 05:05Для теста ДНК не производится полное секвенирование генома (его сильно позже придумали, да и это дорого), а анализируется примерно 20 точек. Даже если убрать однояйцевых близнецов с полностью одинаковым ДНК, у многих братьев/сестёр, в т.ч. двоюродных, эти конкретные 20 точек могут совпадать или почти совпадать.
molec
29.10.2018 19:28+1А задача про рак точно дана правильно? Раскапывая отсутствие корня начал гуглить задачу. Оказалось, что 1% — это в классической формулировке вероятность болезни, а не ее диагностики. При постановке, что именно вероятность получить положительный результат равна 1%
вероятность того, что у 40-летней женщины найдут рак груди (1%)
, задача не имеет решения.
Хотя, может быть просто именно я неправильно понял постановку.nuclight
30.10.2018 09:12Так и сколько там в ней ответ должен быть-то?
dimonoid
30.10.2018 11:14Судя по всему если инвертировать диагнозы, то можно получить вероятность 99% )))
Если же имеется в виду вероятность болезни, то она нам мало чем поможет, тк имхо неизвестно отношение девушек с диагнозом и без диагноза.
Ps en.m.wikipedia.org/wiki/Receiver_operating_characteristic — тут много полезных формул по статистике(по оценке тренировки нейросетей, но отлично поможет разобраться с этими задачками).
molec
30.10.2018 13:21Порядка 7,6%.
В задаче интересен факт, что положительный результат теста повышает вероятность наличия болезни всего на 6,6%, с 1% до 7,6%. Т.е. статистически небольшие числа, думаю, их неплохо бы озвучивать в мед.учреждении при получении результата, чтоб люди не считали это приговором.
При этом точность метода более-менее удобоваримая — всего 9,6% ложноположительных и 20% ложноотрицательных.
System12
29.10.2018 20:54Хорошая иллюстрация тому, что статистическое управление процессами для большинства разновидность «китайской грамоты»
1Fedor
29.10.2018 23:10Теорема Байеса очень популярна.
Но пример из судебной практики не убедил, бред какой-то.
Выносится судебное решение о виновности по процентам вероятности.
А где рамки 1%, 50% или сколько должно быть?
Причем, оценивается вероятность одного события без связи с другим, несвязанные события.
everyonesdesign
30.10.2018 00:32Фраза «Недавние исследования показали, что показатели решения статистических задач увеличиваются с 4% до 24%, когда задачи представлены в формате естественной частоты» улыбнула
vics001
30.10.2018 03:29Долго думал что мне не нравится в заголовке —
Понять статистику нам мешает наше нежелание меняться
.
И понял, нам мешает нежелание учиться. К сожалению, большинство людей плохо понимает теорию вероятностей, не говоря уже о теории математической статистики. Даже проявление Центральной Предельной Теоремы для большинства людей будет открытием, к сожалению.
toivo61
30.10.2018 11:32Приговор на основе статистики, со смертельным исходом, называется Естественный отбор.
А вот его противники могут кого-нибудь назначить виновным.
VuX
31.10.2018 12:38Задачи с наркоманами не совсем корректны. В обоих случаях входящие данные разного типа, но ответ требуется в одном, вероятностном. Если в реальности так и было, то меня не удивляет что все студенты решали вероятностями, я бы тоже так решал.
Areek
01.11.2018 11:39Мне непонятно другое:
есть вероятность в 0,19%, что у случайно выбранного человека будут свежие отметки от иголок на руке, но он не будет наркоманом (вероятность ложного положительного срабатывания). Какова же вероятность того, что случайно выбранный человек со свежими отметками от иголок на руке будет героиновым наркоманом?
…
В обеих случаях ответ будет 5%.
— Почему?
Вот человек со следами от иголок. 0.19% не наркоман. 100% — 0.19% наркоман.
Тут ошибка в моей логике или в формулировке вопроса?
Alozar
Большая проблема (хотя для создания красивой картинки это хорошо) статистических выкладок без представления исходных данных, что они не отражают реальную ситуацию. Особенно это ощущается, если на основе одних процентов начинают оценивать работу или какие-то характеристики. Например, следователь Вася имеет раскрываемость целых 50%, а Петя только 20%. Вроде бы Петя работает хуже, но ситуация меняется, если узнать, что у Васи в разработке было 2 дела, а у Пети 20.
wiwrel
Поэтому исходные данные перед представлением в % — должны быть отнормированы на количество дел (как в Вашем примере)
Alozar
Плюс к этому любые выводы основанные на процентах, даже если приведены исходные данные, должны дополняться ответами на три вопроса: что, как и почему именно так считаем?
swarggg
на ресурсе, подобном Хабру, ожидаешь примеров вроде: программист Вася делает 20 ошибок на 100 строк, или монтажник Петя запаивает криво 5 микросхем из 20… А у Вас, внезапно, следователь… Товарищ майор, перелогинтесь, Вы раскрыты )))
Alozar
У товарища майора друг участковый, который недавно под коньячок жаловался на подобную интерпретацию статистики у руководства.
saboteur_kiev
Я думаю, особенно это ощущается, если на основе одних процентов могут посадить на пожизненное…
Мне даже любопытно, эксперта, который засадил и так убитую горем мать в тюрьму как-тол наказали?
Alozar
Скорее всего её посадили не из-за статистики, а из-за этого
А статистика применялась, в ключе, что вероятность ошибки в заключении на порядки меньше чем вероятность правдивости её слов, а следовательно нужно верить документу.
Gutt
Анализ ДНК — это тоже статистика. Тем не менее вовсю используют.