На примере парадокса Монти Холла посмотрим, что общего между статистикой и интуицией, и как визуализация данных может помочь принять правильное решение, основанное на статистической оценке.
Сложность парадокса Монти Холла
Парадокс Монти Холла получил свое название от ведущего телевизионного шоу "Let's Make a Deal". Игровая ситуация:
Перед игроком три двери, за одной из которых приз. Игрок выбирает одну из них, не открывая. После этого ведущий, открывает одну из двух оставшихся дверей. Ведущий знает, за какой из дверей приз, и всегда открывает дверь, за которой приза нет. Далее игроку предлагается поменять первоначально выбранную дверь на другую, остающуюся закрытой. Вопрос: повышаются ли шансы игрока при изменении выбранной двери?
Парадокс заключается в том, что интуитивно кажется, что смена двери ничего не дает. Приз либо за одной дверью, либо за другой. Ситуация симметричная, и вероятности одинаковы. Однако, теория вероятностей показывает, что смена двери повышает шансы выигрыша в два раза.
Чтобы прийти к статистически правильному решению, игрок должен:
- Мысленно перейти от выбора одной из двух дверей к выбору одной из двух стратегий: "stay" (оставить изначально выбранную дверь) и "switch" (сменить дверь на другую).
- Построить статистическую модель игровой ситуации и оценить обе стратегии.
- На основании статистических оценок отказаться от первоначально выбранной двери.
Первый шаг ключевой. Если остаться на уровне выбора дверей, то ничего не получится, ведь приз, так или иначе, за одной из двух дверей. А они выглядят одинаково — ситуация как будто симметричная. Можно не менять дверь и выиграть, можно поменять дверь и проиграть. Возможно, смена двери повышает шансы на успех, но не гарантирует его. Делая первый шаг, игрок не должен путать "повышение шансов" и "гарантированный выигрыш".
Второй шаг еще сложнее: построить и применить статистическую модель задачи. Цепочка рассуждений может быть такой.
Сначала игрок делает выбор одной из трех дверей. По условию приз размещен за любой из них с одинаковой вероятностью. На первом шаге вероятность выбора приза равна 1/3. На рисунке ниже изображено дерево решений после первоначального выбора игрока. Дверь, за которой приз, закрашена:
Дальше ведущий открывает одну из дверей, не выбранных игроком. Игроку кажется, что ведущий выбирает дверь, которую открыть. Однако, это не всегда так. Поведение ведущего обусловлено первым выбором игрока:
- Если игрок сразу выбрал дверь с призом, то ведущий может выбрать любую из двух закрытых. Ни за одной из них приза нет.
- Если игрок выбрал дверь без приза, то ведущий всегда открывает одну дверь. Дверь, за которой приз, ведущий открыть не может по условиям игры.
Вероятность того, что приз за дверью, которую ведущий оставил закрытой, рассчитывается по формуле условной вероятности. И эти вероятности различаются для разных исходов, как показывает дерево решений. Закрытые двери, за которыми приз, закрашены:
Игрок суммирует вероятности по каждой стратегии и получает их статистическую оценку. На рисунке видно, что вероятность выигрыша при смене двери (стратегия "switch") в два раза выше:
После того, как стратегии оценены, игрок должен отказаться от первоначального выбора. Это сложно само по себе. Игрок будет стремится сохранить первоначальный выбор, так как это проще. Например, потенциальный покупатель гораздо вероятнее не будет отключать по умолчанию включенную услугу, нежели включит ее. В общем случае это приводит к систематическому отклонению поведения игроков от рационального.
Трудности применения статистического мышления
Проблемы, связанные с применением статистического мышления и рационального мышления вообще рассматриваются в книге Дэвида Канемана "Думай медленно, решай быстро". Исследования Канемана и его коллег показали, что человек склонен ошибаться в ситуациях, если нужно провести даже простые математические расчеты, не говоря уже об оценке вероятности.
Канеман вводит понятие двух систем. Система 1 это "быстрое", интуитивное, эвристическое мышление. Им человек пользуется, например, для определения настроения по выражению лица или при оценке дорожной ситуации, когда ведет автомобиль. Система 1 это автоматическая, почти мгновенная реакция, и работает в большинстве повседневных ситуаций.
Система 2 — "медленное", рациональное, математическое и статистическое мышление. Эта система подключается с усилием. Человек должен осознать, что автоматическое решение неправильное, задуматься и провести расчеты.
Ключевая проблема заключается в том, что в ситуации, где требуется подумать, человек полагается на автоматическое решение, предлагаемое системой 1. А эта система делает выводы, в первую очередь, на основании похожести вариантов. В парадоксе Монти Холла, после того, как ведущий открыл одну из дверей, две оставшихся выглядят одинаково, а обусловленное поведение ведущего старательно замаскировано. Ситуация представляется симметричной, а вероятности одинаковыми. Системе 1 не за что зацепиться, чтобы заметить вероятностную асимметрию. А системе 2 некогда подключиться. Тем более, что ведущий разными способами старается сбить игрока с толку.
Система 1 тренируется на многократном повторении ситуаций, доводя выбор до автоматизма (распознавание лиц, вождение автомобиля). Человек видит похожую ситуацию, что-то, что ему знакомо, и делает выбор, который ранее был успешен в аналогичных ситуациях.
Система 2 подразумевает, что человек начинает анализировать ситуацию, чтобы принять решение. В случае со статистическими задачами правильный ответ не очевиден. Чтобы к нему прийти, человек должен проанализировать данные, произвести расчеты и выбрать наибольшие значения статистических показателей.
Общее между интуицией и статистикой
Основная идея Дэвида Канемана в том, что система 1 (интуитивная) и система 2 (рациональная) различаются. В общем случае так и есть, однако, применительно к статистике между ними есть сходство.
Предположим, что все участники шоу Монти Холла собрались, чтобы обсудить результаты участия в шоу. Собравшиеся разбились на две группы: тех, кто остался с первоначально выбранной дверью и тех, кто поменял дверь. Согласно статистике, подсчет участников и их результатов покажет, что те участники, которые меняли дверь, выигрывали чаще. Если участников в обеих группах много, то доля победителей в группе сменивших дверь, будет примерно в два раза выше, чем в другой.
Достаточное количество участников, при котором будет видна статистическая закономерность, определяется законом больших чисел. Чем больше игроков примет участие в собрании, тем более результаты подсчетов их успехов и неудач будут соответствовать теоретическим. Другими словами, статистика начинает работать, когда игра была повторена разными участниками много раз. Если бы такое сообщество игроков существовало, то со временем они бы пришли к правильной стратегии.
Таким образом, в статистических расчетах система 2 опирается на закон больших чисел — достаточно большое (в идеале бесконечное) количество испытаний. Но и системе 1 большое количество испытаний позволяет принимать правильные решения. Многократное повторение доводит ту или иную способность человека до автоматизма.
Правила для двух систем:
- Система 1: это было правильно для меня много раз в похожих случаях, поэтому будет верно и сейчас.
- Система 2: это было правильно для многих других людей в похожих случаях, поэтому будет верно и сейчас.
Можно сказать, что расчет вероятности отражает коллективный опыт всех реальных и возможных участников игры Монти Холла. Для ситуаций индивидуального выбора стратегий статистика выступает как коллективная интуиция. Остается сделать статистику наглядной при помощи подходящей визуализации.
Диаграмма-шкала для визуализации теоретической и частотной вероятности
На примере парадокса Монти Холла мы смоделировали выбор человеком правильной стратегии с привлечением статистических расчетов. В общем случае:
- Стратегий может быть больше, чем две.
- Теоретические расчеты вероятности могут отсутствовать или требовать проверки. Тогда придется испытывать все стратегии и определять частотную вероятность для каждой.
- Внешне различные варианты могут никак не отличаться (двери в игре Монти Холла выглядят одинаково — визуальная симметрия).
Если поставить задачу помочь выиграть игроку, а не сбить его с толку, как на шоу, то в визуализации данных или пользовательском интерфейсе можно дополнить "двери", между которыми выбирает "игрок", диаграммами-шкалами. На такой диаграмме шкала задает градации изменения величины, и на шкалу накладывается столбик фактического значения по аналогии с термометром.
На диаграмме-шкале удобно совместить теоретическое, ожидаемое количество выигрышей (выделено серым) и фактическое после всех предыдущих игр (узкий черный столбик). Фактическое значение меняется после каждого принятого решения по выбору одной из двух стратегий и сохраняется на протяжении всей серии игр:
Таким образом, подходящая визуализация статистических данных помогает человеку выбрать правильную стратегию. Например, в интерфейсе, похожем на прототип, элемент интерфейса, соответствующий стратегии, может быть помечен статистическим виджетом, похожим на диаграмму-шкалу. Изображение фактических данных полезно, если пользователь выбирает между примерно одинаково успешными стратегиями. Оно позволяет ему быстро прийти к заключению:
Похоже, чаще успешно
Выводы
- Человек склонен игнорировать или неправильно использовать расчет вероятности и статистику при выборе стратегии.
- Статистику можно рассматривать как коллективную интуицию — многократные успешные исходы испытаний других людей.
- Если статистические данные корректно визуализировать, то это повысит эффективность выбора стратегии человеком.
Ссылки
Комментарии (27)
EndUser
19.03.2017 15:26Как-то построил дерево всех вариантов:
Слой 1: где приз
Слой 2: что выбрал игрок в первый раз
Слой 3: какую дверь открыл ведущий
Слой 4: что выбрал игрок во второй раз
У меня получилось, что суммарное количество призов по веткам «игрок не меняет дверь» оказалось равным суммарному количеству призов по веткам «игрок меняет дверь».
Что-то я в этом парадоксе не понимаю…
zelenin
19.03.2017 18:23Ну и первое объяснение.
В первом раунде я с вероятностью 2/3 выбираю "дверь без приза" (таких дверей две из трех по условию задачи). После того как ведущий открывает одну "дверь без приза", передо мной остается две двери, одну из которых я выбрал, и она с вероятностью 2/3 "дверь без приза", и соответственно вторая, которая с вероятностью 2/3 "дверь с призом". Соответственно шансов выиграть при смене двери больше.
ProRunner
19.03.2017 20:06+3Самое простое объяснение парадокса — это увеличение дверей до 100 (1000 и т.д.), где после после вашего выбора открывают 98 дверей без приза и у вас остаётся две двери — выбранная вами изначально и ещё одна закрытая.
Какова вероятность того, что человек с первого раз верно угадал дверь?
ProRunner
19.03.2017 20:01+1Значит, что-то неправильно построили. Можете поискать 100500 топиков здесь же, где в комментариях 1001 способом объясняется, почему смена двери повышает шансы.
barker
20.03.2017 07:56Покажите дерево ваше?
EndUser
20.03.2017 09:23+1Это было несколько HDD назад…
Если заново рисовать, то примерно так:
https://app.mindmup.com/map/_free/5f6790a00d3511e783074174897cf52a
Итого:
с настойчивостью выигрышей — 6
с переменой выигрышей — 6
с настойчивостью проигрышей — 6
с переменой проигрышей — 6
Так что как бы не дёргался ведомый, настойчиво или переменчиво, на победу это тут не влияет.
Теперь по-другому.
Если игрок сразу угадал, то настойчивость не роялит — 6 выигрышей, 6 проигрышей
Если игрок сразу промахнулся, то настойчивость опять не роялит — 6 выигрышей, 6 проигрышей.
Как ни глянь, на толк от второго выбора не повлияло ни то, что он сначала угадал или промахнулся, ни то, что он настойчив или переменчив.
kez
20.03.2017 12:09Вы исследовали общую вероятность (либо выигрывает, либо проигрывает, 1:1)
Интереснее посмотреть зависимость «с переменой» и отдельно «с настойчивостью»EndUser
20.03.2017 16:38А вы на рисунке не смогли пальцем посчитать?
Я ровно это и написал выше.
Настойчивость — 6 выигрышей и 6 проигрышей.
Переменчивость — 6 выигрышей и 6 проигрышей.
barker
20.03.2017 12:21Спасибо что постарались нарисовать)
Хм, над графиком придётся подумать — что в нём не так. Вернее, понятно в целом что там не так — общая вероятность отвязана от предыдущего выбора (в комментариях к прошлой статье, которая про голубей, это много раз на примерах поясняли; ну то есть это как бы ты взял и забыл какая дверь была у тебя до этого и очнулся когда ведущий открыл свою дверь и перед тобой снова две неизвестные двери). Но как это на графике отразиться должно было, не соображу пока.
upd по сути надо расписать на каждой плашке просто удельную вероятность и посмотреть как перенесётся она в конечные плашки и потом уже суммировать*, у меня нет технической возможности пока просто.
* (т.к. вероятности этих плашек неравны, конечно, в этом главная суть парадокса)EndUser
20.03.2017 16:43На этом сайте берёте и меняете текст — документ анонимный и открыт для редактирования.
(Хотя точнее оказывается, что редакция становится новым документом с совсем новым URL, и я не знаю как долго там могут храниться анонимные доки. Но это мелочи).EndUser
20.03.2017 16:52Вероятности единичных плашек как раз все равны внутри своего уровня. Она станет разная, если посчитать типы плашек в пределах одного уровня (например, 50 плашек «синий» и 200 «чёрный» дадут 20% и 80% соответственно).
barker
20.03.2017 21:19+2Да у меня с устройства были проблемы с редактированием) Сейчас в общем лучше растром тоже решил нарисовать и пояснить (остальные заретушированные деревья ниже «Приз за Б» и «Приз за В» совершенно аналогичные, только буквы меняются):
Картинка
EndUser
21.03.2017 08:02Спасибо barker, zelenin!
До меня дошло в такой формулировке:
«В 66.7% случаев игрок в первый раз не угадает, поэтому в 66.7% случаев стратегия смены двери даст победу.
В 33.3% случаев игрок в первый раз угадает, поэтому в 33.3% случаев стратегия настоять на первой двери даст победу»
И Varim брутфорснул статистику к моменту.barker
24.03.2017 17:46Приятно, когда собеседник дискутирует не ради спора, а ради истины)
(Извиняюсь за долгий ответ)
zelenin
20.03.2017 17:46правки к карте:
- три ветви не имеют смысла, т.к. А, Б и В — это просто условные обозначения. Можно (и в дальнейших комментариях и буду) рассмотреть только первую ветвь (приз за А), а остальные ветви просто ее дублируют со сменой порядка букв.
- т.к. вы в карте описали все возможные ветви, то вы свели результат к паре последних решений (либо сменит либо не сменит дверь). При таком подходе конечно будет 50/50, но ведь в этом и есть парадокс — большинство людей при расчете вероятности рассматривает только второй раунд выбора, не учитывая выбор первого раунда.
- правильная версия карты https://app.mindmup.com/map/_free/51eacb900d7b11e7b5572126c8e936a2
как видим тут дерево делится на две ветви (выбор правильной двери и выбор неправильной двери), во втором раунде у нас те же 50/50 выиграть или проиграть, но (!) в верхней ветви мы при смене двери проигрываем (!), а в нижней ветви при смене двери выигрываем (!). Но шансов попасть в нижнюю ветвь у нас больше (2/3), а значит и вероятность при смене двери выиграть тоже 2/3.
Linder666
20.03.2017 13:37-1Вспомните анекдот про блондинку: «Какова вероятность того, что вы на улице встретите динозавра? Блондинка отвечает: 50/50. Почему? Ну либо встречу, либо не встречу».
Все равно эту задача сводится к одному выбору: игроку все равно покажут дверь без выигрыша. Поэтому задача сводится к выбору, за какой из двух дверей остался выигрыш? И вероятность все равно стремится к 0,5. Да, как написали до меня, если увеличить количество дверей до 100, 100 и т.д. то выбор очевиден, попасть сразу в верный вариант крайне маловероятно, но в варианте с 3 дверьми все равно итог сводится к варианту с 2 дверьми(какая, однако, тавтология)EndUser
20.03.2017 17:17+1С изначальной сотней дверей тоже сводится к двум. Фокус в чём-то другом.
andyudol
23.03.2017 16:11Фокус в том, что надо вовремя переходить от статистике к логике. После того, как одно из событий «приз за дверью» произошло, открывание/закрывание дверей на его вероятность уже не влияет Поэтому вероятность, что приз не за выбранной дверью, а за другой не зависит от того, открыта ли одна из этих дверей, и равна 2/3.
alexeykuzmin0
20.03.2017 15:10Но и системе 1 большое количество испытаний позволяет принимать правильные решения.
Вообще-то, не всегда. Статья уже была здесь на эту тему: https://habrahabr.ru/post/313452/ В том числе там сказано, что немного людей за 30 дней заметили закономерность, сильно меньше, чем число голубей, заметивших закономерность за те же 30 дней.
Varim
20.03.2017 19:32циклов 1000000
случайно переключился раз: 499840
случайно не переключился раз 500160
Удачных случайных переключений 334295
Удачных случайных не пеерключений 167353
Удачно настойчиво удержался от смены 332898
Удачно настойчиво менял дверь 667102
C# code, console applicationusing System; namespace MontyHallProblem { class Doors { private readonly Random _hasPrizeRandom = new Random(); private readonly Random _openedByMontyHallRandom = new Random(); public int NumberOfDoorWhichHasPrize { get; private set; } public int NumberOfDoorWhichChosenByPlayer { get; set; } public int NumberOfDoorWhichOpenedByMontyHall { get; private set; } public void Init() { NumberOfDoorWhichHasPrize = _hasPrizeRandom.Next(1, 4); // 1 - 3 } public void MontyHallOpens() { int randomShift = _openedByMontyHallRandom.Next(1, 3); // offset 1 or 2 if (NumberOfDoorWhichHasPrize == NumberOfDoorWhichChosenByPlayer) { NumberOfDoorWhichOpenedByMontyHall = (NumberOfDoorWhichHasPrize + randomShift + 2) % 3 + 1; //1 2 3 //2 2 1 //3 2 2 //1 1 2 //2 1 3 //3 1 1 } else { NumberOfDoorWhichOpenedByMontyHall = 6 - NumberOfDoorWhichHasPrize - NumberOfDoorWhichChosenByPlayer; // room 1+2+3 = 6 //1 2 3 = 6 //1 3 2 //2 1 3 //2 3 1 //3 2 1 //3 1 2 } } } class Player { private readonly Random _choiceRandom = new Random(); private readonly Random _randomStickOrSwitch = new Random(); int _countRandomStickOrSwitch; int _countRandomMustSwitch; int _countRandomMustNotSwitch; int _sumRandomStickOrSwitchWhenNoSwitch; int _sumRandomStickOrSwitchWhenYesSwitch; int _sumStick; int _sumSwitch; public void Choice(Doors doors) { doors.NumberOfDoorWhichChosenByPlayer = _choiceRandom.Next(1, 4); } public void CalculateRandomStickOrSwitch(Doors doors) { bool mustRandomSwitch = _randomStickOrSwitch.Next(0, 2) == 1; // 0 or 1 _countRandomStickOrSwitch++; if (mustRandomSwitch) { _countRandomMustSwitch++; if (doors.NumberOfDoorWhichChosenByPlayer != doors.NumberOfDoorWhichHasPrize) { _sumRandomStickOrSwitchWhenYesSwitch++; } } else { _countRandomMustNotSwitch++; if (doors.NumberOfDoorWhichChosenByPlayer == doors.NumberOfDoorWhichHasPrize) { _sumRandomStickOrSwitchWhenNoSwitch++; } } } public void CalculateStick(Doors doors) { if (doors.NumberOfDoorWhichChosenByPlayer == doors.NumberOfDoorWhichHasPrize) { _sumStick++; } } public void CalculateSwitch(Doors doors) { if (doors.NumberOfDoorWhichChosenByPlayer != doors.NumberOfDoorWhichHasPrize) { _sumSwitch++; } } public void PrintResult() { Console.WriteLine($"циклов {_countRandomStickOrSwitch}"); Console.WriteLine($"случайно переключился раз: {_countRandomMustSwitch}"); Console.WriteLine($"случайно не переключился раз {_countRandomMustNotSwitch}"); Console.WriteLine($"Удачных случайных переключений {_sumRandomStickOrSwitchWhenYesSwitch}"); Console.WriteLine($"Удачных случайных не пеерключений {_sumRandomStickOrSwitchWhenNoSwitch}"); Console.WriteLine($"Удачно настойчиво удержался от смены {_sumStick}"); Console.WriteLine($"Удачно настойчиво менял дверь {_sumSwitch}"); } } class Program { static void Main() { Player player = new Player(); for (int i = 0; i < 1_000_000; i++) { Doors doors = new Doors(); doors.Init(); player.Choice(doors); doors.MontyHallOpens(); player.CalculateRandomStickOrSwitch(doors); player.CalculateStick(doors); player.CalculateSwitch(doors); if (i % 100_000 == 0) { Console.WriteLine(i); } } player.PrintResult(); } } }
Wesha
21.03.2017 02:56Если вы меняете выбор двери после действий ведущего И если изначально выбрали проигрышную дверь, то вы выигрываете (и наоборот). А шанс изначально выбрать проигрышную дверь — 2/3.
А хохма, которую мало кто осознаёт — в том, что ведущий своими действиями изменяет ситуацию, передавая вам один бит информации — открывая дверь, он передаёт вам информацию о том, что "за конкретно этой дверью приза нет".
andyudol
23.03.2017 16:22«А шанс изначально выбрать проигрышную дверь — 2/3». Почему? Вероятность угадать, где приз равна произведению вероятности, что игрок выберет одну из дверей, на вероятность, что приз за этой дверью. Вторая из них по условию равна 1/3. Следовательно, если произведение равно 2/3, то первая из них равна 2/9. Ниоткуда не следует, что игрок выбирает дверь именно с этой вероятностью.
Wesha
24.03.2017 00:02+1Вероятность угадать, где приз равна произведению вероятности, что игрок выберет одну из дверей, на вероятность, что приз за этой дверью.
"Ладно, раз не хотите по-плохому — помните: по-хорошему будет хуже."
Если Вы стали разбирать условные вероятности ("если приз за дверью Х И игрок выбрал дверь Y"), то их просуммировать нужно для всех случаев, а Вы это забыли сделать. Что ожидаемо приводит к тому, что я с самого начала написал.
Если объяснять на пальцах, то мы имеем 9 равновероятных ситуаций (в предположении, что игрок подбрасывает трёхстороннюю монетку):
- Приз за дверью 1, игрок выбрал дверь 1 => выигрыш
- Приз за дверью 1, игрок выбрал дверь 2
- Приз за дверью 1, игрок выбрал дверь 3
- Приз за дверью 1, игрок выбрал дверь 1
- Приз за дверью 2, игрок выбрал дверь 2 => выигрыш
- Приз за дверью 2, игрок выбрал дверь 3
- Приз за дверью 2, игрок выбрал дверь 1
- Приз за дверью 3, игрок выбрал дверь 2
- Приз за дверью 3, игрок выбрал дверь 3 => выигрыш
Итого вероятность "угадать дверь с первого раза" = 1/9 + 1/9 + 1/9 = 1/3, а не угадать — соответственно 2/3.
barker
О, Монти Холл снова… ждём в комментариях самоуверенных непониманцев математики)
robert_ayrapetyan
Набегут, потому что в данной задаче критична точность формулировки (см. «Другое поведение ведущего» в соотв. разделе википедии). Там далеко не всегда смена двери дает выигрыш.