Теорему Байеса называют мощным методом создания нового знания, но её можно использовать и для рекламы суеверий и псевдонауки
Теорема Байеса стала такой популярной, что её даже показали в телешоу «Теория Большого взрыва». Но, как и любой инструмент, её можно использовать во благо или во вред.
Не знаю точно, когда впервые я услышал про неё. Но по-настоящему я начал проявлять интерес к ней только в последние лет десять, после того, как несколько самых больших ботанов из моих студентов начали рекламировать её как волшебного проводника в жизни.
Разглагольствования студентов запутали меня, как и объяснения теоремы на Википедии и других сайтах – они были либо совсем тупые, либо слишком сложные. Я решил, что Байес – преходящая причуда, и в глубоких исследованиях смысла нет. Но теперь байесовская лихорадка стала слишком назойливой, чтобы её игнорировать.
Как пишет The New York Times, байесовская статистика «проникает везде, от физики до исследований рака, от экологии до психологии». Физики предложили байесовские трактовки квантовой механики и байесовские защиты теории струн и теории мультивселенных. Философы рассуждают о том, что всю науку в целом можно рассматривать, как байесовский процесс, и что Байес помогает отличить науку от псевдонауки лучше, чем метод фальсифицируемости, популяризованный Карлом Поппером.
Исследователи искусственного интеллекта, включая разработчиков робомобилей в Google, применяют ПО Байеса, чтобы помогать машинам распознавать закономерности и принимать решения. Байесовские программы, согласно Шэрон Бёрщ Макгрейн [Sharon Bertsch McGrayne], автору популярной истории теоремы Байеса, «сортируют емейл и спам, оценивают медицинские риски и государственную безопасность, расшифровывают ДНК, прочее». На сайте Edge.org физик Джон Мэтер беспокоится, что байесовые машины могут стать настолько умными, что вытеснят людей.
Когнитивисты предполагают, что в нашем мозге работают алгоритмы Байеса, когда он ощущает, размышляет и принимает решения. В ноябре учёные и философы изучали эту возможность на конференции в Нью-Йоркском университете под названием «Работает ли мозг по Байесу?»
Фанатики настаивают, что если бы больше людей приняло метод мышления Байеса (вместо бессознательной работы по Байесу, которая, якобы, идёт в мозге), мир был бы гораздо лучше. В статье «Интуитивное объяснение теоремы Байеса» теоретик ИИ Элизер Юдковский говорит об обожании Байеса:
«Почему математическая концепция вызывает такой странный энтузиазм среди её изучающих? Что есть т.н. „байесовская революция“, которая прокатывается по различным областям науки, заявляющая о поглощении даже экспериментальных методов как особых случаев? Что за секрет известен приверженцам Байеса? Какой свет они увидели? Скоро вы узнаете. Скоро вы будете одним из нас». Юдковский шутит. Или нет?
Из-за всей этой шумихи я попытался раз и навсегда разобраться с Байесом. Лучшие из объяснений теоремы среди бесчисленного их множества в интернете я нашёл у Юдковского, в Википедии и в работах философа Кёртиса Брауна и специалистов по информатике Оскара Бонилла и Калида Азада. Сейчас я попытаюсь, в основном и для себя тоже, объяснить, в чём суть теоремы.
Теорема Байеса, названная так в честь пресвитерианского священника XVIII века Томаса Байеса [правильная транскрипция – Бейз / прим. перев.] – это метод подсчёта обоснованности верований (гипотез, заявлений, предложений) на основе имеющихся доказательств (наблюдений, данных, информации). Наипростейшая версия звучит так:
изначальная вера + новые свидетельства = новая, улучшенная вера
Если подробнее: вероятность того, что убеждение истинно с учётом новых свидетельств равна вероятности того, что убеждение было истинно без этих свидетельств, помноженной на вероятность того, что свидетельства истинны в случае истинности убеждений, и делённой на вероятность того, что свидетельства истинны вне зависимости от истинности убеждений. Понятно?
Простая математическая формула выглядит так:
P(B|E) = P(B) * P(E|B) / P(E)
Где P – вероятность, B – убеждение, E – свидетельства. P(B) – вероятность того, что B – истинно, P(E) – вероятность того, что E истинно. P(B|E) – вероятность B в случае истинности E, а P(E|B) – вероятность E в случае истинности B.
Для демонстрации работы формулы часто используют пример с медицинскими анализами. Допустим, вас проверяют на наличие рака, который появляется у 1% людей вашего возраста. Если тест на 100% надёжен, то вам не нужна теорема Байеса, чтобы понять, что означает положительный результат – но давайте просто посмотрим на такую ситуацию для примера.
Чтобы подсчитать значение P(B|E), нужно разместить данные в правой части уравнения. P(B), вероятность того, что у вас рак до тестирования, равна 1%, или 0,01. Такова же и P(E), вероятность того, что результат теста будет положительным. Так как они стоят в числителе и знаменателе, они сокращаются, и остаётся P(B|E) = P(E|B) = 1. Если результат анализов будет положительный, у вас рак, и наоборот.
В реальном мире надёжность анализов редко достигает 100%. Допустим, ваш тест надёжен на 99%. То есть, 99 из 100 человек, больных раком, получат положительный результат, и 99 здоровых людей из 100 получат отрицательный результат. И это всё равно будет удивительно надёжный тест. Вопрос: если ваш тест положительный, какова вероятность того, что у вас рак?
Вот теперь теорема Байеса показывает всю мощь. Большинство людей посчитают, что ответ — 99%, или где-то так. Ведь тест настолько надёжен, верно? Но правильный ответ будет – всего лишь 50%.
Чтобы узнать, почему, вставьте данные в правую часть уравнения. P(B) всё ещё равна 0,01. P(E|B), вероятность получить положительный тест в случае рака, равна 0,99. P(B) * P(E|B) = 0,01 * 0,99 = 0,0099. Такова вероятность того, что вы получите положительный тест, показывающий, что вы больны.
Что насчёт знаменателя, P(E)? Тут есть небольшая хитрость. P(E) – вероятность получить положительный тест вне зависимости от того, больны ли вы. Иначе говоря, в неё входят ложные положительные срабатывания и истинные положительные срабатывания.
Чтобы подсчитать вероятность ложного положительного срабатывания, нужно умножить количество ложных срабатываний, 1% или 0,01, на процент людей, не больных раком – 0,99. Получается 0,0099. Да, ваш отличный тест с 99%-й точностью выдаёт столько же ложных срабатываний, сколько и истинных.
Закончим подсчёты. Чтобы получить P(E), сложим истинные и ложные срабатывания, получим 0,0198, поделим на это 0,0099, и получим 0,5. Итак, P(B|E), вероятность того, что у вас есть рак в случае положительного теста, равна 50%.
Если вы ещё раз пройдёте тест, то можете кардинально уменьшить неопределённость, поскольку вероятность наличия у вас рака P(B) будет уже 50% вместо 1. Если второй тест тоже будет положительным, по теореме Байеса вероятность наличия у вас рака будет равна 99%, или 0,99. Как показывает этот пример, повторение теоремы может дать очень точный ответ.
Но если надёжность теста 90%, что совсем неплохо, шансы на наличие у вас рака даже в случае дважды полученных положительных результатов всё ещё меньше 50%.
Большинство людей, включая врачей, с трудом понимают это распределение шансов, что объясняет излишнее количество диагнозов и лечений рака и других болезней. Этот пример говорит о том, что байесианцы правы: мир был бы лучше, если бы больше людей – хотя бы больше пациентов и врачей – приняли бы байесовскую логику.
С другой стороны, теорема Байеса – это лишь сведение в кодекс здравого смысла. Как пишет Юдковский к концу своего обучающего материала: «К этому моменту теорема Байеса может казаться совершенно очевидной и напоминать тавтологию, вместо того чтобы быть удивительной и новой. В таком случае это введение достигло своей цели».
Возвращаясь к примеру с раком: теорема Байеса говорит, что вероятность наличия у вас рака в случае положительных результатов теста равна вероятности получения истинного положительного результата, делённой на вероятность всех положительных результатов, истинных и ложных. В общем, остерегайтесь ложных положительных результатов.
Вот моё обобщение этого принципа: достоверность вашего убеждения зависит от того, насколько сильно ваше убеждение объясняет существующие факты. Чем больше вариантов объяснения фактов, тем менее достоверно ваше личное убеждение. С моей точки зрения, в этом состоит суть теоремы.
«Альтернативные объяснения» могут включать в себя много всего. Ваши факты могут быть ложными, полученными при помощи неправильно сработавшего инструмента, неверного анализа, склонности к получению нужного результата и даже подделанными. Ваши факты могут быть точными, но их могут объяснять множество других убеждений или гипотез.
Иначе говоря, в теореме Байеса нет никакого волшебства. Всё сводится к тому, что ваши убеждения достоверны настолько, насколько верны свидетельства в их пользу. Если у вас есть хорошие доказательства, теорема выдаёт годные результаты. Если доказательства так себе, теорема вам не поможет. Мусор на входе, мусор на выходе.
Проблемы с теоремой могут начинаться с величины P(B), изначального предположения по поводу вероятности ваших убеждений, часто называемой априорной вероятностью. В примере выше у нас была красивая и точная априорная вероятность 0,01. В реальном мире эксперты спорят по поводу того, как диагностировать и учитывать рак. Ваша априорная вероятность, скорее всего, будет состоять из диапазона, а не из одного числа.
Во многих случаях оценка априорной вероятности основывается лишь на догадках, и позволяет субъективным факторам вкрадываться в подсчёты. Можно догадываться, что вероятность существования чего-либо – в отличие от того же рака – просто нулевая, к примеру, струн, мультивселенной, инфляции или бога. Вы можете ссылаться на сомнительные подтверждения сомнительной веры. В таких случаях теорема Байеса может рекламировать псевдонауку и суеверия, наряду со здравым смыслом.
В теореме содержится назидание: если вы недостаточно скрупулёзно ищете альтернативные объяснения имеющихся свидетельств, то свидетельство лишь подтвердит то, во что вы уже верите. Учёные часто упускают это из вида, что объясняет, почему такое большое количество научных заявлений оказываются неверны. Байесианцы утверждают, что их методы могут помочь учёным преодолеть склонность к поискам подтверждающих их веру фактов и выдавать больше надёжных результатов – но я в этом сомневаюсь.
Как я уже упоминал, некоторые энтузиасты теории струн и мультивселенных используют байесовский анализ. Почему? Потому что энтузиасты устали слышать о том, что теория струн и теория мультивселенной нефальсифицируемы, а следовательно, ненаучны. Теорема Байеса позволяет им представить эти теории в лучшем свете. В этих случаях теорема не уничтожает предвзятость, а потакает ей.
Как писал журналист, работающий с научно-популярными темами, Фэй Флэм в The New York Times, байесовская статистика «не может спасти нас от плохой науки». Теорема Байеса универсальна и может служить любой цели. Выдающийся специалист по байесовской статистике Дональд Рубин работал консультантом табачных компаний на судебных процессах, связанных с полученными от курения заболеваниями.
И всё же я восхищаюсь теоремой Байеса. Она напоминает мне теорию эволюции, ещё одну идею, кажущуюся до тавтологии простой или удручающе глубокой, в зависимости от точки зрения, и точно так же вдохновившую людей как на всякий вздор, так и на удивительные открытия.
Возможно, оттого, что мой мозг работает по Байесу, мне повсюду начинают видеться аллюзии на эту теорему. Пролистывая собрание сочинений Эдгара Аллана По на своём Kindle, я наткнулся на следующее предложение из «Повести о приключениях Артура Гордона Пима»: «В силу наших пристрастий или предубеждений мы не способны извлекать урок даже из самых очевидных вещей» [пер. Георгий Павлович Злобин].
Учитывайте это перед тем, как записываться в приверженцы Байеса.
Комментарии (71)
redmanmale
16.06.2017 15:28+5Я просто оставлю это здесь.
http://hpmor.com или http://hpmor.ru/AllexIn
16.06.2017 16:30Хм. Заинтересовался…
Начал читать… И сразу диссонанс словил.
ПРофессор, якобы приверженец научного подхода, которые отрицает существование чего-то, потому что оно противоречит его пониманию мира? ЛОЛ. Это не научный подход.
Сейчас появись магия — ученые не закроют глаза и не убегут в страхе, утверждая что такого быть не может.
А от ец Гарри из этой книге похоже именно так и поступит.AllexIn
16.06.2017 16:34-12Добрый день. Я так понимаю, вы отец Гарри? А может обоснуете свой минус, ну так. ради интереса?
seminole
16.06.2017 16:57+6большинство людей, а особенно профессора категоричны и уверены в своём единственно правильном понимании мира. У профессоров твердолобость это вообще профзаболевание, не излучающий единственно-правильное мнения профессор, не есть авторитет для студента, не может эффективно передать знание. Он ведь не уверен что прав, кто его будет слушать.
Кстати насколько я помню в hpmor папа Гарри вполне себе согласился отпустить сына несмотря на своё профзаболевание.
mayorovp
16.06.2017 16:44+4Во-первых, не все профессора действительно понимают что такое научный подход (я лично видел по меньшей мере троих непонимающих).
Во-вторых, пришедшее письмо — еще не доказательство существования магии. Как говорится, экстраординарные утверждения требуют экстраординарных доказательств. Вы хоть до встречи с МакГонагалл там дочитали?
В-третьих, самому профессору выбора убегать или исследовать никто и не давал. Исследованиями магии с позиций научного подхода может заняться только Гарри — и занимается.
PS вы правда думаете, что так легко написать комментарий за 4 минуты?
AllexIn
16.06.2017 16:59-21. Книга позиционируется как научная, а также отличающаяся образование Гарри за счет умного приемного отца. Начало характеризует отца как не умного.
2. Речь не о том, что нет доказательств. Речь об отрабасывании возможных путей для выяснения. Да еще и пасынку: «Ты что проверять собрался? Ты что, допускаешь возможность?»
Меня вот это «допускаешь» смущает. Все нормальные ученые которых я видел — допускают возможность всего чего угодно. Просто не считают вероятность ряда событиями достаточной, чтобы на них внимание обращать. Но уверен, если появится повод — они обратят внимание. У семьи Гарри повод обратить внимание 100% есть.
3. А я не говорю о его выборе. Я говорю о его отношении к выбору пасынка. Отношение: Ты лузер, если начал проверять то, во что я не верю.mayorovp
16.06.2017 17:19+1Своим образованием Гарри обязан книгам в отцовской библиотеке. Главное что сделал приемный отец — это научил их читать и любить.
Отношение к выбору Гарри вы тоже как-то не так уловили. Дело не в вере, ему просто в тот момент важнее переспорить жену чем принять правильное решение.
daiver19
16.06.2017 20:57+5Даже отбросив неидеальность отца Гарри фраза «Все нормальные ученые которых я видел — допускают возможность всего чего угодно.» звучит весьма абсурдно. Нельзя применить научный метод к ненаучным гипотезам, например.
sayanlar
16.06.2017 21:55+3Просто читайте дальше. Это же художественное произведение, и там среди прочего есть ряд загадок о том, почему некоторые люди ведут себя не идеально-логично. Чтение очень увлекательное.
Мне пришлось пройти некоторые моменты по три раза, прежде чем я убедился, что все ключи к решениям были изложены, и изложены корректно.
Thero
19.06.2017 23:23это цельноюмористический фанфик от человека в некоторой степени связанного с наукой… но это не важно…
важно то что вы претендуя на разумность сводите спектр допустимых суждений человека к стереотипу созданному в вашем разуме, но более всего досадно что вы этот стереотип пытаетесь навязать окружающим, а за такое не только минус получить можно…
Politura
21.06.2017 18:15+1Начало характеризует отца как не умного.
В книге последователем научного подхода является сам Гарри, но не его отец. Своего отца он характеризует так:
отец наверняка смог бы меня переспорить, если бы попытался, а не использовал свой опыт и интеллект главным образом на то, чтобы находить всё новые причины не менять свои убеждения.
Полагаю, это шпилька в сторону профессоров (да и не толко профессоров) утративших критичный взгляд на вещи, сделав выбор в пользу своего устоявшегося видения картины мира.
Antibiotic
21.06.2017 18:15+1То есть если профессор посчитал присчитал приглашение в школу магии чушью — это не реалистично, профессор так себя бы не повёл, я правильно понял? =)
vesper-bot
16.06.2017 16:25Заметим, что если P(B)=0, то вне зависимости от P(Е) P(B|E) останется нулем. Отсюда следует, что упертых нельзя переубедить, а также интересный ответ на ВСЕ диспуты между верующими и атеистами (равно как и всеми остальными, кто не рассматривает противоположную точку зрения) — они, к сожалению, бесполезны. Убедить можно только сомневающихся.
(PS: Если P(E)=1, а P(B)=0, возникает разрыв шаблона.)
mayorovp
16.06.2017 16:27+1Нет, не возникает. Более того, свидетельство с P(E)=1 не несет никакой информации, а потому не может вызвать разрыв шаблона.
Ситуацию "разрыв шаблона" я бы скорее описал как P(E | B) = 0.
xMushroom
16.06.2017 17:24А что здесь разрывошаблонного? Вероятность свидетельства при условии истинности теории равна 0, проще говоря, теория утверждает: "Такого не бывает". Если "такое" всё-таки случилось, то теория неверна, так и получается при P(E|B) = 0, P(B|E) тоже будет 0, по-моему, всё логично.
vesper-bot
19.06.2017 11:31Хмм. Типичный диалог верующего с атеистом вертится вокруг фразы "Бог есть" (B). Для атеиста P(B)=0. Это его теория или убеждение. Далее, верующий приводит "свидетельство" Е, скажем, объект "Туринская плащаница". Вопрос, я правильно обозначил его как Е, или Е в данном конкретном случае будет утверждением вроде "Туринская плащаница содержит нерукотворное изображение, созданное божественным вмешательством, следовательно, Бог есть"? Если неправильно, то P(E)<1, строго говоря. Утверждение "Туринская плащаница есть", будет иметь P(E)=1, так как её существование можно проверить. Но такое утверждение не является прямым свидетельством теории (В).
Насчет разрыва шаблона — поправка правильная, в моем случае тогда правильно инвертировать B (иначе P(E|0) не имеет нормального смысла, нельзя определить условную вероятность при нулевой вероятности условия). Получаем P(notB)=1, P(E|notB)=0, т.е. то же, что у вас. (Хорошая штука бинарная логика, если двумя разными путями получен один результат, значит, он верен в рамках использованного мат.аппарата. Фуух)
mayorovp
19.06.2017 11:52Вообще-то условная вероятность при нулевой вероятности условия замечательно определяется. Например, когда оказываются взаимосвязаны дискретная случайная величина и непрерывная. Это во-первых.
А во-вторых, смысл условных вероятностей заключается как раз в том, что их зачастую можно вычислить не через определение, а альтернативными способами.
GeMir
16.06.2017 17:05+3«В этих случаях теорема не уничтожает предвзятость, а потакает ей.» — ни теорема, ни Томас Бейз не виноваты в том, что кто-то применяет доказанное утверждение, преследуя свои цели.
Ну и всё же:
Godless
17.06.2017 02:17Занятно теперь молодежь развлекается)
немного оффтопаНапомните плиз, как называется синдром, когда человек, в силу недостаточности знаний делает неверное предположение, а потом проверяет его, но опять в силу недостаточности знаний подтверждает свое предположение, и далее считает что его предположение верно.
Вроде это из психологии и вроде название состоит из двойной фамилии… Никак не могу вспомнить и нагуглить…
five
17.06.2017 03:17+1
BigBeaver
17.06.2017 13:20+4На саммом деле, Эффект Даннинга — Крюгера лишь следствие. Само же явление в данной формулировке получается из сочетания систематической ошибки выбора (например из-за недостаточного кругозора) и предвзятости подтверждения (неправильная методика проверки гипотез).
SanekPlus
17.06.2017 03:19Блин магия какая-то. Как так не могу понять. Если точность теста 50%. То что говорят тогда нам цифры 1% из 100%? Так 50% из 100% или 1% из 100%? Ничего не понял.
p.s. Точность теста же дана после одного раза его прохождения.SanekPlus
17.06.2017 03:24-1p.s.s. А или типа как: точность теста 1% из 100, но никто не знает кто этот 1% и вероятность попасть в этот 1% у каждого 50%, так как у всех равный шанс в него попасть. Правильно? ЛОЛ.
Thero
19.06.2017 23:28специально же расписано что точность теста 99% это 99 положительных срабатываний у ста больных и 99 отрицательных у ста здоровых, а 50% это вероятность того что у вас рак при положительном срабатывании такого теста и начальной вероятности того что вы больны раком в 1%.
Nubus
17.06.2017 09:21После первого срабатывания у вас остается шанс 50% что тест ошибся именно в ПОЛОЖИТЕЛЬНОМ срабатывании. То есть если второй тест вышел негативным, то с Большей вероятностью вы здоровы, если второй тест тоже положителен то вы 99% больны раком.
Грубо говоря, даже на 90% надежных системах нужна минимум 4х проверка для подтверждения Положительного результата.Googlist
17.06.2017 17:11-1Єто ж очевидно как встретить на улице динозавра — 50%, или больньі или нет)
HappyLynx
17.06.2017 10:57Теорема Байеса вам как раз говорит о том, что не нужно забывать про те случаи, когда тест положителен при ложности теории.
Т.е. допустим, у вас есть некоторая теория А, при истинности которой со 100% вероятностью наступает некое следствие Б. Так вот теорема Байеса говорит вам, что если вы в процессе иследований встретили Б, то это еще не значит, что теория А верна, т.к. к Б могло привести нечто другое.
Пример:
Контекст — теорема Пифагора доказана и верна.
Теория А — все треугольники прямоугольные.
Следствие Б — если в треугольнике две меньшие стороны равны 3 и 4 метра, то третья сторона равна 5.
В процессе иследований вы берете произвольный треугольник с двумя меньшими сторонами 3 и 4 метра, измеряете большую сторону у треугольника, и её длина оказывается равна 5 метрам.
Теорема Байеса предостерегает вас от вывода, что наблюдение следствия Б (стороны 3, 4 и 5) доказывает вашу теорию (все треугольники прямоугольные). И говорит вам: «А ты уверен, что при ложности твоей теории А следствие Б не могло бы произойти?»
xMushroom
17.06.2017 11:20+2В первом случае за 100% берутся больные люди. То есть если тестировать только людей, которые точно больны, то тест ошибается только в 1% случаев. Во втором 100% вообще всех людей (и здоровых, и больных), тогда тест ошибается в 50% случаев.
SanekPlus
17.06.2017 15:09То есть любой медицинский тест который обещает точность 99% (как правило меньше) бесполезен? Ведь каждый раз проверяя обычных людей тест будет давать 50% шанс. Раз проверился — болен, второй раз — не болен, третий раз снова болен, и так до бесконечности. :))
swelf
17.06.2017 15:34Нет, только в случае
1)Каждый сотый болен раком
2)точность теста 99%.
Допустим раком болен каждый тысячный, а точность по прежнему 99%, тогда при положительном тесте вероятность что вы больны = 9%
0.001*0.99/(0.01*0.999+0.01*0.999) если я ничего не напутал, для меня это сюрприз конечно), повторный тест позволит либо апровегнуть результа предыдущего, либо увеличить вероятность что он все же верен.
xMushroom
17.06.2017 20:08+2Нет, не так, и я не совсем правильно написал. Тест ошибается в 50% не всех случаев, а только в 50% от случаев, когда результат теста положительный.
Грубо говоря, возьмём 100 человек (100%) и протестируем. 1 из них болен (1% больных), ему тест наверняка покажет, что он больной (вероятность ошибки всего 1%). Остается 99 здоровых. Одному из них тест тоже покажет, что он больной (1% от 99 — чуть меньше 1, но не принципиально), хотя он здоров. Таким образом, имеем 2 человека, которым тест показал, что они больные, но болен из них только 1. У каждого из них всего 50% шанс, что именно он больной.
xMushroom
17.06.2017 20:27+1Так что польза от теста вполне практическая. Если тест показал отрицательный результат, то человек 99% здоров. Если результат положительный, то паниковать рано (вероятность всего 50%), но перепровериться надо, второй тест даст однозначный ответ — так как человек уже не в 1%, а аж 50% группе риска, вторая ошибка очень маловероятна.
suslovas
19.06.2017 08:41Это все отлично работает в мире, где ложноположительные и ложноотрицательные результаты теста истинно случайны. В нашем мире ложноположительный результат теста может быть спровоцирован, например, гормональным сбоем в организме, который не соответствует проверяемому диагнозу, тогда тест останется ложноположительным, проведите вы его хоть 100 раз подряд. Это, почему-то, не учитывается адептами данной теоремы. Или я что-то не так понимаю?
mayorovp
19.06.2017 10:14В ситуации, когда возможна систематическая ошибка, повторные проверки делаются по другой методике.
xMushroom
19.06.2017 12:35Естественно, это упрощённый пример для понимания сути теоремы, в нём много чего не учитывается.
BigBeaver
19.06.2017 12:45В описанной модели теста ошибка теста является истинно случайной величиной, подчиняющейся эргодическому закону) Если в действительности она не обладает этими свойствами, то это проблема оценки точности теста, а не теоремы Байеса. То есть да, модель все еще упрощенная по отношению к реальности, но уже лучше, чем было бы, если бы мы руководствовались только данными теста без оглядки на Байеса.
p.s. Эргодичность, в принципе, неплохо проверяется: берем у 100 человек 100 анализов. Если распределение ошибки внутри выборки по каждому пациенту совпадает с распределением между пациентами, то все хорошо.
p.p.s. все еще остается шанс, что есть какие-то уникумы 1 на миллион, но шанс их наличия примерно известен, и можно внести в формулу рассчета по теореме нужную поправку.
p.p.p.s.тогда тест останется ложноположительным, проведите вы его хоть 100 раз подряд
Речь идет только о вероятности, а в указанном примере она никогда не будет строго равна единице.
vbif
17.06.2017 16:01+2На картинке наверное нагляднее будет: нижняя строка — наличие рака, правая колонка — ошибки диагноза. Синий цвет — истинно положительные результаты, зелёный — ложноположительные. Число клеток с истинным и ложным положительным результатом равно, следовательно при точности теста 99% вероятность, что положительный результат — ложный, равна 50%
Symphel
18.06.2017 09:34+1Если взять случайного человека из группы риска в 1% проходить тест с ошибкой первого и второго рода 1%, положительный результат будет верен с вероятностью 50%.
Не стоит применять эти расчеты в жизни, в них не учитывается, что анализы сдают не случайные люди, а те, в отношении кого уже имеются подозрения, и там вероятность ложного срабатывания будет меньше, т.к. в выборке будет значительно больший процент больных.
Railwayman
21.06.2017 18:15Можно разобраться и без всяких теорем. Рассмотрим только положительные результаты. Они складываются из правильно определенных больных и ложноположительных. И в данном случае их пополам: примерно 0.01 за счет правильно определенных больных и примерно 0.01 за счет ошибки диагностики. Итого получается, что 50%
Pположительногорезультата = 0.01(вероятность болезни)*0.99 (вероятность правильного определения) + 0.99 (вероятность здоровья)*(1-0.99)(вероятность ошибки)
Слагаемые равны, значит, если у кого-то положительный результат, с вероятностью 50% результат ложноположительный.
Den_Che
18.06.2017 23:52На основе примера с раком, получается, что P(E) = P(E I B) + P(E I notB),
где первое вероятность истинно положительного результата теста, а второе — ложно положительного.
Тогда подсчет P(E) становится более очевидным. Это общий случай или только для данного примера подходит?Den_Che
19.06.2017 00:03точнее: P(E) = P(E I B) * P(B) + P(E I notB) * P( notB )
вопрос остается: Это общий случай или только для данного примера подходит?mayorovp
19.06.2017 10:19Вы только что написали формулу полной вероятности для n=2.
Более общая формула:
P(E) = P(E | B1) P(B1) + P(E | B2) P(B2) +… + P(E | Bn) P(Bn) при условии что {B1, B2, ..., Bn} — полная группа событий.
MisterTvister
21.06.2017 18:15А с чем связан такой возникший ажиотаж? Теоремма очень не новая, но что то я раньше не слышал о её «чудесных» свойствах.
Pearl_Diver
21.06.2017 18:15Любая теорема подразумевает доказательство.
Очень хорошо изложена суть теоремы. Добавить доказательство (тем боле что оно занимает 2 строчки) — и это была бы просто идеальная статья.
P.S. Не в порядке замечания переводчику.
SaniaA3
21.06.2017 18:15-1Из данной статьи можно понять, что статья, в которой журналист выдает себя за ученого — намного хуже, чем статья, в которой журналист насилует ученого.
Формула не дописана. Давайте проведем мысленный эксперимент. Возьмем 1000 человек и проведем им 99% тест на рак, у 10 человек тест даст положительный результат — может ли рак на самом деле быть у 5 человек (по статье 50%), а у 5 тест даст ложный результат? Для ответа на этот вопрос нужно знать — а сколько вообще человек из 1000 на самом деле болеют раком (это и есть ключевой параметр в теореме, о котором в статье ни слова)
Если раком болеет 1 человек из 10 000, то при проверке 10 000 человек тест даст 100 положительных результатов, хотя мы знаем что на самом деле болеет только 1 (т.е. вероятность что вы больны около 1%).
Если раком болеет 1 из 200, то при проверке 200 человек — тест даст 2 положительных результата и вероятность что у вас рак действительно будет около 50%.xMushroom
21.06.2017 20:59+1По-моему, вы невнимательно прочитали статью. Всё там есть:
Допустим, вас проверяют на наличие рака, который появляется у 1% людей вашего возраста.
И в расчётах эта цифра фигурирует:P(B), вероятность того, что у вас рак до тестирования, равна 1%, или 0,01.
Vseknopkin
21.06.2017 18:15Объясните, пожалуйста, гуманитарию.
В приведенном в тексте примере утверждается: «Да, ваш отличный тест с 99%-й точностью выдаёт столько же ложных срабатываний, сколько и истинных».
То есть, «столько же» — это в абсолютном выражении?
Ну, то есть: была группа из десяти тысяч испытуемых, из которых сто больны раком. Сделали десять тысяч тестов, выявили девяносто девять из ста больных людей. Среди оставшихся 9900 здоровых людей у девяноста девяти тест выдал ложно-положительный результат.
А затем делается мощный вывод: здесь 99, там 99, 99/198 = 0,5, значит, вероятность наличия болезни 0,5. Если приверженцы теоремы так оценивают вероятность события, то это — адовая казуистика.
Весь практический смысл — не исключать вариантов, для которых нет ни подтверждения, ни опровержения. О чем, в общем-то, и говорит автор.
P.S. Статья интересная, спасибо!vbif
21.06.2017 18:35+1А затем делается мощный вывод: здесь 99, там 99, 99/198 = 0,5, значит, вероятность наличия болезни 0,5. Если приверженцы теоремы так оценивают вероятность события, то это — адовая казуистика.
Я не понял, что именно вам не нравится? Плюс, если теорема доказана, то нет смысла говорить о «приверженцах».Vseknopkin
22.06.2017 13:56Пока комментарий был на модерации, уже разобрался в вопросе. Нравится всё. Сделал для себя полезные выводы, по новому теперь оцениваю вклад ложноположительных срабатываний систем мониторинга на работе в общую картину доступности ИТ-инфраструктуры. Будем с ними (срабатываниями) бороться посильно.
Согласен с комментарием xMushroom ниже, что иная формулировка фразы сделала бы ее понятнее.
xMushroom
21.06.2017 21:06Полагаю, автор просто пропустил слово «положительных», решив, что оно и так понятно из предыдущих рассуждений. С Байесом лучшего такого не делать, а то и самому запутаться недолго. :)
Правильно это должно было звучать:
Да, ваш отличный тест с 99%-й точностью выдаёт столько же ложных положительных срабатываний, сколько и истинных положительных.
RexPowerColt
21.06.2017 18:15-1Я вообще не понимаю, почему этот тест назван «на 99% надежным». Это в чистом виде маркетинговый ход. И цифры там подобраны так, что путаница в голове — где логическая зависимость, а где численное равенство.
Указал наличие болезни Тест_№ Больные(Б%) Здоровые(Зд%) 1 99% 1.0% — здесь сумма больных со здоровыми равна 100% 2 99% 2.7% — здесь сумма Б%+Зд% не равна 100% 3 99% 3.3% — здесь сумма Б%+Зд% не равна 100%
Я не понимаю, по какому критерию тест №1 был назван «на 90% надежным». Его численные характеристики — Б% («указал наличие болезни у больного») и Зд%(«ложно указал наличие болезни у здорового»).
Сумма Б%+Зд% не должна быть равна 100%!!! Их нельзя складывать, это сложение сапогов с
пирогами! И находить какой-то общий "хэш" для срабатывания по больным и здоровым тоже нельзя, будет искажение информации. Только срабатывания по больным отдельно и по здоровым отдельно.
Складывать нельзя, потому что результат теста — косвенный признак, а не сама болезнь. Сложение же подразумевает идентичность единиц измерения (признаков), и для этого тест ВСЕГДА должен работать верно (типа тот 1% «здоровых» людей на самом деле больны, а 1% «больных» людей на самом деле здоровы). В нашем случае это априори не так…
Politura
21.06.2017 21:10+1Я вообще не понимаю, почему этот тест назван «на 99% надежным». Это в чистом виде маркетинговый ход.
Как по-вашему следует назвать тест, который из 100 проверок в среднем ошибается один раз?
И в чем заключается «маркетинговый ход», если этого теста не существует в природе и он вообще не продается, а был выдуман исключительно для примера?
xMushroom
21.06.2017 21:15+1А разве кто-то говорил, что должна?
Допустим, ваш тест надёжен на 99%. То есть, 99 из 100 человек, больных раком, получат положительный результат, и 99 здоровых людей из 100 получат отрицательный результат.
Вроде тут никто ничего не складывал. Просто для простоты примера в обоих направлениях взяты одинаковые цифры, что и позволило (опять же, для простоты) обозвать тест как в общем на 99% надежный. По-моему, вполне разумное упрощение, пример и так не слишком простой.
Там ещё и вероятность здоровья тоже взята 99%, но вы же понимаете, что это чисто совпадение (взяли красивые цифры для наглядности), и не говорит о взаимозависимости этих величин?
xinQ
21.06.2017 18:15-2Теорема Байеса – это лишь экспресс-метод подсчёта вероятностной обоснованности нового на основе статически имеющихся доказательств свидетельств:
«мнение о выборе нового с обоснованностью есть функция выбора вероятности доказательств суждения из N-матриц: [i-изначальное мнение / i-свидетельства]
По такому же сравнительному принципу работают сейчас многие нейронные сети, отсекая заранее ненужный перебор вероятностей, а также по похожему способу работают скалярные микросхемы.
В итоге результат получают более быстро, но не значит, что точнее. А последующий цикл подбора получается более эффективным.
Здравый смысл в этом методе есть, так как любые отдельные субъективные свидетельства могут быть изменчивы, то только их динамический массив в текущий момент времени дает объективную картину мира. Это и нужно принципу эволюции.
Но это всё усредняет мышление, так как по такому принципу люди, доказывающие теорему Байеса – ну просто «ботаны», не достойные внимания, так как они скрупулёзно доказывающие то, чего нет.
Так как:
«Достоверность вашего убеждения зависит от того, насколько сильно общие убеждения объясняет существующие факты, а чем больше вариантов такого объяснения фактов, тем менее достоверно ваше личное убеждение».
art_of_press
26.06.2017 04:12Закончим подсчёты. Чтобы получить P(E), сложим истинные и ложные срабатывания, получим 0,0198, поделим на это 0,0099, и получим 0,5.
Если вы поделите 0,0198 на 0,0099, то получится 2, а не 0,5. Здесь аргументы перепутаны местами.mayorovp
26.06.2017 11:41Закончим подсчёты. Чтобы получить P(E), сложим истинные и ложные срабатывания, получим 0,0198, поделим на это 0,0099, и получим 0,5.
Все правильно написано.
Smbdy_kiev
Чем больше я знаю, тем больше неизвестного. 100% людей, которые пробовали огурцы, не прожили более 150 лет. И самое любимое: «Иногда кругозор человека сужается до одной точки, это и есть точка зрения» (Конфуций). Я к чему. Заметил следующее: чем больше человек знает, тем он менее категовичен и склонен спорить. Ну а теперь для меня данная статья — ещё одно доказательство этого утверждения. Спасибо, прочёл с удовольствием.
xby
Полностью согласен! Тем более, что и про «точки» и «огурцы» тоже люблю приводить примеры. ))) А насчет "… менее категоричен...", так этому есть объяснение — Эффект Даннинга-Крюгера. У дурака на все есть 1-2 готовых рецепта, а умному надо на основе анализа конкретных исходных данных выбрать наиболее вероятный вариант… )))