Довольно часто в жарких спорах можно услышать обвинение в софизме. Сегодня термин «софист» практически приравнен в обыденном языке к термину демагог, или проще говоря пустослов. Однако античные софисты вряд ли бы с этим согласились. Сегодня я хочу поговорить с вами о том, почему люди, отстаивающие заведомо маргинальную или даже абсурдную позицию, играют одну из ключевых ролей в развитии научного метода.

Я не буду делать подробный экскурс в историю софистов как древнегреческой философской школы, рассказывать о Протагоре и о том, как софисты стали жертвой антипиара Платона, оставим это историкам философии. Я же, следуя подлинно софистическому методу, выдерну из контекста одну из ключевых идей.

Софисты, если говорить современным языком, изучали несовершенство разговорного языка как инструмента познания. Они брали широко используемые способы аргументации и с их помощью строили абсурдные умозаключения.

Вот типичный пример софизма:

«То, что ты не потерял, ты имеешь.

Ты не терял рога.

Значит, ты имеешь рога».

Разумеется, софисты не пытались всерьёз убедить кого-то в наличии у него рогов. Но зачем нужны были тогда подобные софизмы? Они демонстрировали, что такой способ аргументации имеет изъяны, и если кто-то аргументирует подобным образом, то выводы ненадёжны.

Существует неформальная ошибка под названием «аргумент, доказывающий слишком многое». Если с помощью вашего метода доказательств, можно обосновать откровенную чушь, то к такому методу есть вопросы. Такая методологическая проверка известна как «доведение до абсурда».

Забавный факт, под именем «доведение до абсурда» этот способ запихнули в многочисленные списки «логических» ошибок. Правда, там обычно имеется в виду другая неформальная логическая ошибка под названием «подмена тезиса» — такая вот подмена тезиса. Настоящее же доведение до абсурда это метод доказательства во вполне себе формальной логике. Частный его случай — то самое доказательство от противного, известное почти каждому школьнику.

Но вернёмся к нашим софистам. Именно на «аргумент, доказывающий слишком многое» они пытались указать своими софизмами. Их можно сравнить с хакерами: они выявляли уязвимости в системе доказательств на естественном языке. Если способ рассуждения плохо отделяет чушь от здравого смысла, то он ненадёжен.

Сайнстер: Но к счастью, наука всё меньше опирается на естественный язык! Его заменил строгий язык математики. Современный научный метод безупречно отличает истину и ложь! Следуя научным стандартам, невозможно доказать нечто абсурдное! Это вам не язык, где можно играться со сменами контекста и эквивокацией. Любая научная статья — это доказательство истины! Математику не обманешь!

Это довольно распространённая позиция. И чтобы обсудить её, я начну с истории Мишеля Гоклена. В своих работах он применил статистические методы к астрологии, чтобы проверить её ключевые постулаты. Например, он предложил астрологам отличить по дате рождения известных преступников от обычных людей. Они справились не лучше, чем монетка.

Гоклен последовательно критиковал основные постулаты астрологии, раз за разом, опровергая их в своих исследованиях. Казалось бы, приговор астрологии вынесен. Но Гоклен не остановился. Изучая статистические корреляции, он обнаружил странный эффект: среди известных спортсменов значительно чаще встречались люди, рождённые под «влиянием» Марса. И этот результат был статистически значим.

Разумеется, этим заинтересовались скептики. В частности, «Комитет скептических расследований» — организация, разоблачающая псевдонауку. Они были не первыми, кто проверял результаты Гоклена, но в отличие от своих бельгийских коллег, американские скептики не нашли «эффекта Марса». Однако здесь выяснился занятный нюанс: комитет на ходу ужесточил критерии отбора данных, а о первых результатах, где эффект наблюдался, предпочёл умолчать. То есть скептикам не понравился результат, и они буквально поменяли правила. Такая вот сомнительная демонстрация непредвзятости и научной честности. Знаем мы это, благодаря тому, что Деннис Роулинз, ключевой специалист скептиков по статистическому анализу, со скандалом покинул комитет и опубликовал статью, где раскритиковал коллег за манипуляции с данными (цитата: «С такими врагами, как эти [комитет скептиков], нужны ли оккультистам друзья?»).

Если мы считаем астрологию отборной чепухой, а я не буду скрывать, считаю её таковой, то мы должны быть очень обеспокоены тем, что удаётся получить статистически значимые и методолгически валидные результаты для неё. Потому что те же самые способы мы используем для обоснования других научных выводов (в медицине, астрофизике, генетике, психологии, материаловедении и т. д.). Да, когда результатам Гоклена уделили особое внимание, ужесточили критерии и провели кучу повторных проверок, гипотеза посыпалась. Вот только уделяется ли столько же внимания миллионам других научных работ, результаты которых звучат не так странно? Наше решение, это введение «двойных стандартов», вместо улучшения стандартов для всех. И за это пришлось заплатить.

Чему нас научил кризис воспроизводимости?

Через десятки лет после всей этой истории, в 2007 году Джон Ионанидис публикует работу под названием: «Почему большинство Опубликованных результатов исследований ложны». Там он критикует используемые в медицине статистические методы. По сути, он указывает на то, что опора на статистическую значимость и ряд других методологических решений являются аргументом, который позволяет доказывать слишком многое. В этой работе Ионанидис предсказывает: при повторной проверке большинство медицинских работ не воспроизведутся, потому что их результаты были не более чем статистической подгонкой. Через пару лет такую подгонку назовут p-hacking’ом, а бурное обсуждение стандартов исследований в науке назовут «кризисом воспроизводимости». Ионанидис оказался прав, и касается это далеко не только медицины.

Сайнстер: Конечно, мы сделали выводы из кризиса воспроизводимости. Методология стала строже, и теперь-то чуши не пробиться в научные журналы. Если, конечно, это не философские журналы. Слыхали, как Алан Сокал ради шутки опубликовал псевдонаучную чушь в каком-то постмодернистском издании? Вот уж у кого низкие стандарты. Но, к счастью, философия не наука. Это строго научно доказано философом Карлом Поппером!

Радикальный скептик: А слышал ли ты об исследованиях Дэрилла Бэма? Это психолог, который в какой-то момент решил заняться научными исследованиями парапсихологии, и, в частности, предсказаниями будущего?

Сайнстер: Конечно, я слышал о его экспериментах. Исследование Бэма не критиковал только ленивый. Но именно благодаря кризису воспроизводимости мы знаем о пирамиде доказательности, которая говорит, что доверять отдельным исследованиям нельзя!

Радикальный скептик: О, как я рад это слышать. Ведь Дерил Бэм как раз выпустил мета-анализ исследований, где приходит к выводу, что эффект предсказания будущего, хоть и небольшой, но существует.

Сайнстер: А, там, наверное, просто выбрана пара исследований и выборка микроскопическая.

Радикальный скептик: О, я не знаю, что считается микроскопической выборкой, но у него там, кажется, 90 исследований от 33 лабораторий на десятках тысяч людей суммарно.

Сайнстер: И какова же статистическая значимость?

Радикальный скептик: p = 1,2 × 10^-10. Не знаю, это очень круто? Просто Бэм делает вид, что очень.

Сайнстер (удивлённо): Это странно... это точно какой-то хитрый p-хаккинг

Радикальный скептик: Там применялись стандартные проверки на p-хаккинг, и они не выявили манипуляций.

Сайнстер: Но если бы использовалась байесовская статистика…

Радикальный скептик: коэффициент Байеса 5,1 × 10^9

Сайнстер: Может дело в публикационном искажении? Ну знаешь, когда люди не находят эффекта, они иногда прячут в стол свои исследования.

Радикальный скептик: Там применялся специальный метод поиска публикационных искажений. Бэм учёл подобную критику до того, как ты её придумал. Это ли не доказательство предвидения?

Сайнстер: Но там нет рандомизируемых контролируемых исследований!

Радикальный скептик: Конечно, они там есть.

Сайнстер: Аа, понял, эти исследования не проводили предварительной регистрации дизайнов. Вот как Бэм всех обманул!

Радикальный скептик: Бэм утверждает, что предварительная регистрация дизайна не требуется, ведь эти эксперименты являются точными копиями его оригинального исследования.

Что, кстати, не так. Эксперименты довольно сильно отличаются, и некоторые «точные копии» проведены ещё до оригинального исследования, что по видимому только доказывает способность предсказывать будущее… Но цель диалога не в том, чтобы разобрать мета-анализ Бэма. Скорее я использую его для демонстрации того, как мы подгоняем правила под заранее желаемый итог. Проблема в том, что большая часть реальных научных исследований не выполняют и половины требований предъявленных к работе Бэма.

Сайнстер: Но нормальные учёные доказывают нормальные вещи, а всякие Бэмы лезут со своими глупостями и только мешают! Когда мы работаем с адекватными теориями, научный метод прекрасно справляется. Мы же с вами взрослые адекватные люди, а взрослые адекватные люди не верят во всякую чушь.

Такая позиция уходит корнями в мнение о том, что мы уже знаем истину, и нам осталось лишь придумать для неё убедительные доказательства. Этот подход я уже критиковал в другой статье. Такой взгляд упускает важный момент: научный метод, логика, естественный язык — всё это инструменты не только для отстаивания своей единственно верной позиции. Иногда их всё же применяют для поиска того, какая позиция ближе к реальности.

Я не говорю, что мы должны непредвзято относиться к парапсихологии, астрологии и прочим гомеопатиям. Человек, который будет просить от вас этого, вам не друг, и, скорее всего, собирается вам что-то продать. Но так уж случилось, что именно научные работы по таким штукам выступают в качестве софизмов, заставляющих усомниться в наших критериях доказательности. Есть множество более сложных и спорных вопросов, где доказательства гораздо более запутаны. И для их решения, если решение вообще возможно, нужны куда менее неправильные инструменты.

Научный метод — это НЕ открытие, придуманное [вставьте цифру] лет назад [вставьте имя учёного или философа, которого считаете автором]. Это динамически меняющийся набор практик и эвристик нуждающийся в постоянной доработке. Он дорабатывался вчера, дорабатывается сегодня и будет дорабатываться завтра. У нас нет никаких оснований считать, что мы можем отлить в бронзе его сегодняшнее состояние и не трогать.

Научное сообщество давно не ограничивается «невооружённым глазом», а использует всё более сложные инструменты. И речь не только о микроскопах и телескопах. Математика, вовлекаемая в обработку, и интерпретацию результатов, усложняется также быстро. Столкновение частиц на большом адронном коллайдере генерирует 1 петабайт сырых данных в секунду. Все данные, обрабатываемые Гокленом, не заняли бы и мегабайта.

Софисты же, где-то там очень давно придумали весьма изящный способ выявить слабость некоторого «инструмента познания». Если с помощью него можно доказать, что у меня есть рога, то этот инструмент не идеален. Плохая новость в том, что, кажется, идеального инструмента вообще нет. Но с прагматической точки зрения, уменьшение «не идеальности» инструмента всё равно довольно полезно.

Кризис воспроизводимости — это не спор о том, идеален ли научный метод. Речь скорее идёт о том, как часто и как легко с его помощью можно доказать, что у кого-то есть рога. То есть, выражаясь «по-байесовски»: как часто он даёт ложноположительный результат? Это спор о том, что именно нужно изменить в этом методе, чтобы снизить долю таких результатов. Как заставить наши инструменты ошибаться меньше?

P.s.

Бэм почти открыто признался в своём «софизме» (в контексте, который я использую в статье):

«Если вы посмотрите на все мои прошлые эксперименты, они всегда были риторическими уловками. Я собирал данные, чтобы показать, что верна моя точка зрения. Я использовал данные в качестве точки убеждения, и я никогда не беспокоился о том, будет ли это воспроизводиться или нет?»

Среди требований, которые к нему выдвигались, интереснее всего те, что он НЕ исполнил. И это требование о предварительной регистрации дизайна эксперимента, что перекрывает возможность множественного перебора (который, кстати, использовал и Гоклен).