Из сотни исследований воспроизвести результаты удалось только для половины
Группа исследователей проекта «Воспроизводимость» выбрала сотню из более двух тысяч социологических и психологических исследований и воспроизвела их. Схожие с оригинальными работами результаты удалось получить только в половине случаев, сообщает ТАСС.Таким образом, авторы оригинальных работ нарушили одно из основных требований, предъявляемых к научным исследованиям и публикациям — воспроизводимость результатов. В идеале, исследование должно быть проведено таким образом, чтобы при его полном воспроизведении, с использованием тех же исходных данных и методов, проверяющие получили бы точно такой же результат.
Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.
Руководитель Брайн Нозек и другие участники проекта «Воспроизводимость»
В результате проверки группа из 270 ученых (на фото выше не вся команда, а лишь малая часть) по всему миру пришла к выводу, что сложнее всего воспроизводятся статистически малозначимые, а так же неожиданные результаты. В ходе своей работы группа тесно сотрудничала с авторами оригинальных публикаций для того, чтобы с точностью повторить их исследования.
В тоже время проверяющие пытаются оправдать коллег. По их словам, невоспроизводимость результата не означает того, что в работе содержится ошибка — психология очень тонкая в этом плане научная область и трудности в повторении исследования и получении таких же результатов имеют место быть.
Комментарии (44)
serafims
28.08.2015 18:42+4Для меня всегда подозрительны фотографии, когда все на них улыбаются…
Вообще, жизнь меняется, и, думаю, люди тоже изменились. Насколько старые исследования они пытались повторить?
ragequit
28.08.2015 18:52+2Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.
edogs
28.08.2015 20:01+4Для меня всегда подозрительны фотографии, когда все на них улыбаются…
Дада! Статистически крайне маловероятно, что бы 100% присутствующих на фотографии людей одновременно улыбнулись, ведь по статистике человек улыбается не так уж и часто!
Что-то тут не то с улыбками на фотографиях.
Virtu-Ghazi
28.08.2015 21:06+17Я вам больше скажу, что-то не так с наличием людей на фотографиях, ведь куда больше безлюдных мест, чем мест, где есть люди, значит, по статистике, шанс запечатлеть на фото человека очень мал!
eps
02.09.2015 12:48И есть что-то подозрительное с тем, что на фотографии так много материи, ведь обычная концентрация материи во Вселенной гораздо меньше…
Sadler
28.08.2015 18:57+6Пусть попробуют воспроизвести ещё раз. Успешно прошедших оба испытания работ будет 25%.
Valdei
28.08.2015 19:00Психология, социология, наука, воспроизводимость, закономерности, научный подход и другие слабо связанные ключевые фразы.
Подождите, а разве не принято сначала ждать подтверждения какого-то явления, полученного от других коллективов, на другом оборудовании и т.п.?
Как с этим дело обстоит в социологии и психологии?lexore
28.08.2015 19:37+3Очень просто там все обстоит.
Получил интересные результаты — беги писать статью про эту тему.
И не вздумай повторять эксперимент, интересные результаты могут не повториться.
Объективная повторимость приветствуется в технических дисциплинах.Mixim333
29.08.2015 17:28+1Вспомнилась цитата: "— Видишь суслика?" "— Нет!" "— И я не вижу. А он есть!" относительно "… результаты могут не повториться". Еще мне вспомнились всем хорошо известные британские ученые и их исследования вроде: «Британские ученые выяснили, что девять из десяти лондонских божьих коровок болеют грибковым венерическим заболеванием»
fzn7
28.08.2015 19:47Проблема надежности и валидности результатов является краеугольным камнем всех дисциплин, объектом исследования которых является человек. Проблема болезненная и широко известная. Если-бы ребята предложили варианты решения, то это было-бы дело, а с пустой критикой могут идти лесом
VenomBlood
29.08.2015 00:00+8Проблема здесь во многом в том что вот такие вот «исследователи» не знают даже базового курса статистики, причем некоторые ошибки статистического анализа невозможно понять из результатов работы. Вот взяли выборку в 1000 человек — вроде по работе все сходится, 1000 человек для описанного фактора — достаточная выборка. Но на самом деле меряли на этой 1000 человек три сотни факторов а опубликовали только тот который оказался «статистически значимым» (на самом деле — нет, потому что «статистически значимый» он из-за непонимания того как надо проводить эксперимент). Или другой вариант — посчитали значимость по p-Value, потому что кроме p-Value других методов не знают в результате отловили сильно раздутый результат, о чем радостно и написали статью. Часто бывает что просто в принципе нету денег на нормальную выборку или выборка составлена не репрезентативно.
Физики наверное просто смеются над тем что кто то назыавет научными работами текст содержащий фразы типа «p-Value = 0.05 что подтверждает статистическую значимость эффекта алобалохреномалолазола при лечении борзецомы». У них то на научное открытие надо доверительный интервал шириной 99.99997%. Если бы физики оперировали p-Value < 0.05 — у нас бы было 50 разных бозонов Хиггса и 300 «стандартных моделей».
Nikiti4
29.08.2015 01:03+1Тихо-тихо, химики знают статистику не хуже физиков
VenomBlood
29.08.2015 01:09+3Не хотел обидеть, я не сомневаюсь в химиках, тут речь лишь об авторах изнасиловавших свои экспериментальные данные для получения нужного результата или просто делающих статистический анализ от балды.
Meklon
29.08.2015 10:48+3А что делать в ситуации дорогих уникальных экспериментов? Например, всего 2 крысы с экспериментальной пересадкой искусственных тканей? Ну не вариант 1000 сделать. Каждая как автомобиль стоит и месяцы труда. Совсем не публиковать?
lexore
29.08.2015 15:10А что вы будете делать с такими результатами?
Допустим, одна крыса умерла.
У вас есть технология пересадки, которая работает в 50% случаев, «но это не точно».
Или обе крысы выжили.
Теперь у вас технология, которая работает в 100% случаев, «но это опять-таки не точно».
Думаете, теперь можно сразу применять на людях?
И ещё — комментарий ниже от «Perez» относится к вам.
Представляете, сколько миллиардов ушло на большой адронный коллайдер?
А ведь те исследования даже не касались лечения человека.
Так что на лечение человека, таких крыс «как автомобиль» все равно придется потратить несколько тысяч.Meklon
29.08.2015 15:40+2Тут есть нюанс. Мы экспериментируем и ищем новые методы. Соответственно на малых партиях можно нащупать верное направление и уже после отработки проблем сделать большую выборку. Иначе бюджета не хватит на 1000 крыс для каждой тупиковой ветки разработки.
VenomBlood
29.08.2015 22:34Это безусловно верно. Главное не выдавать первое за второе. Есть задача определения наличия эффекта. Допустим у вас есть пациент на 4 стадии рака из которых умирает 100% в течение года. Если у вас есть сыворотка и вы на одном пациенте получили выздоровление — то эффект вы доказали очень неплохо. Теперь можно делать более широкое исследование чтобы понять насколько и когда ваша сыворотка эффективна. При этом конечно все равно надо учитывать изначально вероятность с которой вы можете обнаружить эффект, если это 1/1000000 (т.е. условно — «а давайте попробуем корень боярышника вколоть, вдруг выздоровеет) — то может и один эксперимент не надо проводить пока не сделан более адекватный анализ метода.
aikixd
29.08.2015 15:41Сколько таких коллайдеров построили? Вообще странная у вас позиция, ставите одну науку выше другой. Попахивает элитизмом.
lexore
29.08.2015 15:45-1Не совсем понял, что вам не понравилось.
Просто считается, что жизнь человека дороже всего остального.
И исследования, связанные с человеческими жизнями, нужно проводить наиболее тщательно.
Если на БАК было потрачено N денег, то на исследования какого-то важного лечения можно потратить больше денег.
Я про этот момент.Meklon
29.08.2015 15:53Ну мы пока людям это и не даем. Метод разработать надо с минимальным убийством животных, естественно. Массовые испытания только перед внедрением.
Meklon
29.08.2015 16:04+3Тут ещё вариант бюджета. Если выделили N денег, но этого мало на массовые исследования, то нужно бросать перспективное направление с интересными результатами? Мне кажется лучше хотя бы маленькими выборками, но найти нужный путь.
VenomBlood
29.08.2015 22:38Если вам статистика говорит что при вашей выборке проехавший за окном поезд будет оказывать больше влияние на результат чем ваша таблетка — то это будет просто трата денег в пустую. 1000 маленьких экспериментов с такой выборкой дадут много меньше информации чем 1 эксперимент с в 1000 раз больше выборкой. Если же вопрос только в точности определения эффекта или в каких-то нюансах отбросив которые результат все равно представляет собой практическую ценность — то почему бы и не провести эксперимент.
Meklon
29.08.2015 23:20Ну как-то так. Это разработка методик в совершенно новой области, по сути. Вас этический комитет расстреляет, если вы крыс будете кубометрами убивать. Это в России только можно. В той же Швеции наши коллеги там каждую крысу по месяцу практически согласовывают.
VenomBlood
29.08.2015 23:26Ну я лично вообще удивлен что что-то называющееся «этический комитет» имеет какое-то влияние на постановку научных экспериментов. Вот истинно надо дармоедов каких-то кормить и придумывают им общественно-вредные работы.
Крыски конечно дорогие в финансовом плане, но если эксперимент не может теоретически даже показать вразумительные цифры или может с вероятностью 1/10000 — то зачем деньги изводить на крыс и эксперимент в целом? Если же результаты получить можно — то и претензий нету.Meklon
30.08.2015 00:14+1Этика — сложный вопрос. Животных жалко и валить их негуманно. Поэтому авторитетный журнал типа Nature не опубликует вашу работу, если решит, что вы использовали слишком болезненные иглы для инъекций и животным было дискомфортно. Им разве что массаж только по требованию не надо делать. В РФ проще, но все равно правила есть и довольно жесткие. Например, на высших приматах нельзя ставить эксперименты, если их можно заменить свиньей или кем-то попроще. А если и можно, то только нелетальные типа «поиграй с цветными кубиками». Собаки, кошки во всем мире тоже запрещены практически везде. Китайцы только традиционно плюют на это дело.
VenomBlood
30.08.2015 07:52Я согласен. Но тут я имею ввиду что если ради получения лекарства от рака нужен милилон крыс — то лучше все же изобрести «лекарство от рака» (ой, и заплююте вы меня как доктор за эту фразу), т.к. это спасет гораздо больше жизней. Ну а высшие приматы — они стоят столько что там первыми на глотку инвесторы наступят и никакие комитеты по этике даже не получат задачи на рассмотрение.
VenomBlood
29.08.2015 22:28+1Здесь вопрос в том на что направлен эксперимент, какова его статистическая сила и прочее. Например если ITER выстрелит — мы не будем говорить что вероятность успешного термоядерного синтеза 1/(количество неуспешных токомаков + 1). Мы будем говорить «технология есть, можем строить». Если вероятность доказать наличие эффекта на 2 крысах — 30% — оно стоит того. Если же вероятность обнаружения — 1/10000 — вероятно стоит подумать 10 раз, а стоит ли эксперимент денег (ведь 1 эксперимент с 20 000 крыс гораздо более статистически информативен чем 10 000 экспериментов с 2 крысами, а еще чаще и гораздо дешевле в сумме), или стоит объединиться и делать более широкое исследование. Пересадка тканей в данном примере — хороший образец proof of concept с достаточно низкой степенью неопределенности. В случае успешной пересадки мы конечно можем сказать что это только потому что «днк оказались редчайшим образом совместимы» или что то подобное, но скорее всего мы все же получили эффект и дальнейшая задача понять условия при которых он успешен.
Кроме того проблема то не в публикации как таковой, а в том что статистика (с умыслом или без умысла) применена не верно и из этого сделаны необеспеченные выводы. Писать о проверяемых аспектах эксперимента — это нормально хоть у вас 2 крысы, делать же на основе ложных предпосылок или неверного использования статистического аппарата вывод что ваша условная таблетка работает в 50% случаев — не верно.Meklon
29.08.2015 23:22В данной ситуации мы обычно «осторожно предполагаем возможные причины и тенденции». Слишком область неразведана.
pasha_golub
29.08.2015 17:02-2Было бы круто, если бы «физики» знали правило написания слов «них-то», «как-то» и употребляли пунктуацию. ;)
VenomBlood
29.08.2015 22:17+4Если тебе нечего ответить оппоненту, то следует тщательно проверить его сообщение на предмет орфографических и пунктуационных ошибок.
Perez
29.08.2015 12:27Да да, физики всё также продолжают хохотать — «как автомобиль» :_))
Meklon
29.08.2015 15:42Для лаборатории ВУЗа это очень много тем не менее) не бросать же исследования.
phprus
29.08.2015 22:17+1Но с другой стороны у физиков очень редко бывают ситуации, когда для каждого повтора эксперимента нужно строить установку с нуля с соответствующими затратами (обычно же стоимость повтора эксперимента в разы меньше первоначальных вложений), а крыски на каждый повтор новые нужны.
ProstoTyoma
29.08.2015 16:10Психологи выяснили, что 51% учёных из проекта «Воспроизводимость» скучные зануды. Читайте в свежем номере «Psychologies».
pehat
29.08.2015 23:09Почему тут до сих пор не упомянут критерий Поппера? https://ru.wikipedia.org/wiki/Фальсифицируемость
qbertych
А потом окажется, что исследование воспроизводимости исследований тоже не воспроизводится. «Ровно 83% статистических чисел берутся из головы».
EndUser
Опровергнуть получится, только если на проверке этих 100 тестов будет достигнут другой процент воспроизводимости.
darkfrei
А вдруг просто менталитет изменился и потому результаты?
EndUser
Менталитет — индивидуальный термин, статистика — групповой.
Eol
Знаете, данные на полу не валяются!
Приходится брать их с потолка.