Случайно в потоке новостей и информации наткнулся на статью в Nature Scientific Reports. В ней представлены данные опроса 1500 учёных, посвящённого воспроизводимости результатов научных исследований. Если ранее данная проблема поднималась для биологических и медицинских исследований, где она с одной стороны объяснима (ложные корреляции, общая сложность исследуемых систем, иногда даже научный софт обвиняют), с другой стороны имеет феноменологический характер (например, мыши склонны вести себя по разному с учёными разных полов (1 и 2)).
Однако не всё гладко и с более естественнонаучными дисциплинами, такими как физика и инженерные науки, химия, экология. Казалось бы, именно эти дисциплины зиждутся на «абсолютно» воспроизводимых экспериментах, проведённых в максимально контролируемых условиях, увы, потрясающий – во всех смыслах этого слова – результат опроса: до 70% исследователей сталкивались с НЕвоспроизводимыми экспериментами и результатми, полученными не только другими группами учёных, НО и самим авторами/соавторами опубликованных научных работ!
Каждый кулик хвалит своё болото?
Хотя 52% опрошенных указывают на кризис воспроизводимости в науке, менее 31% считают опубликованные данные в корне неверными и большинство указало, что по-прежнему доверяют опубликованным работам.
Вопрос: Существует ли кризис воспроизводимости результатов?
Конечно же, не стоит рубить с плеча и линчевать всю науку как таковую лишь на основании данного опроса: половину опрошенных всё же составили учёные, связанные, так или иначе, с биологическими дисциплинами. Как отмечают авторы, в физике и химии уровень воспроизводимости и доверия к полученным результатам намного выше (см. график ниже), но всё же не 100%. А вот в медицине дела обстоят совсем плохо на фоне остальных.
-50:50. Либо встретишь, либо нет.
Маркус Мунафо (Marcus Munafo) биологический психолог из университета Бристоля (Англия) имеет давний интерес к проблеме воспроизводимости научных данных. Вспоминая времена студенческой молодости, он говорит:
Один раз я пытался воспроизвести эксперимент из литературных источников, который мне показался простым, но я просто не смог этого сделать. У меня появился кризис доверия, но затем я понял, что мой опыт не был такой уж редостью.
Вопрос: Сколько уже опубликованных работ в Вашей отрасли воспроизводимы?
Широта и долгота глубина проблемы
Представьте, что Вы – учёный. Вам попадается интересная статья, но результаты/эксперименты не могут быть воспроизведены в лаборатории. Логично написать об этом авторам оригинальной статьи, спросить совета и задать уточняющие вопросы. Согласно опросу, менее 20% делали это когда-либо в своей научной карьере!
Авторы исследования отмечают, что, возможно, такие контакты и разговоры слишком сложны для самих учёных, потому что вскрывают их некомпетентность и несостоятельность в тех или иных вопросах или раскрывают слишком много деталей текущего проекта.
Более того, абсолютное меньшинство учёных попыталось опубликовать опровержение невоспроизводимых результатов, сталкиваясь при этом с противодействием со стороны редакторов и рецензентов, которые требовали преуменьшить сравнение с оригинальным исследованием. Стоит ли удивляться, что шанс сообщить о невоспроизводимости научных результатов составляет порядка 50%.
Первый вопрос: Пытались ли Вы воспроизвести результаты эксперимента?
Второй вопрос: Пытались ли Вы опубликовать свою попытку воспроизвести результаты?
Может быть стоит тогда внутри лаборатории хотя бы проводить проверку на воспроизводимость? Самое печальное, что треть респондентов даже НИКОГДА и не задумывалось о создании методик проверки данных на воспроизводимость. Только 40% указало, что они регулярно пользуются такими методиками.
Вопрос: Разрабатывали Вы когда-либо специальные методики/тех.процессы для улучшения воспроизводимости результатов?
Другой пример, биохимик из Соединённого Королевства, которая не пожелала раскрывать своё имя, говорит, что попытки повторить, воспроизвести работу для её лабораторного проекта просто удваивают временные и материальные затраты, ничего не давая и не привнося нового в работу. Дополнительные проверки проводятся лишь для инновационных проектов и необычных результатов.
И конечно же, извечные русские вопросы, которые стали пытать зарубежных коллег: кто виноват и что делать?
Кто виноват?
Авторы работы выделили три основных проблемы воспроизводимости результатов:
- Давление со стороны начальства, чтобы работа была опубликована в срок
- Выборочная отчётность (по всей видимости, имеется ввиду замалчивание некоторые данных, которые «портят» всю картину)
- Недостаточный анализ данных (в том числе статистический)
Вопрос: Какие факторы повинны в невоспроизводимых научных результатах?
Ответы (сверху вниз): –Выборочная отчётность –Давление начальства –Плохой анализ/статистика –Недостаточная повторяемость эксперимента в лаборатории –Недостаточный надзор –Отсутствие методика или кода –Плохое планирование эксперимента –Отсутствие сырых данных от первичной лаборатории –Мошенничество –Недостаточная проверка экспертами/рецензентами –Проблемы с попытками воспроизведения –Необходима техническая экспертиза для воспроизведения –Вариативность стандартных реагентов –«Ниудачка и пичалька»
Что делать?
Из опрошенных 1500, более 1000 специалистов высказались за улучшение статистики при сборе и обработке данных, улучшение качества надзора со стороны боссов, а также более строгое планирование экспериментов.
Вопрос: Какие факторы помогут повысить воспроизводимость?
Ответы (сверху вниз): –Лучшее понимание статистики –Более строгий надзор –Улучшенное планирование экспериментов –Обучение –Внутрилабораторная проверка –Совершенствование практических навыков –Стимулирование к формальной перепроверке данных –Межлабораторная проверка –Выделение большего количества времени для управления проектами –Повышение стандартов научных журналов –Выделение большего количества времени для работы с лабораторными записями
Заключение и немного личного опыта
Во-первых, даже для меня, как учёного, результаты ошеломляющие, хотя привык уже к некоторой степени невоспроизводимости результатов. Особенно ярко это проявляется в работах, выполненных китайцами и индусами без стороннего «аудита» в виде американских/европейских профессоров. Хорошо, что проблему осознали и задумались над её решением(ями). Про российскую науку тактично умолчу, в связи с недавним скандалом, хотя многие честно выполняют свою работу.
Во-вторых, в статье замалчивается (вернее, не рассматривается) роль научных метрик и рецензируемых научных журналов в возникновении и развитии проблемы невоспроизводимости результатов исследований. В погоне за скоростью и частотой публикаций (читай, повышение индексов цитирования) резко падает качество и не остаётся времени на дополнительную проверку результатов.
Как говорится, все персонажи вымышлены, но основано на реальных событиях. Довелось как-то одному студенту проводить рецензирование статьи, ибо не у каждого профессора есть время и силы на вдумчивое чтение статей, поэтому собирается мнение 2-3-4 студентов и докторов, из которого складывается отзыв. Была написана рецензия, в ней указывалось на невоспроизводимость результатов по методике, описананой в статье. Это было наглядно продемонстрированно профессору. Но дабы не портить отношения с «коллегами» – ведь у них-то всё получается – рецензия была «скорректирована». И таких статей опубликовано 2 или 3 штуки.
Получается замкнутый круг. Учёный отправляет статью редактору журнала, где указывает «желаемых» и, основное, «нежелаемых» рецензентов, то есть фактически оставляя лишь положительно настроенных к авторскому коллективу. Они рецензируют работу, но не могут по-чёрному «гадить в комментах» и стараются из двух зол выбрать меньшее – вот список вопросов, на которые необходимо ответить, и мы тогда опубликуем статью.
Другой пример, о котором рассказывал редактор Nature буквально месяц назад – солнечные панели Грацеля. Из-за огромного интереса к данной тематике в научном сообществе (ведь все же хотят статью в Nature!), редакторам пришлось создать специальный опросник, в котором требуется указать уйму параметров, предоставить калибровки оборудования, сертификаты и прочее, чтобы подтвердить, что методика измерения КПД панелей соответствует некоторым общим принципам и стандартам.
И, в-третьих, когда в очередной раз вы услышите про чудо-вакцину, побеждающую всё и вся, новую историю о Джобсе в юбке, новые АКБ или вреде/пользе ГМО или излучения смартфонов, особенно, если это было пропиарено желтописателями от журналистики, то отнеситесь с пониманием и не делайте скоропалительных выводов. Подожди подтверждения результатов другими группами учёных, накопления массива и выборок данных.
А что вы, уважаемые Хабра/GT пользователи, думаете о воспроизводимости научных данных? Поделитесь своим мнение в комментариях!
PS: Статья переводилась и писалась на скорую руку, обо всех замеченных ошибках и неточностях, просьба писать в ЛС.
Комментарии (141)
Foolleren
03.06.2016 15:24+18Группа в которой я учился получила прозвище «группа катастрофа».
Взрыв колбы с дизтопливом- как нефиг делать,
Вместо белого осадка чёрный? -раз плюнуть, я смешиваю растворы на глазах у преподавателя — чёрный, у него белый, дубль два — я беру новые пробирки и те же самые растворы опять чёрный.
Считаем космическое излучение — в 5 раз выше нормы!
Измеряем удельную теплоту плавления олова — не хватило таблицы для термопары, которой всем хватало!
Полимер который не полимеризуется,
Измеряем от руки время падения 10 раз одна и та же цифра на секундомере в плоть до сотой доли секунды.
Потеряли платину в платиновом катализаторе (один метод основан на рентгене), нашли с третьей попытки, перепрессовав пробу.
Вода с температурой кипения выше чем у раствора соли.
и тд и тп.
Я качаю ребёнка в коляске- орёт, жена — спит, жена раз 5 показывала как надо качать, качаю при ней как она показывает — орёт.
В общем пока эксперименты не начнут проводить роботизированный комплексы по заданной программе всегда есть место фейлу.
Интел при переносе уже готового техпроцесса в продакшн дошёл до того, что использует одинаковую марки ручного инструмента,
TerraV
03.06.2016 15:45+3Главное не пускать в роботизированные комплексы ваших роботов. Вполне возможно что они «подцепят» от вас вирус катастрофичности. А так да, «эффект присутствия» не раз наблюдал лично.
Samoglas
03.06.2016 18:51Роботы не помогут.
У меня был обширный период жизни с таким вот поведением вещей. Например, 8-битные компы в классе, одинаковые Yamaha КУВТ-2. У всех в классе, если нажать Reset, он после перезагрузки грузит из БИОСа операционку. На моем компе он после перезагрузки загружает из RAM запущенную до перезагрузки игру. Раз ресет, два ресет — пофигу. Вырубаю физически питание компа, включаю комп — все равно игрушка запускается. Несколько минут приходилось ждать, чтобы перезагрузить начисто.
Или в студенческие годы.
Компилятор Turbo Pascal показывет ошибку в том месте, где ошибки быть не может — writeLn. Ты охреневаешь, начинаешь читать все что можешь найти на эту тему, думаешь, может у тебя из-за четырех пар математики и 4 часов сидения за компом шарики за ролики зашли, но так и не понимаешь, в чем дело и тупо набираешь программу от начала до конца заново, после чего она работает.
themtrx
03.06.2016 19:41+6Или в студенческие годы.
Это вообще нередкая ситуация в программировании.
Компилятор Turbo Pascal показывет ошибку в том месте, где ошибки быть не может — writeLn. Ты охреневаешь, начинаешь читать все что можешь найти на эту тему, думаешь, может у тебя из-за четырех пар математики и 4 часов сидения за компом шарики за ролики зашли, но так и не понимаешь, в чем дело и тупо набираешь программу от начала до конца заново, после чего она работает.
PerlPower
03.06.2016 15:50Интел при переносе уже готового техпроцесса в продакшн дошёл до того, что использует одинаковую марки ручного инструмента,
А вот с этого места можно поподробнее?Foolleren
03.06.2016 15:55Читал очень давно больше 10 лет назад на каком-то техническом ресурсе оригинальную статью точно уже не найду. И судя по постоянным отсрочкам введения новых техпроцессов даже это уже не помогает.
superhimik
03.06.2016 17:29такие проблемы решаются тщательным прописываем СОПов (стандартных операционных процедур), правда, не всегда.
Foolleren
03.06.2016 17:55+3В химии всегда есть место для прокола, от слишком дистилированной воды, до разной скорости смешения растворов при работе руками, добавим сюда освещение, давление, влажность и прочую гомеопатию, В том же самом НИИ где мы получили такое прозвище нам травили байку про то как завод СК запорол 3 реактора из 5 потому, что в партии эмульгатора оказалось примесь оптического изомера, косяк нашли только с помощью ЯМР.
superhimik
03.06.2016 17:57честно сказать, несколько с трудом вериться про историю с примесью в эмульгаторе. И не совсем понятно, что значит «запорол реактор».
Foolleren
03.06.2016 18:07+2Завод СК занимается производством синтетического каучука, эмульгатор нужен для того чтобы мономер плавал в виде шариков в воде, так получают латекс, примесь изомера сказалась на поверхностном натяжении и эмульсия потеряла стабильность в результате образовался «козёл» — монолитный кусок полимера который потом ручками очень долго выковыривали из реактора.
impetus
03.06.2016 18:26+1ок, спасибо. «козла» в стеклоплавильной печи — видел, в натриевом контуре ви...(ой… не, не видел, и вообще я не я), затвердевший бетоновоз — видел, ведро вскипевшей эпоксидки — видел, краски бочки — само собой… монолит льда в плавательном бассейне — видел…
superhimik
03.06.2016 19:14как примесь ОПТИЧЕСКОГО изомера повлияла на поверхностное натяжение?
Foolleren
03.06.2016 19:59Для точного ответа надо знать какой точно эмульгатор у них там был, а я уже не помню.
Но если задуматься, то могло сказаться влияние расположения функциональных групп на поверхности глобулы, с образованием в ней «дырок», шарики склеились и привет.superhimik
03.06.2016 20:02Такое возможно лишь в том случае, если сам СК оптически активным получается. Извините, но подавляющее большинство — это статистические радикально полученные полимеры с нулевой оптической активностью.
Foolleren
03.06.2016 20:44синтез ВМС уже помню плохо, очевидно что если все группы в соединение одного направления, то разницы нет, если в намешать разных изомеров то у них будет уже другая упаковка в пространстве- другая структрура, смутно припоминаю лекцию на которой рассказывали как химически одно и тоже ВМС синтезируется при -10 быстрее, чем при +50, да ещё и прочнее получается.
Tiberius
03.06.2016 22:59Зависит на самом деле. ПАВ меняет поверхностное натяжение из-за моно-плёнки на поверхности, а если эта плёнка будет «повреждена» за счёт оптического изомера, то и surface tension будет выше, например.
superhimik
04.06.2016 03:24+1Подождите, речь идёт об эмульгирование, т.е. не о взаимодействии ПАВ-дисперсионная среда, а о взаимодействии ПАВ-дисперсная фаза. А такое взаимодействие будет меняться по причине наличия оптически активного эмульгатора только в том случае, если полимер получается тактический, чего не происходит при радикальной полимеризации, в ходе которой обычно и получаются СК. Уже не говорю о том, что многие СК вообще не могут быть охарактеризованы с точки зрения тактичности, потому что не имеют центра хиральности.
Foolleren
05.06.2016 08:05а если оптически активная часть находится не в фазе, а среде? тогда хвосты расталкиваясь образуют дыру и привет приплыли, а я всё думаю откуда между нами столько непонимания.
superhimik
05.06.2016 12:40Оптически активная часть не может находиться в среде, так как мономеры не имеют хиральных центров. Во-вторых, взаимодействие эмульгатора происходит не с мономером, а с формирующейся частицей золя СК.
rombell
03.06.2016 18:19+1не в эмульгаторе, но тоже ничего. Немного перевернуло мои представления о химии
процитирую http://shkrobius.livejournal.com/482032.html
Моя мама была органический химик.
Однажды ей надо было разработать синтез какого-то хитроумного вещества для химического завода в братской ГДР. У мамы были две лаборантки, Валя и Зина. Они разработали синтез с Валей, оптимизировав выход, а Зина должна была увеличивать загрузку, чтобы узнать, годится ли метод для производства. В здоровых стеклянных колбах. Попробовала раз — не работает. Два — не работает. Тогда умная Зина попробовала с малым количеством. И опять нe работает. Пошла к Вале и попросила повторить синтез при ней. У Вали все работает. Пришла к себе, повторила один в один — не работает. Позвала к себе Валю. И у Вали не работает. Поменялись лабораториями. В Валиной комнате у Зины все работает, у Вали в Зининой комнате — не работает. Сказать людям боятся, т.к. смеятся будут. Две недели так маялись. Меняли посуду, горелки, и т. д. Наконец, вконец отчаявшись, маме сказали. Мама развернула бурную деятельность, забросив мое воспитание, и за неделю докопалась до истины!impetus
03.06.2016 18:32вот сейчас примерно такое наблюдаю с отверждением ЖРО… прикол в том, что всюду уже раструбили, что метод работающий.
(ну точнее каждая инстанция при отправке наверх добавляла уверенности и уменьшала сомнения, в итоге из «заложен первый камень» получилось «комбинат вышел на проектную мощность»… а там — условные «Валя и Зина» бьются как муха в паутине, а уже грубо говоря идут эшелоны)
Foolleren
03.06.2016 18:38Байка настаивает именно на эмульгаторе, если у атома углерода 4 разные группы то это соединение имеет оптический изомер, а если бы дело было в мономере, то просто получили бы латекс с неправильными свойствами.
Tiberius
03.06.2016 18:47Именно поэтому в статьях есть секция Materials and Methods, где и требуется максимально детально описывать эксперимент.
Мы вот один раз накатали более 20 страниц Supporting Information, чтобы задокументировать и детально описать все процессы…Foolleren
03.06.2016 18:54Кстати, про опыт с мышами.
В ссылках упоминается, что на боль влияет запах источаемый особями мужского пола, но продолжения «стали искать обезболивающе работающее в столь малых дозах не увидел».Tiberius
03.06.2016 19:07не совсем понял вопрос…
Foolleren
03.06.2016 19:22+2Для меня логичным продолжением " обнаружили, что запах особей мужского пола уменьшает боль" -> «начали искать компонент запаха ответственный за обезболивание», но вместо этого вижу, «ок, теперь мужики не будут работать с мышами».
Вот как так.Tiberius
03.06.2016 23:00Проще устранить проблему, безотказное «нет человека — нет проблем» работает и в западной науке.
Tiberius
03.06.2016 19:04+1И да, дистилированную воду поэтому и не используют, а делают DI water с проводимостью 18.2 МОм*м. Точка.
Foolleren
03.06.2016 19:38+1А в НИИ в котором я учился использовали свежеприготовленный бидистлят в кварцевом стекле, потому что деионизированная по-прежнему содержит растворённый кислород и азот, когда это было не важно, то хранили в под защитой щёлочи в стеклянной трубке-- связывает СО2, а обычное стекло засоряет воду ионами натрия.
Студентам давали дистилят полученный в нержавейке, хранили в обычном стекле.
Hegny
03.06.2016 22:31+1вообще-то бидистилляту далеко до деионизованной воды.
Foolleren
04.06.2016 07:24По содержанию ионов да(во всём виноваты брызги), по содержанию газов, наоборот, когда считаем пробу по атомам на массспектрометре, немного натрия или магния не особо вредит, а вот кислород может подпортить результат.
zhukoleg1
03.06.2016 16:05+4Шредингер со своими котами повсюду.
Интересную байку на первом курсе рассказывал университетский физик: в университете х была физическая лаборатория, в которой работали физики-экспериментаторы, и несколько отделений с физиками теоретиками. Годы были советские, нии, наука, в общем, атмосфера способствовала продуктивному и не только общению за чашечкой чая. Было замечено, что эксперименты у практиков удаются только если лабораторию не посещают теоретики. Как оказалось, стоило теоретику забежать в лабораторию, он тут же начинал нажимать кнопочки, крутить ручки на приборах и всячески вредить проведению экспериментов, о чем практик не всегда был в курсе.
Вопрос решили установкой на видном месте яркой блестящей «ручки для дурака»
P. S. Одна из причин эффекта наблюдателяimpetus
03.06.2016 16:39общаюсь много и с экспериментаторами и с теоретиками.
скажем так — если группам теоретиков и экпериментаторов не давать общаться — результаты никогда не сойдутся, причём кардинально.
А если давать — то как под копирку.
поэтому Эйрбас своим группам разработки софта неформально общаться запрещает категорически, под угрозой чуть ли не уголовки.
kaichou
03.06.2016 16:19> Маркус Муфано (Marcus Munafo) биологический психолог из университета Бристоля (Англия) имеет давний интерес к проблеме воспроизводимости научных данных.
Психолог. Воспроизводимость.
Психология. Наука.
Ясно. Понятно.
MiXaiL27
03.06.2016 16:45+1В общем-то любое значимое исследование в психологии состоит из статистики будь это валидация, эксперимент или просто гипотеза о явление. Если представлен только количественный анализ, то в большинстве ВУЗ'ов адекватные рецензенты это работу рассматривать не будут. В свое время я просчитал более полусотни дипломов и море курсовиков (первый диплом где-то в середине второго курса). Если не брать во внимание совсем уж бездарностей, то большинство исследований даже проводилось, а не как обычно методом генератора случайных чисел.
И мне даже попалось 2-3 талантливые работы, о которых было не стыдно вспомнить (это я студентов имею в виду, у преподавательского состава интересно разве что, про Биологическую Обратную Связь почитать).
Собственно говоря научная деятельность в психологии это жуткая рутина, с придирками к формулировкам, ссылками на другие работы, библиографией, моделью исследования, обоснование инструментария, стандартизацией данных. И упаси вас демон Максвелла упомянуть или процитировать кого-нибудь из трансперсональщиков и прочей шушеры перед комиссией.kaichou
03.06.2016 17:20Да, спасибо за комментарий.
Психология как наука — она же глубоко статистическая, как и ряд других наук. Местами даже и химия, тем более биология.
Поэтому требовать строгой 100%-ной воспроизводимости — моветон.MiXaiL27
03.06.2016 17:48+1С воспроизводимостью все довольно просто, мат. аппарат и методология отработаны. Любой опытный исследователь даже по постановке исследования способен дать оценку о том, какую роль оно играет. У студентов в 99% случаев и есть воспроизведение предыдущих исследований (жаль, что только один из пятидесяти способен это осознать). Чего реально не хватает психологам, так это сведения тысяч работ к единому машиночитаемому виду. Да вот только халтурщики бояться, что сразу будет видно все их проколы до единого. Я так вообще за вариант полного реестра научных работ начиная с ВУЗ'вской скамьи со своим участком госуслуг, вот тогда даже последняя дура, либо перестанет позорить будущую профессию, либо напишет хоть что-то пристойное.
Кризис научной психологии не в воспроизводимости результатов, а в тотальном топтании на месте и непонимании векторов развития научных школ. За последние два десятилетия я просто не могу назвать ни одной знаковой работы в мировом масштабе. Хоть как-то развивается (в научном плане) медицинская психология и Бехтеревка в частности. Потихоньку растет направление в экспериментальном изучение БОС (в год по чайной ложке). О прочих направлениях я лучше промолчу.
Сказкотерапия в Ростове? Да, хорошо, молодцы, но как на счет развития научной базы? Танатотерапия, Экзистенциалка, упаси хоспаде Трансперсональная? Как на счет методологию поднять с того места, где их апологеты оставили, и это еще очень хорошо, если где-то курсе на втором. а то ведь некоторые и просто полугодовые курсы проходили (о чем почему-то забывают указать, когда расписывают сотрудников своих центров с ценником в час от 3 000 руб.)
Эх, хоть самому в медицинскую иди. Глядишь к моей старости какой-нибудь профессор с группой аспирантов украдет пару крупных грантов, да возьмутся за фМРТ втихоря.
Am0ralist
04.06.2016 00:21+1Помню, в середине нулевых в нашем провинциальном городке мой друг учился на логопеда (специальная детская психология) и активно общался с психологами обычными. И вот я раз наблюдал попытку обсуждения психологических тем с его стороны и двух барышень "психологинь"… Собственно, они даже теорию то не знали, не понимали, какой им еще тервер в их гуманитарные мозги.
А сколько закончило заочно или дополнительно?
Естественно, что после таких представителей профессии у людей складывается превратное отношение к науке, как таковой. О каком развитии научной базы и прочего можно говорить, если они даже не понимали, зачем их этой математике пичкали.MiXaiL27
04.06.2016 04:33+1Вот потому в научном плане и растет только медицинская психологи, там люди приучены к дисциплине. Вот помню разбирали как-то арт-терапию в гештальте, там присутствуют свои особенности анализа, однако, почему результат интерпретируется подобным образом так толком и не пояснили. В рамках психодиагностики я понимаю базу интерпретации, но тоже самое в гештальте тренер не смог представить. Наработка идет в основном каких-то авторских методик за счет опыта. У таких практиков индекс цитируемости всегда будет на нуле независимо от их успешности, как психологов.
Ладно, я хоть и ругаюсь, а все же общее количество ставок в школах потихоньку растет, общее количество обращений тоже помаленьку прибавляется, так сказать отвоёвывается рынок у гадалок. Вроде бы радоваться надо, мда.Xaliuss
04.06.2016 15:30+1Вообще сейчас в СНГ на психологов идут часто те, кому просто нужен диплом. Я сейчас как раз веду курс математической статистики у одного потока (60+ студентов), и даже просто пытались что-то понять человек 5 не больше. По образцу они конечно что-то делать могут, но без понимания серьёзную работу не сделать.
MiXaiL27
05.06.2016 04:13Есть еще один вариант: это единственное высшее образование, которое можно получить просто для себя. Тогда предметы не имеющие прямого отношения к интересующим вопросам мало интересны.Лично для меня самый тяжелый предмет был Концепции Современного Естествознания — 40 человек выказывают тотальное непонимание простейших фундаментальных законов (эволюции, термодинамики, теории относительности). На месте преподавателя я на первой же паре устроил бы массовое убийство! За весь курс даже из школьной программы не вышли. Лучше не вспоминать — это слишком травмирующий опыт!
Хм, а у вас еще высокий процент, вероятно, половина из них старательные девчата-отличницы.Xaliuss
05.06.2016 10:51Эти пять человек — те кто хоть что-то пытаются, и могут хотя бы на 1-2 вопроса (из 20+) по предмету ответить. Большинство считает, что им просто это не надо.
Вообще, пока не будет в образовании в постсоветском пространстве чёткого понимания для студентов того, зачем они поступили на какую-то специальность, зачем они изучают те или иные предметы, и как это скажется на перспективах их дальнейшего трудоустройства, такие ситуации будут скорее правилом, а не исключением. У нас в Украине пытаются вводить модульную систему, но это пока (по крайней мере в моём университете) просто ярлыки без изменения сути.
По идее проблема в слишком большом количестве вузов и студентом (высшее образование модно), и то что требуют везде корочки. Пока связь вузов с компаниями не усилится, во многом будем от запада отставать.Foolleren
05.06.2016 11:34ну вот на факультете который я поступал, всё чётко понимали куда после вуза устроятся 3 основных завода, парочка НИИ проектные бюро, причём в процессе обучения нам туда устраивали экскурсии и прочее, а одноклассник устраивавшийся на радиофизический куда вообще не было конкурса, на 3 курсе показал курсовую, да так всего ничего, они там микроконтроллер «в вакууме» делали, для него это было шоком, а я завидовал и недоумевал у него специальность веселее оказалась (мы оба не понимали зачем вообще была его специальность).
Xaliuss
05.06.2016 12:43Это конечно зависит от вуза. Я преподаю в классическом университете, и на многих специальностях вообще непонятно куда идти дальше. Факультет математики — необходим, но люди туда перестают идти, так как учёба трудная, а перспективы за исключением преподавания — туманные.
eugzol
05.06.2016 01:34У основателя всея «трансперсональщины» статистическая экспериментальная база будь здоров.
amiluik
03.06.2016 16:29-2Вот теперь на что будут ссылаться всякие лжеученые: у вас 70% фейка в опытах, как вы можете утверждать, что Земля вертится вокруг Солнца, существование эфира опровергнуто, а Эйнштейн не был рептилоидом!
impetus
03.06.2016 16:43+3отдельно стоит вопрос разного рода злоупотреблений — от прямых подлогов до разной степени случайности неучёта важных факторов.
Знаю человека который защитил диссер по «работам» на установке, которая с 90-х стоит вдрызг разукомплектованной, причём все в дисссовете это прекрасно знают. Хорошо, если его работы пропадут втуне, а если их начнут учитывать в своих работах следующие, думая что всё, там написанное, правда?
superhimik
03.06.2016 17:24+3Ну кто вам будет сейчас выдавать на гора свои крутые разработки? Опустят упоминание о катализаторе — и ок, а ты потом бейся. А иногда даже форма сосуда играет роль. Был один бложик интересный (http://blog-syn.blogspot.de/), где ребятки пытались воспроизвести работы коллег-химиков (блог не обновляется уже 3 года) — так волосы дыбом у непосвящённых могут встать от того, какие нюансы играют роль.
Meklon
03.06.2016 19:27+2Умалчивает тонкостей это обычная практика. Особенно, если на острие науки работаешь. Конкуренция жёсткая. В мире обычно 3-4 коллектива над направлением работает.
superhimik
03.06.2016 19:30Да ради Бога. Только какой смысл публиковаться в прессе? Клепайте себе патентики — и дело с концом.
Meklon
03.06.2016 19:49+2Цитируемость, гранты… причем это часто для фундаментальной науки характерно. Коммерческий интерес обычно очень удален в будущее.
superhimik
03.06.2016 19:55+2Цитируемость, гранты — всё понятно. Но я бы авторов невоспроизводимых работ так отцитировал, чтобы потом ......(дальше следует непереводимая игра слов с использованием местных идиоматических выражений).
Meklon
03.06.2016 21:55+1Прямой подлог результатов это, безусловно, непотребство.
superhimik
04.06.2016 03:27Нет, я в данном случае не о прямом подлоге. Но я не понимаю, зачем цитировать невоспроизводимую работу (при условии, если точно известно, что она невоспроизводима).
Meklon
04.06.2016 09:53+1Вырастили вы первого в мире хедкраба. Видео сняли, фотографии показали, анатомию. Но умолчали, что яйца не развиваются в мозгу жертвы, если не нагреть ее строго до 39. Остальная информация крайне интересна и явно достоверна. Результат виден. Хедкраб как феномен есть. Ну или алмаз размером с кулак вырастили. Вот фотография и почти полное описание процесса.
BigBeaver
04.06.2016 10:24+2Если работа посвящена изучению уже готового краба, то метод выращивания не имеет прямого к ней отношения, и его сокрытие допустимо. Аналогично, если цель исследования — доказательство принципиальной возможности его выращивания. Но если же предмет исследования — непосредственно метод выращивания краба (а фото и тд — просто пруф наличия положительного результата), то сокрытие ключевых параметров эксперимента равносильно саботажу последующей научной деятельности.
Кроме того, должны быть и данные о неудачах (отрицательный результат — тоже результат) — наука должна быть открытой и честной… по крайней мере, к этому стоит стремитьсяMeklon
04.06.2016 10:53+1Вот, кстати, неудачные экспермиентыи тупиковые ветки — проблема. Многие журналы не хотят разделов с подробным описанием не сработавших методик.
BigBeaver
04.06.2016 12:18+1Проблема серьезная и не новая. Но быть может, не правильно преподносят (проблема восприятия)?
То есть, автор/рецензент/кто-то-еще смотрит на происходящее как «мы хотели вот это, делали-делали и не вышло» — публиковать такое действительно странно, тк число не рабочих теорий можно бесконечное придумать (и что-то там без результата делать).
С другой стороны, возможен подход «мы делали такую-то штуку, и оказалось, что вот эти и эти условия вообще не влияют на процесс» — казалось бы, результат экспериемнта один, но при правильной интерпретации он уже несет какую-то новую информацию и имеет научную ценность (те же доказательства неэффективности препаратов в сравнении с плацебо вполне себе публикуют)Meklon
04.06.2016 12:23+1Нет, в принципе, если в статье поимо эффективных протоколов показывают тупиковые, но псевдоочевидные, то нормально. А если ты пару месяцев ковырял направление, а оно тупик, то все плохо. Поэтому тонны прототипов на жвачке и зачастую. Ибо покупать железяки по 10 000€ на каждую гипотезу — никаких бюджетов не хватит. А вообще обидно в тупик утыкаться.
Sadler
04.06.2016 12:23А было бы здорово, чтобы не тратить ресурсы других на многократное повторение одних и тех же ошибок. Организовать специальный журнал для этого :)
Tiberius
04.06.2016 11:32А как без проверки определить подлог?
Я вот видел отдну статью в Langmuir, в которой ключевые слова, по которым мы её нашли встречались только в Abstract.
superhimik
03.06.2016 17:27+2Теперь что касается медико-биологических экспериментов. Высокоорганизованные модели (животные) очень неоднородны, даже если они являются линейными, и очень сильно реагируют на малейшие изменения обстановки. Поэтому плохая воспроизводимость тут неудивительна. Серьёзные медико-биологические эксперименты дороги, и больших n наберёшь не всегда.
Meklon
03.06.2016 19:33+2У нас одна крыса с тканеинженерным имплантом к финалу стоила как крыло от Боинга. Иногда задача в принципе получить proof of concept. Ибо очень дорого.
kaa_weise
04.06.2016 11:33+3Неоднородны не то слово;
У нас один эксперимент (связан с антиаритмиками) не получался просто потому, что погода менялась.
Погода стабильная — всё хорошо, у крыс аритмия не развивается;
Погода меняется (в любую сторону) — начинают вылазить аритмии там, где их не было и не должно быть.
Институт, занимающийся генетикой вообще весной приостанавливает свои эксперименты на крысах и мышах, потому что результаты неадекватные получаются и летне-осенне-зимние не воспроизводятся. В остальные периоды всё ок. )superhimik
04.06.2016 11:45+1Хе-хе. А что вы скажете о таком, как зависимость не просто величины, но, скажем так, направления эффекта от времени года? Весной препарат увеличивет параметр, а осенью и зимой — уменьшает. Причём это доказано неоднократным повторением.
kaa_weise
04.06.2016 16:29Гораздо интереснее, как это потом на людей экстраполировать. )
Понятно, что у них и гормональные и прочие обменные процессы идут несколько другим образом, и напрямую переносить результаты с модели нельзя, но было бы забавно в инструкции прописывать «Не применять при изменениях погоды!» или писать 2 инструкции для разного времени года.
BigBeaver
04.06.2016 12:10а их нельзя в изобарную клетку Фарадея посадить?
kaa_weise
04.06.2016 14:01Отличная идея, только слишком уж нерентабельно.
Проще увеличить выборку, чтобы гарантировать достоверность результатов. Или, как ИЦиГ, приостанавливать эксперименты.
superhimik
05.06.2016 07:08+1Вообще-то во многих протоколах пишут, что во время перемены погоды проводить те или иные эксперименты не рекомендуется.
mattheus
03.06.2016 17:58+4Конкретно сейчас пишу статью с опровержением результатов работы A Pragmatic Implementation of Non-blocking Linked List (на проверку оказалось что предложенные структуры данных в сильно конкурентной среде (когда число потоков много больше числа ядер в CPU) таки генерируют коллизии, которые автор не нашел потому что не делал тестов где threads>>cores, а если threads~cores то коллизии случаются так редко, что ему они просто не попались (видимо).
Причем на базе этой статьи уже плодятся US patents (в США разрешены патенты на алгоритмы), например: US7533138 или US7583687 (т.е. во всей красе проявляет себя схема, при которой последующие недостоверные результаты основаны на предыдущих недостоверных исследованиях).
Camel
03.06.2016 19:02+5Биология, физика, говорите? Треть респондентов НИКОГДА не задумывалась о методиках проверки воспроизводимости, говорите? Да у меня в программировании то же самое! Уже второе место работы, где руководство не понимает почему программа обязательно должна автоматически собираться из git'а в пакет на сборочном сервере. Баги, креши. Воспроизводимость? Не, не слышали.
ogoNEKto
03.06.2016 19:03-1Напрашивается неутишительный вывод: либо 70% экспериментов это «розовые очки» экспериментатора (т.е. некорректный эксперимент) либо просто сплошная фальсификация.
Ах, да, либо и то и другое.
Учитывая отсутствие финансирования, отсутствие личной мотивации в вопросах «этики науки», отсутствие реального контроля следования «нормам и правилам» и самого желания этот контроль осуществлять…
Логика простая: зачем делать что-то правильно, если можно просто сделать «красивую статистику», «выполнить план», «получить премию», «сохранить лицо отдела», «подтвердить репутацию» и т.п. ?! Система развернута так, все кто против — враги Системы.
Дышите ровно, как говорили классики, «не важно если все идет не так, главное чтобы это хорошо выглядело».
di2mot
03.06.2016 19:05А одном из опытов меряем концентрацию солей по отношению массы солёной воды к массе дист. воды. Каждый раз дист воду взвешиваем заново, каждый раз масса дистиллята разная) Бывает дистилят весит меньше солёной воды. pH это вообще больная тема, постоянно меняется, вода постоянно тянет СО2 из атмосферы. В ГОСТах написано мыть аппараты после каждой пробы. Не моем всю серию опытов, даже измерив одну и туже пробу из одной и той же закрытой пробирки, разобрав и помыв аппарат, получаешь сильный разброс по показателям. Есть очень много нюансов с условиями, а «чистых комнат» не напастись на всех, вот и скачут результаты.
Dum_spiro_spero
03.06.2016 22:11Вставлю свои пять копеек.
Зачем воспроизводить чужие результаты?
Если в работе есть явные ошибки — то на на них надо просто указать. Если получены интересные данные — то… уже получены. Соответственно первым уже не будешь. Повторять чужой эксперимент — дело хлопотное и дорогостоящее, а обычно и своих задач хватает. Я повторял чужие эксперименты поскольку результаты мне казались спорными, методика измерений слабая, а сама задача была по сути моей. Та научная группа развалилась в 90-х оставив интересные результаты, а мы подхватили упавшее знамя.
Но это гидродинамика — тут сплошная среда и в общем все хорошо воспроизводится. Хотя… надо будет статью об этом написать.
Askario214
03.06.2016 23:02+2Я сам химик и дочь офице… мы много пишем и рецензируем только в международке. Современный интересный эксперимент практически обречен на существенную невоспроизводимость, уж слишком много факторов и различий в оборудовании. И всегда, когда указываешь в статье на ошибки других авторов, редактор пропускает только максимально обтекаемые формулировки. Лишние скандалы не нужны никому. Поэтому очень важно ездить на конференции и неформально обсуждать эксперимент с коллегами — за один вечер можно выявить разногласий (и истин!) больше, чем за десятилетие писанины в журналы.
superhimik
04.06.2016 03:28Т.е. воспроизводимость приносится в жертву спокойствию???
Nubus
04.06.2016 08:48Скорее научному имени и репутации. Сплошь и рядом. Работаю с двумя схожими материалами органическими. У одного диэлектрический коэффициент 18, у используемого около 22-24. Нет, мы будем пользовать 18 для расчета толщины материала так-как весь мир знает что это 18! Хотя НАСА говорит что 22, третья книга говорит что вообще от 27 до 32х. Хрен прошибешь этих людей «Я уже 40 лет в этой сфере работаю!»
Tiberius
04.06.2016 11:36+1Ну и славненько, пишем в статье, что есть 3 литературных источника со значениями такими-то, даём reference. Потом пишем: «А в работе мы будем использовать значение х». И всё — проблем нет. Здесь ни о какой невоспроизводимости речи нет, разные методики, небольшие примеси и т.д. — это нормально.
Nubus
04.06.2016 17:20+1Хехе, вот-тут натыкаемся на проблему. Если считать по индексу 18, то толщина материала будет .005мм, хотя измеренная .010-.015мм. И когда показываешь результаты вычислений против замеров, на тебя махают рукой и продолжают использовать 18. И это не +-5%.
Tiberius
04.06.2016 18:01эм, но для этого существуют альтернативные методы проверки, разве нет?!
Nubus
05.06.2016 05:59Нет, либо через формулу, либо контактное измерение которое разрушает материал
Tiberius
05.06.2016 21:12Ну вот собственно, сделайте 1-2-3 образца, измерьте толщину по формуле, а потом разрежьте и микроскопией или ещё чем откалибруйте сою постоянную — делов на неделю работы по большому счёту.
Askario214
04.06.2016 09:51+1Принесение чего-то в жертву подразумевает его наличие и его ценность. И очень часто воспроизводимости может и не быть, и на уровне мелкого эксперимента она может быть и не так нужна. Когда речь идёт об обобщающих выводах и закономерностях, тогда всё проверяется, конечно.
superhimik
04.06.2016 10:07видимо, я сильно отстал от реалий и ценностей научного мира…
Askario214
04.06.2016 10:15+1Подозреваю, что ещё у нас могут быть разные критерии воспроизводимости. В нашей лаборатории под этим принято считать попадание измеряемой величины в 5%.
superhimik
04.06.2016 11:46+1)))) В медико-биологических науках это означает, что хотя бы одинаково направление эффекта.
slopestyler
04.06.2016 11:36Порой даже не то, что результаты эксперимента не воспроизводятся, но даже и результаты практикума.
И это, как и в случае с экспериментами и статьями, результат давления, в духе «у всех же значения сошлись с теорией, а у вас — нет, значит вы ошиблись!».
Ну а дальше такой подход может продолжаться, когда студент, обычно «подгонявший» результаты, становится учёным.Tiberius
04.06.2016 11:41Не знаю, не знаю. Все практикумы, что я делал сам, и те прктикумы, что я вёл сходились идеально в пределах +-5%, некоторые +-1%.
Например, аналитическая химия и мокрые методы допускают ошибку определения массы по методу стандартных растворов +- единица в четвёртом знаке (оценка отлично), +-2 — хор, +-5 — уд,, ну и более — идёшь и переделываешь. Обычно в методичкая все «мешающие» параметры прописаны и пенять стоит только на кривизну рук экспериментатора.superhimik
04.06.2016 11:48То есть научиться всё делать студент должен за 1 занятие? Гравиметрия — не тот метод, где это возможно.
Tiberius
04.06.2016 12:03в смысле за одно занятие?!
Во-первых, практикум начинается с объяснения как и что готовить, как титровать и прочее. При этом обычно к практикумуму по аналитической химии уже есть некоторый опыт (ибо уже третий курс на дворе) в качественном праке по органике и не органике.
Во-вторых, одно занятие практикам по химии длится обычно полдня — времени вагон, главное делать всё аккуратно.
А что сложно в гравиметрии?! Взвесил, прокалил, остудил взвесил. По разнице масс посчитал количество воды в каком-нибудь купоросе, например, получил значение 2.05 молекул воды на медь. Сделал выводы.
superhimik
04.06.2016 12:22Набить руку в титровании можно за 1-2 часа работы. Набить руку в гравиметрии за 2-3 анализа невозможно. А больше не позволяют занятия. Сколько длится занятие, я знаю — я сам их вёл. В гравиметрии самое сложное — осаждение и дальнейшая работа с осадком до стадии доведения до постоянной массы.
Tiberius
04.06.2016 14:14Что сложного в гравиметрии на стандартных объектах, например, не растворимых в воде? Осадить, не захватив раствор? Количественно перенести на воронку и фильтр? Выполнять операции строго по методичке? Вот в научной работе я ещё готов с этим согласиться — неизвестные побочные реакции, формирование крупных кристаллов с захватом раствора и т.д., но практикум…
Титрование и гравиметрия — оба количественных анализа и «руку набить» на них можно за несколько занятий, что и делается в практикумах по химии. И в школе это было (СУНЦ), и потом на химфаке. Выборка 20 и 25 человек, соответственно, половина справлялась без особых проблем.superhimik
04.06.2016 14:20Во-первых, давайте школу исключать: стандартный школьник гравиметрией не занимается. Во-вторых, да, количественно перенести на фильтр — сложно, потому что и раствор может выплеснуться, и осадок переползти через фильтр, и на палочке остаться, и ещё много чего.
Tiberius
04.06.2016 18:03давайте исключим школу, ибо моя была исключением, а не правилом.
Как это сложно?! Если химик не умеет, не хочет учиться аккуратно по палочке переносить осадок, находящийся в растворе (взвесь), на фильтр, то возникает вопрос его проф пригодности. Хоть убейте, я этого не понимаю…superhimik
04.06.2016 18:25— не хочет учиться аккуратно
Сколько ему позволено учиться в курсе аналитической химии это делать? Отвечаю: 1 занятие. Титрованию, гораздо менее трудоёмкому методу, посвящено гораздо больше занятий, раз в 5-10. Понятно, что по этой же причине (низкой трудоёмкости, простоте, экспрессности) ему и учат больше. Вот только не надо говорить, что гравиметрические анализы в аналитическом практикуме сходятся хорошо. Естественно, это не потому, что методики плохо прописаны, как предполагает slopestyler (хотя такое тоже бывает), а потому, что не всегда есть время действительно попрактиковаться как следует.Foolleren
04.06.2016 18:54Вот насколько я помню, взвешиванием осадка занимались чаще чем титрованием, может специализация такая, и там и там находились косячники, которые в попыхах, то слишком быстро титровали, то ставили неостывшую пробу на весы умеющие измерять вес линии от карандаша.
superhimik
04.06.2016 19:07У нас было только одно задание на гравиметрию — классическое определение сульфата. Весовая форма — сульфат бария. И тьма занятий по титрованию: кислотно-основное (сильные, слабые кислоты, классика типа смеси карбоната и гидрокарбоната), редокс (перманганатометрия, бихроматометрия), комплексонометрия, осадительное. Причём в занятие входило приготовление титранта, установление титра и собственно задача.
Foolleren
04.06.2016 19:18А мы ещё и графики напряжений на ионоселективных электродах при этом рисовали.
но взвешивание осадка было гараздо чаще, как часть другой лабораторной.
Tiberius
05.06.2016 21:23Эм, а зачем больше-то?! Гравиметрия на внимательность и чёткое следование инструкциям (опять же, если речь идёт о практикуме, а не исследовательской работе), в титровании надо ещё понимать происходящие процессы, когда, например, наступает перетитровка (меняется ли цвет или нет), почему в последней стадии надо добавлять минимально возможное количество реагентов.
Титрования дают больше просто по тому, что систем гораздо больше и метод встречается чаще в лабораторной практике, чем гравиметрия. А по факту, как Вы и описали, по одному титрованию на каждый предмет/методику.
Если лично Вам не повезло с преподавателем(ями), которые не смогли научить бытро и грамотно делать простейшие операции, то зачем возводить сию обиду в абсолют?
PS: Сами ж привели пример сульфата бария. Взял раствор хлорида, отмерил нужное количество серной и капай при постоянном перемешивании. Потом перенеси осадок аккуратно и не расплескав на предварительно взвешенный бумажный фильтр — на какой стадии тут нужны невероятные трудозатраты?Foolleren
05.06.2016 21:32Тут ещё можно эксикатор открыть как кастрюлю, а потом удивляться что проба на глазах тяжелеет.
Tiberius
05.06.2016 21:35Согласен, можно (и половина тонкого сухого осадка превратиться в пыль на стенках)! Для этого в практикуме сначала объясняют правила работы, в том числе, как открывать эксикаторы, как работать с пипеткой, как доводить до метки, как взвешивать по разностей масс и т.д. и т.п., проводят инструктаж по правилам безопасности, в том числе и пожарной и каждый студент подписывается за сии мероприятия.
superhimik
06.06.2016 17:53А затем, чтобы понять, на каком этапе происходят ошибки и как их предотвращать.
Для того, чтобы понять, меняется или нет цвет, нужно не быть дальтоником, иметь хорошее освещение, раствор свидетеля и немного практики. Понимание нужно не для улавливания перемены цвета, а для выбора индикатора.
Я вообще-то говорю не о преподавателях, а о программе практикума, в которую включён только 1 гравиметрический анализ. И у меня не обида, а недоумение по поводу ваших слов о том, что в практикумах не может не сходится.
Трудозатраты нужны на сжигание фильтра и доведении весовой формы до постоянной массы путём повторения операций прокаливание — охлаждение в эксикаторе — взвешивание.Foolleren
06.06.2016 19:54Это всё очень и очень долго, определение зольности мазута только 2 часа на сжигание пробы в одноразовой лодочке, аппарат один на всех,
Уже не помню, что делали, но запомнилось сколько мы это делали. 2 часа на синтез, остальные 2 часа на фильтрование, промывание (где-то раздаются крики из за того что взвесь просочилась под фильтр ) и на сушку, на следующей лабе достаём пробы из сушильного шкафа и между делом производим взвешивание, а по коричневой корочке узнаём кто поторопился или пожалел воды на промывку.
Принципиально ничего сложного, но обучить каждого персонально всем тонкостям, никакого времени не хватит-доучат на производстве.
FransuaMaryDelone
04.06.2016 12:37Интересно, до какой величины созреет эпичность недовольства неимущих и честных яйцеголовых братьев своими имущими и хитрожопыми коллегами (будет ли революция) и как это всё скажется на социальном статусе науки в целом (журналистов лучше бы поближе подключить к жареному, ибо недоверие общества к «белому халату» — великая вещь; скоро на улицах будут бить людей за то, что они в очках или просто читать умеют; молодняк уже впитывает, что «ученый» — это какой-то пройдоха, — спасибо журналистам; «Почем опиум для народа, очкарики?» — ох, страшно мне за нас всех).
gricom
04.06.2016 18:15-1да о чем говорить, если даже программа, скопированная из книги, редко работает с первого раза (почитайте stack overflow, там постоянно такое встречается)
vconst
06.06.2016 12:03+1У меня отец был физик, работал на должности ВНС в закрытом военном НИИ. Как математик и физик, он с большим недоверием относился к исследованиями медиков, которые проводились в НИИ. Причем «недоверие» – это чрезвычайно мягкая характеристика. Причина простая, по его словам медики не владеют в должной мере аппаратом тервера и матстата, они просто не понимают результатов исследования и не умеют их должным обрабатывать, причем они сами совершено уверены в том, что все считают правильно – синдром Даннинга-Крюгера в лучшем виде
Апофеозом была история, когда местные медики экспериментально обосновывали оду из своих теорий, собрали кучу данных, обработали их, построили графики и все очень хорошо объяснили, теорию признали верной, а эксперимент удачным. Фигня была в том, что весь диапазон измерений, на основе которых строилась зависимость – укладывался в пределы погрешности приборов. И объяснить им ничего нельзя, их так учили и они считают себя большими специалистами по матстату
Потому у меня хроническое недоверие ко всем экспериментам, обработкой данных которых занимаются не узкоспециализированные проф-математики, а смежники типа биофизиков и т.п. специальностейXaliuss
06.06.2016 16:44+1Один из членов моей кафедры (математического анализа) как раз сотрудничает с биологами и пишет с ними совместные работы. Биологи отвечают за свою часть, он за обработку и анализ статистики. Выходит неплохо, но не всегда такое сотрудничество возможно. Вообще очень много работ стало бы лучше, если бы их просматривал математик, хотя бы поверхностно знакомый с темой.
vconst
06.06.2016 16:47Что-то мне подсказывает, подавляющее большинство работ обсуждаемых в статье – с математикой даже рядом не лежали, потому и воспроизводимость такая низкая
Xaliuss
06.06.2016 18:25Те работы, которые с математикой даже рядом не лежали наверно ещё не так плохи, так как не претендуют на математическую строгость. Самое страшное как раз в тех работах в которых математика рядом лежала, и неспециалист по математике может не обнаружить проблем, и считать, что раз там формулы, то всё хорошо. У подавляющая большинства тех же статических методов есть указания как, когда и где применять, но «специалисты» эти детали просто не могут понять.
Классический пример — ошибка выжившего, когда проводятся большое количество всевозможных проверок на различные связи и в итоговой работе оставляют только то, что показало значимые связи. Вот недавно здесь была новость про то, как якобы обнаружили связь линий передач с какими-то заболевании, но авторы статьи изначально проверяли по примерно 800 признакам… Самое плохое, что по самой работе понять, что нарушены принципа анализа статистики нельзя, так как там просто нет всех данных. Такие работы понятно не воспроизводятся, и их доля, особенно в биологии, медицине, психологии очень велика. Рецепт их производства крайне прост — прогонять тесты, и публиковать только удачное. А проверка такой работы требует повторения эксперимента, причём возможно не один раз.
qbertych
Tiberius
Автор не знает конкретно, но может догадаться, кто рецензировал его работу. Например, по стилистике, по просьбе обратить внимание на такие-то работы или тупо прямая просьба их процитировать (встречал и такое), по фактическому материалу изложенному в работе и рецензии, а также зная людей, которые активны в той или иной области.
По пока небольшому опыту скажу, что вероятность угадать 2х из 3х ревьюеров (обычно их 3, иногда 2 или 4) от 80%.
qbertych
Это-то понятно, но это насколько же маленьким должно быть научное сообщество, чтобы все всех знали. В моей теме, например, людей очень немного, но понять, кто рецензент, все равно проблема. Ну и нормальные люди предпочитают не подставляться с просьбой процитировать.
Еще изредка бывают случаи, когда редактор журнала отправляет письмо для рецензента автору. Ничем хорошим обычно не заканчивается.
Tiberius
Эм, любое научное комьюнити маленькое, если работает над конктретной проблемой. Например, я занимаюсь самосборкой наночастиц на границе раздела двух жидкостей и могу перечислить десяток групп, которые работаю в этом направлении.
vskorkosh
Зависит от конкретного случая. Например в одной из недавних работ мы точно знали одного из рецензентов, потому что это была именно его специальность + по стилю рецензии. А в других случаях авторы уже не были известны.
SunX
Ну это официально никто не знает, по правде же часто вполне известно, кто рецензирует, хоть и неофициально.
sielover
Если тема достаточно узкая, то, во-первых, при отправке манускрипта можно самостоятельно предложить список рецензентов, а, во-вторых, по комментариям тоже можно догадаться, так как общались ранее на конференциях и т.п.
Mingun
Постойте, причём тут автор? Я так понял, что рецензию «скорректировал» рецензент и он то наверняка знает, чью статью рецензировал!
Tiberius
рецензию скорректировал босс, то бишь профессор.
Mingun
Так он знал автора работы скорректированной рецензии или нет? И в любом случае, при чём здесь сам автор работы? Портить же отношения с коллегами (то бишь с автором работы) не собирался именно корректор!
Tiberius
Ествественно, он знал. А автор работы тут не при чём.