История о кухонном комбайне в закрытой коробке

Представьте, что вы хотите купить кухонный комбайн. Продавец показывает вам великолепную коробку с восторженными отзывами: "Спас мою талию и мой брак!". Впечатляет. Но на просьбу открыть коробку и включить устройство вы получаете отказ: "Всё, что вам нужно знать, написано на коробке. Поверьте, это отличный комбайн!".

Какое это имеет отношение к медицинским исследованиям? Прямое. Научная статья часто похожа на такую закрытую коробку. Снаружи все выглядит блестяще, но заглянуть внутрь и увидеть сырые данные, на основе которых сделаны выводы, почти невозможно. Читатель видит лишь то, что авторы решили ему показать.

Подавляющее большинство учёных честные люди, стремящиеся улучшить мир. Однако важно понимать: то, что вы видите на коробке, не всегда полностью соответствует тому, что внутри. И нам нужно научиться это распознавать.

Стоят ли исследования своих денег?

Исследования стоят огромных денег. США ежегодно тратят на них более 186 миллиардов долларов. Но, как однажды было сказано: "Если вы думаете, что исследования это дорого, попробуйте поболеть".

Окупаемость инвестиций может быть колоссальной. Проект "Геном человека" стоил 3,8 миллиарда долларов, а принес около триллиона экономического роста. Клиническое исследование гормональной терапии для женщин в период менопаузы обошлось в 250 миллионов, но в долгосрочной перспективе сэкономило 37 миллиардов долларов. Исследования дороги, но их результаты приносят огромную пользу.

От идеи до публикации: два пути

Как идея превращается в статью? Существует два основных пути: академический и индустриальный (фармацевтические компании).

1. Академический путь это долгая дорога.

• Идея и гипотеза: Возникает научный вопрос и предположение.

• Поиск финансирования: Начинается самый сложный этап, написание гранта. Это многостраничное предложение, которое месяцами, а иногда и годами, проходит через циклы отказов и доработок, пока (если повезет) не получит финансирование.

• Исследование и анализ: После получения денег проводится само исследование.

• Рецензирование: Готовая статья отправляется в журнал, где ее анонимно критикуют несколько экспертов. Сырые данные рецензенты, кстати тоже почти не видят. Этот процесс правок и ответов на замечания может занять еще много месяцев.

Весь путь от идеи до публикации легко может занять десятилетие. Это медленный, но тщательный процесс.

2. Индустриальный путь  как правило, быстрее. Фармацевтические компании проводят исследования на собственные средства, пропуская этап поиска грантов. Однако их работы проходят тот же "строгий" процесс рецензирования перед публикацией.

Кто платит за науку и как ее читать бесплатно?

Вопреки распространенному мнению, исследователи не зарабатывают на публикациях. Наоборот, они часто платят журналам за публикацию своих статей, особенно в журналах открытого доступа.

При этом для читателя доступ к статьям часто оказывается платным. Журналы зарабатывают деньги, устанавливая платные барьеры (paywalls) даже на те исследования, которые уже были оплачены налогами. Как обойти эти барьеры?

1. Библиотеки: У многих публичных и университетских библиотек есть подписки.

2. PubMed Central: Исследования, финансируемые правительством США, появляются здесь в открытом доступе с задержкой до года.

3. Google Scholar: Часто помогает найти бесплатные версии статей.

4. Написать автору: Самый эффективный способ. Email автора обычно указан в аннотации. Практика показывает, что ученые почти всегда готовы поделиться копией своей работы.

Хищные журналы

Идея открытого доступа, когда все статьи бесплатны для читателя, прекрасна. Но она породила проблему: хищных журналов. Это псевдонаучные издания, которые за плату опубликуют что угодно, имитируя процесс рецензирования.

В один такой журнал приняли и опубликовали статью, целиком состоявшую из многократно повторенной фразы, отпишите меня от вашей рассылки. Но после медиа скандала, статью к сожалению удалили. Доктор Питер Вэмплью, преподаватель и исследователь в области компьютерных наук в Университете Федерации в Виктории, представил статью в Международный журнал передовых компьютерных технологий. Вэмплью сказал, что отправил статью, ожидая, что редакторы журнала прочитают её, проигнорируют и в лучшем случае удалят меня из своего списка рассылки. Несколько недель спустя он получил хорошие новости: Статья принята к публикации. В соответствии с высочайшими академическими стандартами, Get Me Off Your Fucking Mailing List прошёл тщательное анонимное рецензирование.

Современная система публикаций зародилась из простой необходимости. В 16 веке ученые, такие как члены Лондонского королевского общества, создали первые научные журналы, например, Philosophical Transactions (1665), чтобы заменить медленную переписку и создать общедоступный архив знаний. По мере усложнения науки в 18-19 веках возникла система рецензирования (peer review) для оценки качества работ. Ключевой перелом произошел после второй мировой войны, когда правительствам и фондам понадобился объективный критерий для распределения денег и должностей. Так родилась культура публикуйся или погибнешь, где количество статей стало мерилом продуктивности.

Но как оценить качество среди тысяч публикаций?

Ответ нашел Юджин Гарфилд, создав в 1960-х годах Индекс научного цитирования. Идея была в том, что цитирование это объективный след, который показывает, что работа была прочитана, признана важной и использована другими учеными. Таким образом, цитирование превратилось в главную валюту науки, а его высокий уровень в прямой путь к грантам, карьерному росту и признанию. И это породило порочные стимулы для ученых. Их карьера напрямую зависит от количества публикаций и грантов. Это создает стимул публиковать только успешные результаты, которые подтверждают гипотезы, и на которые будут ссылать другие ученые и умалчивать о провальных экспериментах. Это вредит науке, так как другие исследователи могут повторить те же ошибки. А например, фармкомпаний/табачные компании это подталкивает к публикации исследований, выставляющих их препараты/продукты в максимально выгодном свете.

В результате это породило свою теневую экономику в 21 веке. Были созданы фабрики статей или paper mill. Это целые подпольные компании, которые за деньги производят и продают готовые научные работы, иногда с выдуманными данными, иногда с украденными. И масштаб проблемы поражает: речь идет о сотнях тысяч фальшивок, которые отравляют научную литературу, пока журналы не спеша решают, стоит ли их удалять. Представьте, что настоящие ученые, работающие над лекарством от рака, тратят время и ресурсы, опираясь на данные из такой статьи-призрака.

И с приходом лингвистических моделей/AI проблема только усугубилась.

Искусственный интеллект, который должен был стать идеальным помощником ученого, на деле открыл ящик Пандоры и стал турбо-двигателем для фабрик статей. Главной проблемой стали галлюцинации ии, способность нейросетей уверенно выдумывать факты и генерировать призрачные цитаты на несуществующие работы. Но что еще хуже, ai до предела снизил порог входа для мошенников, позволив им штамповать мусор в промышленных масштабах.

Точное количество таких статей подсчитать невозможно, но счет уже идет на тысячи, а крупные издательства вынуждены отзывать целые спецвыпуски журналов, почти целиком сгенерированные нейросетями. И изобритательность идет дальше, чтобы обходить проверку статей на оригинальность, авторы стали прятать в статьях невидимые инструкции для ии рецензентов, чтобы те писали хвалебные отзывы. Так рождается опасный замкнутый круг: нейросети обучаются на потоке мусорных статей, которые сами же помогли создать, грозя превратить научную литературу в свалку самовоспроизводящейся дезинформации.

Цель этой статьи не разочароваться в науке, а помочь вам стать более осознанным читателем. Понимание того, как устроена система, это первый и самый важный шаг. Следующий шаг научиться применять эти знания на практике. Именно этим мы и займемся в следующей статье: мы возьмем вымышленную типичную научную работу и пошагово разберем ее структуру. Вы узнаете, какую роль выполняет каждый раздел и на что в нем обращать внимание, чтобы самостоятельно оценить качество того, что находится внутри коробки по обертке.