16.01.2023 13:56
d_bratskikh 9 2100 Источник

Исследователи не всегда могут отличить статьи, созданные искусственным интеллектом, от оригинальных.

Согласно препринту, опубликованному на сервере bioRxiv в конце декабря, чат-бот с искусственным интеллектом (ИИ) может писать такие убедительные аннотации научных статей, что ученые часто не в состоянии их распознать. Мнения исследователей о последствиях для науки расходятся.

С момента появления ChatGPT исследователи боролись с этическими проблемами, связанными с его использованием, потому что большую часть его результатов трудно отличить от текста, написанного человеком. Ученые опубликовали препринт и статью(скачать можно с помощью бота), написанную ChatGPT. В аннотации ИИ рассказывает, как она будет проводить исследования над собой.

Искусственный интеллект (ИИ) может революционизировать процесс открытия лекарств, предлагая повышенную эффективность, точность и скорость. Однако успешное применение ИИ зависит от наличия высококачественных данных, решения этических проблем и признания ограничений подходов на основе ИИ. В этой статье рассматриваются преимущества, проблемы и недостатки ИИ в этой области, а также предлагаются возможные стратегии и подходы для преодоления существующих препятствий. Также обсуждаются использование увеличения данных, объяснимый ИИ и интеграция ИИ с традиционными экспериментальными методами, а также потенциальные преимущества ИИ в фармацевтических исследованиях. В целом, этот обзор подчеркивает потенциал ИИ в разработке лекарств и дает представление о проблемах и возможностях для реализации его потенциала в этой области.

Примечание от авторов-людей: эта статья была создана для проверки способности ChatGPT, чат-бота, основанного на языковой модели GPT-3.5, помогать авторам-людям в написании обзорных статей. Текст, сгенерированный ИИ в соответствии с нашими инструкциями (см. Вспомогательную информацию), использовался в качестве отправной точки, и оценивалась его способность автоматически генерировать контент. Проведя тщательный обзор, авторы-люди практически переписали рукопись, стремясь сохранить баланс между исходным предложением и научными критериями. Преимущества и ограничения использования ИИ для этой цели обсуждаются в последнем разделе.

Группа под руководством Кэтрин Гао из Северо-Западного университета в Чикаго, штат Иллинойс, использовала ChatGPT для создания искусственных тезисов научных статей, чтобы проверить, могут ли ученые их обнаружить.

Исследователи попросили чат-бота написать 50 аннотаций медицинских исследований на основе выборки, опубликованной в JAMA, The New England Journal of Medicine, The BMJ, The Lancet и Nature Medicine. Затем они сравнили их с исходными аннотациями, пропустив их через детектор плагиата и детектор выходных данных ИИ, и попросили группу медицинских исследователей обнаружить сфабрикованные аннотации.

Тезисы, сгенерированные ChatGPT, прошли проверку на плагиат: медиана оригинальности составила 100%, что указывает на отсутствие плагиата. Детектор вывода ИИ обнаружил 66% сгенерированных тезисов. Но рецензенты-люди справились ненамного лучше: они правильно идентифицировали только 68% сгенерированных аннотаций и 86% настоящих аннотаций.

Вахтер говорит, что, если ученые не смогут определить, верны ли исследования, могут быть «ужасные последствия». Это создает проблемы для исследователей, так как они могут быть сбиты с толку ошибочными выводами, которые были сфабрикованы. Также есть «последствия для общества в целом, потому что научные исследования играют огромную роль сегодня». Например, политические решения, основанные на исследованиях, могут быть неверны.

Если учреждения решат разрешить использование технологии в определенных случаях, они должны установить четкие правила в отношении раскрытия информации. Ранее в этом месяце Сороковая международная конференция по машинному обучению, крупная конференция по ИИ, которая пройдет в Гонолулу, Гавайи, в июле, объявила о запрете статей, написанных ChatGPT и другими языковыми инструментами ИИ.

В областях, где ложная информация может угрожать безопасности людей, например, в медицине, журналам, возможно, придется применять более строгий подход к проверке достоверности информации. Решения этих проблем должны быть сосредоточены не на самом чат-боте, а скорее на стимулах, которые приводят к такому поведению.


Ссылка на статью

Бот для скачивания статей

Лучшие инструменты для написания статей

ВК | ТГ | Блог 

Комментарии (9)


  1. panvartan
    16.01.2023 14:16
    #25118190
    +2

    Мир уже много тысяч лет построен на обмене слов на деньги, потому что до недавнего времени за словами какая-никакая но работа стояла. Похоже, на наших глазах код матрицы сломан.


    1. janvarev
      16.01.2023 14:24
      #25118216

      Ну, имхо, ситуация меняется.
      Более значимую роль начнут играть:
      1. Личное доверие - что вы знаете, что конкретный человек таки ПРОДЕЛАЛ работу, а не просто написал текстик.
      2. Рабочие системы - то, что работает, ценности несёт больше, чем текст, который чем дальше, тем легче фальсифицировать.

      На самом деле всё равно всегда легче устранять ошибки на этапе проектирования (читай: слов и предложений), чем на этапе реализации, но для этого придется серьезно пересмотреть работу со словом. Может, даже мы дойдем до общественного осуждения пиздежа слов, не подтвержденных деятельностью.


      1. Arhammon
        16.01.2023 16:47
        #25118986

        1 пункт людьми неоднократно уже дискредитирован, задолго до появления генерации текстов


  1. VictorGM
    16.01.2023 19:49
    #25119992

    В пользовательском соглашении OpenAI (разработчики ChatGPT) есть требование: при использовании контента должно быть ясно, что он сгенерирован ИИ:

    You may not [...] represent that output from the Services was human-generated when it is not

    Соответственно, недобросовестное использование ChatGPT нарушает пользовательское соглашение и может приводить к юридической ответственности перед OpenAI.

    Ясно, что реальные последствия нарушения пользовательского соглашения - вилами по воде. Однако в любом случае:

    1. Видимо, на разработчиках лежит социальная ответственность за тем, чтобы отслеживать и карать тех, кто недобросовестно использует ИИ

    2. Если разработчики не будут нести это бремя, то его довольно предсказуемо возьмут на себя государства.


    1. vassabi
      16.01.2023 23:56
      #25120912

      Видимо, на разработчиках лежит социальная ответственность за тем, чтобы отслеживать и карать тех, кто недобросовестно использует ИИ

      скажите - вы серьезно ???

      Hidden text

      "разработчики" - вы так пишете, как будто это какая-то уникальная технология, и авторы могут запретить кому-то модифицировать байты весов сети.


      1. Tiriet
        17.01.2023 13:54
        #25123368
        +1

        тут еще хуже- разработчики это что вообще за категория лиц? так можно сказать, что и каменщик должен нести социальную ответственность за конструкцию моста? разработчики- это наемный персонал. его ответственность- выполнять трудовые обязанности в рамках трудового договора с работодателем. ни принимать решения о способах использования результатов своего труда, ни тем более карать недобросовестных пользователей его труда разработчик не может.


    1. vassabi
      17.01.2023 13:32
      #25123238

      Если разработчики не будут нести это бремя, то его довольно предсказуемо возьмут на себя государства.

      ну, государственная бюрократия с удовольствием берется за что угодно, что может порегулировать - их воля, они бы регулировали какой ноздрей кто как дышит - левой или правой и как часто, и многое другое "бремя заботы о населении" /sarcasm.

      Но это же не значит, что нужно все подряд регулировать, а что наоборот - надо давать людям пространство для самоорганизации и саморегулирования


  1. vkni
    17.01.2023 03:37
    #25121330

    С одной стороны, механизм науки и не такое перемалывал — она, в конце-концов, совершенно нормальные теории, построенные и до определённой степени проверенные умными людьми, отправляла в утиль (см. теплород или эфир). С другой стороны, это всё, конечно её сильно притормозит.

    И, конечно, проблема тут не в chatGPT, а в максиме «главное — прибыль».


  1. Tiriet
    17.01.2023 14:27
    #25123524

    Вообще, не понимаю проблемы. ЧатЖиПиТи пишет тезисы. ну так тезисы- это краткий художественный рассказ о том, какую мы проделали выдающуюся работу. Нейронка написала правдоподбные тезисы? Нейронка написала рассказ по заданной теме, новость? Ииии? Рецензенты не заметили подставы? То же самое, что кинорежиссер снял фильм, похожий на правду- актеры так хорошо передают эмоции, декорации прямо узнаваемые, а кинокритики восприняли фильм хорошо. Можно было бы подумать, что тут есть проблема фальсификации научных данных, но тоже не так- эта проблема была есть и будет и без нейронок- и в физике она есть, и в биологии, и в гуманитарных науках, и хуже того- даже в медицине есть проблема фальсификации научных данных и нерепрезентативности результатов. на хабре недавно были дебаты по поводу некорректности научных работ по амилоидным бляшкам и Альцгеймеру, лет десять назад в Японии закрыли лабораторию по изучения рака (рака! целая лаборатория, больше сотни публикаций в рецензируемых медицинских журналах первого квартиля, спалились на том, что в конец потеряли берега и тиснули собственные цифры по чужой теме, а аспирантка с конкурирующего предприятия в рамках рутинного мониторинга публикаций по теме цифирьки увидела и они сильно не сошлись с ее собственными, она и хату подожгла). Разрабы должны смотреть, чтоб их сеть не использовали для написания научных статей? В общем, похоже на разгон хайпа на пустом месте.