Источник.
Пару недель назад австралийский научный журнал Cosmos стал гораздо известнее, чем раньше. Но не потому, что он опубликовал какую-то прорывную статью. Все дело из-за применения генеративного искусственного интеллекта (ИИ) для создания научных статей. Эксперимент, на который пошел журнал, вызвал критику и негодование не только со стороны научного сообщества и читателей, но и бывших авторов издания, редакторов и двух учредителей. В чем там дело?

Контекст эксперимента с ИИ


Эксперимент стартовал после получения журналом гранта от Meta News Fund в 2023 году. Распределением и контролем средств занимался Фонд Уокли (The Walkley Foundation). Проект предполагал создание «кастомизированного ИИ-сервиса», который бы генерировал научные статьи на основе архива из 15 000 материалов, накопленных журналом за годы его существования. Средства выделялись на исследование возможностей и рисков ИИ-инструментов в журналистике.

Специально обученный ИИ-сервис использовали для создания шести статей на сложные научные темы. После чего, в июле 2024 года, они были опубликованы на сайте Cosmos с примечанием о том, что данный контент был сгенерирован ИИ. Президент Ассоциации научных журналистов Австралии Джексон Райан отметил, что по крайней мере одна из напечатанных статей содержит неточности. «Тексты были созданы с помощью GPT-4 от OpenAI, а затем проверены с использованием архива статей Cosmos», — подчеркнул он.

За полгода до этих событий, в феврале 2024 года, из Cosmos без предварительного предупреждения были уволены пять из восьми внештатных авторов. Им пришли электронные письма с уведомлением о том, что в их услугах больше не нуждаются и новые статьи больше не будут приниматься. Как заявили представители журнала, решение было продиктовано финансовыми проблемами. Стало ли это истинной причиной увольнений сотрудников — неизвестно. Однако участие в проекте с использованием ИИ кидает тень на политику журнала в отношении рабочей этики, прозрачности и доверия к научной журналистике.


Ситуация усугубилась, когда стало известно, что никто кроме руководства компании не знал о начале эксперимента. Иэн Коннеллан, бывший редактор Cosmos, заявил, что никто из редакционного персонала также не был в курсе. Даже не смотря на то, что именно они отвечали за редакционные решения до передачи журнала под управление CSIRO. Учредители Cosmos, Кайли Аерн и Уилсон да Силва, также выразили своё возмущение и разочарование принятым решением. По их мнению использование ИИ-сервиса вместо журналистов — точно не путь, который они выбирали.

Из-за проекта у Cosmos и руководящей компании CSIRO возникли этические и юридические проблемы. Временный редактор Cosmos Гэвин Стоун перенаправил все претензии в CSIRO Publishing. Только после этого представитель компании заверил, что ИИ-сервис не был обучен на статьях авторов Cosmos. Было ли это так на самом деле — еще выясняют.

Доверие к науке и журналистике


Бывшие авторы журнала считают, что ИИ-сервис обесценивает их работы и ставит под угрозу важность профессии журналиста в целом. Фонд Уокли, спонсировавший проект, также подвергся критике за предоставление гранта. Многие журналисты считают, что организация, созданная для поддержки их профессии в Австралии, не должна финансировать подобные проекты.
«Использование ИИ для представления фактов, подкрепленных научными исследованиями, вызывает серьезные опасения и может привести к катастрофическим последствиям. В условиях, когда доверие к науке и средствам массовой информации стремительно падает (особенно заметно это в медиа), проведение экспериментов с ИИ без должной прозрачности — это, в лучшем случае, проявление невежества, а в худшем — опасный шаг», — предупреждает Джексон Райан, президент Ассоциации научных журналистов Австралии.

Он также привел пример американского технологического сайта CNET, который в конце 2022 года опубликовал десятки статей, созданных с помощью кастомизированного ИИ.

«Подобное уже случалось ранее. В конце 2022 года уважаемый американский технологический сайт CNET, где я работал научным редактором до августа 2023 года, опубликовал десятки статей, созданных с помощью кастомизированного искусственного интеллекта. Этот «робот-писатель» выпустил 77 публикаций, и после расследования, проведенного конкурентами, выяснилось, что более половины из них содержали неточности», — рассказал Райан. Этот случай был назван «журналистской катастрофой», и аналогичные опасения были высказаны в отношении Cosmos.

Сегодня экспериментальный проект Cosmos приостановлен для детального расследования и решения возникших проблем. Но компания CSIRO по-прежнему является «приверженцем этичного и ответственного использования технологий ИИ».

Перспективы использования ИИ в медиа


Несмотря на все риски, использование ИИ в журналистике имеет потенциал, особенно для небольших изданий, которые сталкиваются с трудностями в создании контента. ИИ может помочь, например, автоматизировать рутинные задачи. Однако для успешной полной интеграции в медиаиндустрию необходимо обеспечить открытость информации и учитывать мнение аудитории.

Цель науки — уменьшить неопределенность, но она не способна полностью ее устранить. Эффективная научная журналистика помогает аудитории осознать эту неопределенность и, как показывают исследования, укрепляет доверие к научному процессу. Однако генеративный ИИ остается инструментом, создающим предсказуемый текст, который может подорвать этот процесс, порождая контент, который звучит убедительно, но часто лишен смысла.

Это не значит, что генеративный ИИ должен быть запрещен. При надлежащем контроле ИИ способен стать важным инструментом для небольших издательств, таких как Cosmos, помогая им поддерживать постоянный поток контента не теряя доверии аудитории.

Комментарии (16)


  1. Javian
    31.08.2024 11:41
    +4

    ИИ, который обучили на старых журналах, наверняка будет выдавать устаревшие сведения. Без вычитывания экспертом будет школьное сочинение, а не научная статья.


    1. dimitrii_z
      31.08.2024 11:41
      +2

      Судя по тексту генерировать заставили ChatGPT 4, а уже проверку по базе статей сделали неким их ИИ:

      Тексты были созданы с помощью GPT-4 от OpenAI, а затем проверены с использованием архива статей Cosmos

      Вообще да, текст несколько запутан.


    1. PereslavlFoto
      31.08.2024 11:41
      +1

      Точнее, не школьное сочинение, а обычная газетная статья.


  1. Vsevo10d
    31.08.2024 11:41
    +9

    Генеративные текстовые модели, очень грубо говоря, предсказывают, какое слово/слог будет идти за следующим на основе обучающего корпуса литературы. В данном случае проблема не в том, что она обучена на старых номерах журналов, как пишут выше. Дело в том, что научные исследования решают помимо задач анализа задачу синтеза, а языковые модели на синтез неспособны, они не могут, загрузив номер журнала про вертолеты и номер журнала про радиоуправляемые машинки на литий-полимерных аккумуляторах, придумать дрон. Это такие Остапы Бендеры, которые, сориентировавшись в моменте, выдадут правдоподобный текст, ничего в нем не смысля.


    1. acc0unt
      31.08.2024 11:41
      +3

      То, что ИИ "предсказывает следующее слово", и то, способен ли ИИ к "решению задач синтеза" - это абсолютно ортогональные друг другу концепты.

      "ИИ не может X потому что он просто предсказывает следующее слово", показывая на текущее поколение LLM - это как говорить "предмет не может быть квадратным потому что он очевидно оранжевый", показывая пальцем на апельсин.


      1. Vsevo10d
        31.08.2024 11:41
        +1

        Я согласен, что они ортогональны. Я говорил именно про современные генеративные языковые модели. Я понимаю, что ИИ можно заточить и на синтез, и это было бы гораздо интереснее. Но это уже рождает вопрос, а обучение с подкреплением вообще для этого подходит?


    1. mydigitalhabb
      31.08.2024 11:41
      +3

      Кроме Остапа, любой депутат и политик научен этому навыку выдавать большое полотно полноводного текста.


  1. FilIvanov
    31.08.2024 11:41
    +2

    Как заявили представители журнала, решение было продиктовано финансовыми проблемами. Стало ли это истинной причиной увольнений сотрудников — неизвестно

    Владелец журнала решил, что самый умный и подключил ИИ, но получил скандал. Ожидаемо.

    Эту раковую опухоль под названием ИИ зря выпустили из бутылки. Подумаешь, какой-то журнал... Сейчас интернет насыщается бесполезным копирайтингом от ИИ. Скоро всё дойдет до того, что интернет превратится в свалку текста, в котором ничего невозможно будет найти. И так до введения ИИ копирайтеры постарались, наплодив тонны бесполезных однотипных текстов, а теперь ещё и ИИ.

    Сейчас всё чаще натыкаюсь на мнения о возрождении каталогов сайтов. Как в 2000 году. Потому, что поисковая выдача уже просто ниже плинтуса - уже не ясно, где написано экспертом, где копирайтером, а где ИИ.


    1. Vsevo10d
      31.08.2024 11:41
      +1

      Я уже высказывал мнение о такой профессии, как Хранитель верифицированных знаний, к нему обращаешься - а он тебе выдает скрижали проверенную информацию, экспертное мнение, сертифицированный не копирайтерский-не-ИИ-текст.


      1. DaneSoul
        31.08.2024 11:41
        +1

        Таким хранителем по сути исходно являлись энциклопедии.
        Вопрос, как гарантировать, что их издатели не привлекут в дальнейшем ИИ для наполнения или корректировки информации.


    1. DaneSoul
      31.08.2024 11:41

      Толку от каталогов, если они будут содержать те же сайты с тем же генерированным контентом. Сломались то не поисковики, сломались сами сайты которые они индексируют...


  1. dmbarsukov
    31.08.2024 11:41
    +2

    Очень интересно в рамках того, что статьи и очень внимательно и пристально проверяют, при том что к статьям людей такого серьезного внимания нет. И люди часто галюцинируют едва ли не сильнее, чем ии, и нормально, с оплатой по количеству знаков прокатывает.

    И нормально справятся с компиляцией из старых работ, если подкрутить необходимость выдачи в любом случае, придумывая результат. Создание исследовательской или научной работы им пока не под силу и вряд ли будет.


    1. randomfoto
      31.08.2024 11:41

      у людей есть имя и репутация как сдерживающий или мотивирующий все проверить фактор.
      а у ии есть только заложенное программистом желание прочитать новость о том как исследовательский центр потратил год работы и взорвался воодушевившись криво переведенной статьей сгенерированной ии.


  1. tonteliona
    31.08.2024 11:41

    Мне кажется тут проблема есть по серьёзней. Тут пишут, что статьи издали, после того как выяснили, что их написал ИИ, нашли в них ошибки и неточности. Но простите, что с проверкой до публикации?


  1. Marsel_iz_Kazani
    31.08.2024 11:41
    +2

    Такое ощущение, что эту статью написал тоже ИИ: неоправданно длинная, много воды, некорректное использование "всё дело из-за..." (должно быть "всё дело в...).


  1. ssurrokk
    31.08.2024 11:41
    +1

    а теперь представим что текущая статья написана тоже ИИ ( что возможно так и есть) и получится сингулярность )