Возможности нейросетей в плане генерации контента используются всё активнее. Маркетологи, копирайтеры, пиарщики и представители других креативных и не очень профессий работают с нейросетями ежедневно. За последние пару лет появилось очень много сервисов, которые предлагают бесплатно или за небольшую плату сгенерировать текст, картинку, видео.

Всё это хорошо, но в некоторых случаях важно знать, где написанное или нарисованное «вручную», а где — сгенерированный контент (тут ждём искромётных шуток в комментариях по поводу самой этой статьи). Зачем? Это важно в случае научной работы, студенческой дипломной работы, рисунков для разного рода конкурсов. И сервисы выявления машинного контента вроде бы есть. Но вот беда — они не работают. Почему и что с этим делать?

Тексты и GPTZero

Совсем недавно команда OpenAI опубликовала статью для представителей сферы образования. Она была посвящена приёмам работы с ChatGPT, и в этой же статье говорилось о том, что сервисы детекции машинного контента не работают. И это несмотря на то, что такие сервисы пытаются использовать преподаватели в университетах для выявления созданных нейронками научных и не очень текстов, над которыми должны работать студенты.

В статье от Open AI, в частности, говорится: «Если кратко, то сервисы определения машинного контента не работают. Хотя некоторые компании, включая OpenAI, представили инструменты, предназначенные для обнаружения сгенерированного контента, ни один из этих инструментов не стал особенно эффективным. Машины просто не видят особой разницы между контентом, который создан нейросетью или человеком».

Один из достаточно известных сервисов, GPTZero, часто выдаёт ложные срабатывания, помечая «человеческий» текст как машинный. А вот машинный как раз чаще всего определяется как написанный человеком. Та же компания OpenAI не так давно запустила собственный сервис по детекции машинного контента — AI Classifier. Работал он исключительно с текстами. В итоге оказалось, что эффективность работы этого сервиса не дотягивает даже до 30%. Так что проще угадать, где какой текст, чем определять это при помощи сервиса.

Фактчекинг такие сервисы тоже не в состоянии выполнять, а ведь проверка того, что написано в статье, заметке или новости — это важно. Все мы знаем, что ChatGPT склонен добавлять в контент что-то от себя, если не может найти информацию по теме в сети. Эта склонность нейросети подвела многих авторов и даже юристов.

Что нам остаётся? Либо ждать более надёжного сервиса по детекции машинного контента, либо определять автора самостоятельно. Если не знаешь человека, то сказать, чей текст, если он написан хорошо, сложно. Но если преподаватель хорошо знаком с особенностями «рукописных» работ своих студентов, он без проблем определит, написано это подопечным или кем-то ещё.

Изображения и Google DeepMind

Корпорация Google разработала сервис иного рода — он может определять и маркировать водяными знаками графический контент. Но с оговорками: не любые картинки, а только те, что созданы посредством генератора изображений Google Imagen. К сожалению, пока что речь о распознавании любых синтетических изображений не идёт.

Как и в случае с текстами, актуальность проблемы растёт с каждым днём. Сгенерированных картинок всё больше, включая дипфейки, работы для конкурсов и т. п. А определять, что это за контент, если он создан нейронкой высокого класса, сложно. Далеко не всегда это может сделать и специалист.

По мнению многих экспертов, пришло время стандартизации и регламентации графического контента, созданного машиной. Проблема дипфейков сейчас весьма актуальна. И они вполне могут работать в качестве политического или социального инструмента. Кроме того, нейросети берут базу для генерации контента из сети, в том числе речь идёт о защищённой копирайтом графике. Сейчас в судах рассматривается немало судебных исков от графических дизайнеров, художников и фотографов к компаниям, разработавшим генеративные нейросети.

Так вот, в Google DeepMind пытаются решить эту проблему при помощи водяных знаков. Нейросеть при генерации картинки добавляет водяные знаки, которые не видны человеку, а вот для машины они очень хорошо заметны. При этом речь идёт не про обычные водяные знаки, которые можно обрезать или затереть. Здесь всё сложнее — такая маркировка «зашита» в саму картинку, так что сервис, который обучен определять сгенерированный контент по водяным знакам, сможет сделать это сразу, как ни обрезай графику.

Новые правила для всех

В июле 2023 года корпорация Google и шесть разработчиков известных ИИ подписали совместное соглашение о безопасной разработке и использовании ИИ. На практике это будет выражаться в маркировании сгенерированного контента при помощи незаметных для человека отметок. Машина же сможет определить их сразу — даже после изменения графики в графическом редакторе.

Всё это — лишь первый шаг. Эксперты считают, что нужны общие для всех стандарты маркирования сгенерированного контента. Сейчас тот же Google DeepMind может определять изображения, которые созданы им же. Картинки от Midjourney, Kandinsky или Stable Diffusion он определить пока не в состоянии.

Соответственно, нужны инструменты как маркирования, которые будут унифицированы для всех, так и выявления водяных знаков, причём на любом контенте — от графики до текстов. С последними всё достаточно сложно, поскольку каким образом можно помечать тексты, неясно. Если в картинку «зашить» информацию достаточно просто, с текстом так сделать не получится.

В ЕС, кстати, уже задумались над новыми законами в отношении маркирования сгенерированного текста. Так, законодательные органы Евросоюза предложили ввести обязательную маркировку любого контента (текста, изображений, видео- и аудиофайлов), созданного искусственным интеллектом. Цель этой инициативы — оградить общество от попыток манипуляций через фейковый контент.

Комментарии (14)


  1. MountainGoat
    15.09.2023 14:36
    +9

    Закон об обязательном маркировании редактированных фотографий хорошо отработал, да.


  1. KivApple
    15.09.2023 14:36
    +4

    Мне кажется, это не будет работать, так как будут генераторы контента не добавляющие водяные знаки. А люди, видя, что есть маркировка, будут думать, что если её нет, текст 100% человеческий. А без маркировки они могут подозрительно относиться ко всему.


    1. Daddy_Cool
      15.09.2023 14:36
      +1

      А потом будет... убрать водяной знак с картинки без регистрации и смс...
      Кстати, а будет ли кто-то читать сгенерироанные тексты если будет пометка?
      На мейле есть тексты с пометкой "реклама", думаю их никто не читает вообще.


  1. avshkol
    15.09.2023 14:36

    Отмаркировать незаметно текст можно, если в некотором промежутке (первые 5-7% символов, к примеру) буква а, к примеру, будет находиться на 35 позиции от буквы е, а через 7 позиций - д (все это без учета пробелов). И таких "кодов" несколько, чтобы исключить случайное совпадение с вероятностью 99.99%.

    Чтобы убрать эту маркировку, нужно будет всё переписать своими словами, что как бы частично девальвирует машинное авторство (сведя его лишь к набору идей, как, например, если текст создан при активном поиске в гугле/ яндексе).


  1. vassabi
    15.09.2023 14:36
    +3

    ИМХО маркировка может сработать только если она будет производиться наоборот - когда маркирются тексты, созданные людьми (с пометкой "принадлежность человеку удостоверил %такой-то%, он клянется что текст написан руками").


    1. NightShad0w
      15.09.2023 14:36
      +1

      Вот это прямо оно! Даже без блокчейна, а просто цифровой удостоверенной подписью. Однако подписание электронной почты не влетает в массы уже уйму лет. Есть обстоятельства непреодолимой силы.


      1. vassabi
        15.09.2023 14:36

        ээээ .... подождите, а вы что - не обратили внимание, что эта система уже внедрена и работает?

        или вы не в курсе как https устроен ?

        просто сейчас эта система удостоверяет "этот сайт сделан васей пупкиным", но продлить ее с серверов на документы (и отзывать подписи у недобросовестных подписантов) - это как сделать второй биткойн после создания первого :)


    1. Armitage1986
      15.09.2023 14:36
      +5

      Тут есть одна фундаментальная проблема - люди врут.


      1. andyudol
        15.09.2023 14:36
        +3

        А когда им говорят правду — не верят.


      1. vassabi
        15.09.2023 14:36

        люди всегда врут, тут ничего нового - но те же люди придумыват способы отсеять верные данные от вранья (тот же блокчейн например)


    1. akakoychenko
      15.09.2023 14:36

      А идея то даже хороша. С той лишь оговоркой, что должна быть выстроена глобальная система репутации, ведь завязываться на тот же паспорт, или другой документ, смысла не имеет (ибо всегда есть алкаши-дропы, которым нечего терять, и посредники-дроповоды, которые обеспечат аггрегацию таких "писарей", и подтвердят любые тексты в любом объёме).

      Лично я даже удивлен, что интернет уже давно не пошёл в эту сторону. Почему у представителей криминалитета есть институт репутации (те же воры в законе), а интернет ту же задачу не решил. В теории, если бы изначально интернет строился по принципу, что есть не только документы, но и субъекты (пусть и в виде анонимных ников), которые могут накладывать свою поддержку на определённый документ или другого субъекта, после чего чем-то похожим на pagerank можно было бы построить иерархии этих субъектов (причём, иерархия может быть своя у любой точки зрения, - к примеру, представитель науки может задать достоверность, равную 1, субъектам, которые представляют ученых, кого он лично знает и считает авторитетом), то, как будто, львиная доля сегодняшних проблем интернета решилась бы сама собой.


      1. vassabi
        15.09.2023 14:36

        а разве https - это не глобальный институт репутации (с попытками некоторых стран и организаций вставить туда себя как "источник абсолютной репутации" aka certificate authority) который уже с нами ?


        1. akakoychenko
          15.09.2023 14:36

          Разумеется, что нет, и это вообще не об этом. https можно сравнить с аналогом паспорта в реальном мире. Когда незнакомец предъявляет вам свой паспорт, то, удостоверившись в его подлинности и соответствии портрета, знаете лишь то, что его действительно зовут Иванов Иван Иванович, но понятия не имеете ни о том, насколько этот человек склонен держать свое слово, может ли его порекомендовать кто-то из ваших общих знакомых, или знаменитостей, и так далее.

          Домен sberbankservicedesk24.mobi ведь тоже получит свой ssl сертификат на абсолютно законных основаниях, но будет ли это говорить о его репутации?


  1. selivanov_pavel
    15.09.2023 14:36

    Когда-то католическая церковь вроде пыталась запретить арбалеты.

    Дипфейки с нами навсегда, остаётся только разрабатывать какие-то механизмы для маркировки реальных записей.