Daniel J. Singer

Доцент Пенсильванского университета. Редактор журнала The Philosopher's Annual. Изучает философию труда, управления и искусственного интеллекта.

Этой весной arXiv стал последним в ряду ключевых институтов, которые блокируют нейрослоп — материалы с признаками бесконтрольного использования ИИ. Такая реакция вполне объяснима, поскольку дешевый синтетический текст теперь заполоняет не только исследовательские репозитории, но и традиционные и социальные медиа, искусство, рекламу и даже юридические документы. Но меня беспокоит не столько сам слоп, сколько использование этого термина. Иногда мы говорим «нейрослоп», чтобы обозначить плохой результат работы ИИ. Но также мы говорим «нейрослоп», чтобы занять одну из сторон в важной социальной дискуссии о роли нейросетей в обществе. Нам кажется, что это лишь насмешка над одним конкретным результатом, и эта иллюзия позволяет избегать важных вопросов, которые мы должны обсудить.

Первая идея, которую может выражать термин «нейрослоп» — изоляция. В таком употреблении «нейрослоп» — это досадное, но не показательное исключение. Назвать что-то «нейрослопом» — значит попытаться отгородить это от всего хорошего, что способен производить ИИ: полезного перевода, действительно помогающего кода или нового математического открытия.

Именно так Сэм Альтман использовал этот термин, когда OpenAI выпустила Sora 2. Креативность, писал он, может столкнуться с «кембрийским взрывом», а «оптимизированный для обучения с подкреплением нейрослоп» — это дегенеративный случай, которого они всячески старались избежать. Такую же позицию пытались занять Google, когда их нейропоиск предложил использовать клей, чтобы сыр не сползал с пиццы. Компания заявила, что подобные результаты — следствие необычных запросов. Неловкий случай замели под ковёр, чтобы продолжать внедрение.

Вторая идея — заражение. В таком применении «нейрослоп» — не дефектный экземпляр, а откровение. Плохой результат показывает, что такое ИИ на самом деле: технология, по своей природе вторичная, легкомысленная и враждебная культуре, которой она питается.

Критик говорит: посмотрите на синтетические детские книжки, на студенческие эссе, которых никто не писал, и на письма с извинениями, за которыми никто не стоит. Это не досадные побочные продукты, а совершенные представители того, что ИИ может нам дать. Именно этот ход делают Мадсен и Пюйт, трактуя поток производной, переработанной продукции не как дефект, который надо устранить, но как главную суть ИИ. И так же ответил Чарли Варзел из The Atlantic на запуск Sora 2 три недели спустя. «Нейрослоп побеждает», — гласила заметка, а то, что описывал Альтман, было названо «миром креатива без мастерства».

Есть зерно истины в обеих позициях. Идея изоляции верно напоминает, что не каждая система ИИ и не каждый результат одинаковы. Идея заражения справедливо фиксирует, что нужно быть настороже из-за нейрослопа, поскольку производство дешёвого некачественного продукта неплохо вознаграждается.

Меня беспокоят не эти позиции, а тот факт, что термин-ярлык позволяет не уточнять, что говорящий имеет в виду. В сознании оптимиста это «всего лишь слоп», с ударением на «слоп»; в сознании критика это «сплошной слопище», с ударением на «ИИ». Важнее то, что два человека с разными мнениями по серьёзному общественному вопросу могут разойтись, считая, что согласны: ведь они «одинаково» определили что-то в категорию нейрослопа. А настоящее разногласие осталось скрыто за разным пониманием термина.

Хитрость в том, что «нейрослоп» представляет собой оценку результата, одновременно подразумевая оценку самой технологии — так же, как обвинение, будто текст «звучит как ИИ». Помимо того, что термин называет результат дешевым и малоценным, он вызывает отвращение и побуждает нас к отторжению (философы языка назвали бы это «толстым» термином, который одновременно описывает и оценивает). Такое отшатывание может означать две разные вещи. В устах оптимиста это толчок к тому, чтобы изолировать результат от ценной работы ИИ; в устах критика — толчок к тому, чтобы потопить всё предприятие. Но отвращение к отдельному результату — одно, а приговор всей категории — другое, и термин позволяет нам соскользнуть от первого ко второму незаметно.

Такое соскальзывание — подмена, ведь слоп существовал задолго до ИИ. Были плохие романы, шаблонные фильмы, пустые лекции и академические отчёты, которые многословно не говорили ничего. Но никто не считал, что плохие романы говорят о ценности литературы или что никчёмный отчёт решает, нужны ли университетам исследователи. Этот довод работает в обе стороны. «Слоп», выходящий из наших машин, не показывает, что ИИ бесполезен, — ровно как хорошие результаты не показывают, что он хорош в целом. Значит, когда разговоры про «нейрослоп» выглядят как обсуждение ИИ в целом, на самом деле это базовый взгляд на надлежащую роль ИИ. Именно этот базовый взгляд нам и нужно обсуждать, но когда мы сквозь «нейрослоп» наконец добираемся до разговора, его обычно спускают на тормозах.

Я не говорю, что в нейрослопе нет ничего уникального. ИИ действительно меняет масштаб, скорость и стоимость создания халтуры, которую трудно распознавать, выгодно распространять, и которая отравляет данные для обучения будущих моделей. Это реальные опасения, но они касаются того, как технология проектируется, используется, внедряется и применяется. Они не доказывают её общей ценности или бесполезности.

Естественная противоположность халтуре — качество, и зачастую именно качество оказывается единственным предметом обсуждения. Вопрос, слоп ли конкретная рукопись, обычно о том, хороша ли она вообще, и этого может быть достаточно для редактора. Но качество рукописи не определяет, как нам следует жить. Чем лучше становится ИИ, тем соблазнительнее думать, что качество решает нечто большее. Это не так. Машина может написать безупречное соболезнование, но вопрос, должна ли такое письмо писать машина, остаётся открытым. Качество отвечает на лёгкий вопрос и молчит о трудном.

Вместо борьбы с «нейрослопом», нам пора задать те вопросы, которые обсуждение «слопа» позволяет отложить, будто они решены, — вопросы о том, какое общество мы должны строить и какое место в нём должен занимать ИИ. Когда кто-то болен, одинок или напуган, хотим ли мы, чтобы с ним рядом оказался живой человек, или справится бот? Хотим ли мы, чтобы наших детей в основном учили и воспитывали люди, или нас устраивает передать это машинам? Когда суд решает, кому верить, или работодатель — кого нанять, хотим ли мы, чтобы за решением стоял человек, или машина может с этим разобраться? Хотим ли мы, чтобы системы, всё больше управляющие нашей жизнью, направлялись несколькими частными компаниями — или были подотчётны шире? И хотим ли мы общий мир, в котором мы можем вместе разобраться, или мир, настолько переполненный синтетикой, что никто не может отличить реальность от вымысла? Ни на один из этих вопросов нельзя ответить, спрашивая, производит ли ИИ качество или халтуру. Они о совместной жизни, которую мы хотим, и когда мы прикрываемся ярлыком «нейрослоп», мы пытаемся избежать обсуждения именно этих вопросов.

Я не говорю, что термин «нейрослоп» надо запретить. Иногда хочется чётко назвать то, что следует отправить в корзину, и этот термин подойдёт. Но мы должны перестать закрывать глаза на те трудные общественные обсуждения, которые следовало бы провести. Начать просто: когда тянет повесить ярлык «нейрослоп», можно попытаться явно сказать, имеем ли мы ввиду приговор отдельному результату или всей технологии. И наши институты, запрещая «слоп», могут говорить, что именно они запрещают и что решают.

Вернёмся к arXiv. К его чести, введённое правило уже, чем предполагали заголовки. Председатель секции компьютерных наук arXiv уточнил, что правило касается только качества представленной работы: когда в материале есть «неопровержимые признаки того, что авторы не проверяли результаты генерации LLM», вывод простой — «мы не можем доверять ничему в статье». Но применительно к моему основному тезису запрет был прочитан как заявление позиции. Один комментатор приветствовал его как удар по «слоп-машине», другой возразил, что сгенерированный текст «сам по себе не проблема» и что ответом на поток нейрослопа может быть «больше ИИ, а не меньше». Так что, хотя все могут упирать на качество, термин поневоле задевает более крупные проблемы и используется двумя разными способами, причём различие так и не обозначено. Именно поэтому важно говорить, что вы имеете и чего не имеете в виду под «нейрослопом», и когда другие так говорят, следует уточнять, что они имеют в виду. Так мы сделаем шаги к решению, какую часть нашей общей жизни мы хотим передать технологии, а какую — сохранить для себя.