Люди, редко писавшие что-то оригинальное, внезапно начали создавать подробные проекты, бизнес-планы, документацию, презентации, тикеты, пул-реквесты, посты и конспекты совещаний. Всё это генерируют LLM. И эти тексты нечитаемы. ИИ помогает мне писать лучше и быстрее, но я по уши сыт чтением практически всего, что написано ИИ. В этом эссе мне бы хотелось выразить своё раздражение и рассказать о том, в чём для меня заключается ценность ИИ при написании текстов.

ИИ ужасно пишет

Я наблюдаю такой паттерн: люди используют ИИ для создания чего-то нового, а затем при помощи ИИ ретроспективно сводят уже созданное ими в дизайн-документ. Чтение подобного документа превращается в пытку. Дизайн-документ перестаёт быть предложением, на основе которого создаётся консенсус и постепенно оттачиваются идеи путём медленных рассуждений, превратившись в созданную машиной краткую сводку, полную утомительных подробностей без какого-либо контекста и точки зрения. Это нечитаемый, бесчеловечный результат. «Авторы» таких документов теряют терпение, когда они оказываются неинтересны людям, и это оправдано, ведь созданное ими уже работает^[1].

Кроме того, я всё чаще вижу описания пул-реквестов, очевидно написанные машинами для машин. Они крайне подробны: то поменяли на это, это разбили на части, здесь объединили, это не трогали, сюда добавили тестов и так далее. Но у меня остаются вопросы: зачем мы это делаем? В чём ценность? Насколько рискованна или срочна эта работа? В чём должен быть вклад с моей стороны? На что мне стоит обратить внимание? То же справедливо и для создаваемых ИИ тикетов или конспектов. Текст, как и всё большая часть нашего мира, начинает состоять из утверждений вне контекста.

Однажды мне написали личное сообщение на деликатную тему, которое очевидно было создано с помощью ИИ, чтобы отразить все нюансы беседы и не оскорбить меня. Но при этом сообщение перестало быть личным, превратившись в безжизненное и бессвязное. Все части были на месте, но не имели смысла как целое. Мне не было интересно читать сообщение и отвечать на него. Я бы предпочёл, чтобы автор был собой и писал в своём тоне и со своим темпераментом, пусть он и не подберёт нужные слова и даже заденет меня.

Во взаимоотношениях с людьми всегда присутствуют уязвимость и риск. При общении с ИИ ни того ни другого нет, а попытки избавиться от уязвимости и риска уничтожают сам процесс общения. В своём эссе Resist Summary, которое я часто перечитываю, Саймон Сэррис написал:

Я считаю, что человек должен максимально писать на основании собственного опыта и чувств, давая читателю свою характеристику жизни или событий.

Наверно, самым ленивым и оскорбительным примером использования ИИ для меня был такой: кто-то составил краткое изложение моих комментариев по его предложению в качестве ответа мне! Спасибо! Я бы и сам не сказал лучше!^[2]

У меня нет контекста, который есть у тебя

Недавно Синтия Данлоп опубликовала результаты опроса Report: How developers react to AI-scented blog posts, посвящённого чтению написанных ИИ статей. Большинство читателей сообщило, что если они думают, что статья написана при помощи ИИ или самим ИИ, то они прекращают её читать (78%) и избегают автора в будущем (71%). Брайан Кэнтрилл писал об этом исследовании в своём эссе The revolt of the reader: «обнаружив LLM, наш мозг посередине предложения нажимает на рукоять катапультирования в попытке спасти себя».

Самым серьёзным результатом опроса стало то, что подавляющее большинство людей (98%) предпочитает собственные тексты автора, пусть со всеми его изъянами и особенностями, вместо бездушной переработки ИИ. Искреннее составление текстов — один из лучших способов установления связей с людьми. Это напомнило мне о комментарии, сделанном создателем языка C++ Бьёрном Страуструпом во время экспертной дискуссии о написании книг, которую я посетил десять с лишним лет назад:

Если при чтении книги я слышу в своей голове голос автора со всеми его странными акцентами и особенностями паттернов речи, то ощущаю, что произошло нечто замечательное. Если же книга ощущается как сухой академический текст, то автор просто написал ещё один сухой академический текст. В этом смысле очень полезно делать доклады. Многих людей я слышу, когда читаю их, и это хорошо.^[3]

Если промпт для ИИ вы писали сами, то готовый результат часто оказывается довольно полезным. Но не стоит путать это с эффективным составлением текстов. Когда вы читаете сгенерированный результат, у вас уже есть большой объём контекста — вы формулировали промпты, задали ограничения и предоставили артефакты (документацию, исходный код, логи, статистику, изображения и так далее), приведшие к созданию результата. Вы можете окинуть его взглядом и решить, что ценно и релевантно, а что нет. Но вы были частью процесса, то есть стали и запросом, и ответом. Вы предоставили машине живую человеческую точку зрения. Однако когда вы отправляете тот же текст кому-то ещё, то у него почти нет контекста. Он не был частью процесса, поэтому ему сложнее решить, что релевантно, а что нет. Он вынужден читать всё подробно и думать над каждой строкой, вглядываясь во внутренности машины в надежде установить контекст. Поэтому естественно, что он перестаёт читать.

ИИ может быть очень полезен при написании текстов

Недавно я написал научную статью^[4]. В процессе я активно задействовал ИИ, что ускорило работу и сделало её более приятной. Однако ИИ не написал ни одной строчки статьи. Я писал статью на LaTeX. Предоставленный ИИ контекст включал в себя инструкцию по журнальному стилю и шаблон LaTeX, все статьи, ранее опубликованные в журнале, исходный код программных систем, о которых я писал, конфигурации, логи и метрики развёртывания ПО в продакшене.

Написав абзац, я часто просил ИИ проверить, что указал всё правильно, сверившись с исходным кодом или конфигурации, или же изучив логи или метрики продакшена. Например, он проверял, правильно ли я указал, какие столбцы базы данных индексируются, или как сортируются строки в файлах Parquet. Это позволяло мне оставаться в контексте, часто переходя к следующему абзацу, пока ИИ проверял предыдущий. Это помогало мне находить важные упущения и неточности. Примечательно, что обратный процесс, то есть написание ИИ абзаца по представленному мной контексту, например, с описанием работы исходного кода, всегда оказывался бесполезным. Он не пригодился ни разу. Результат всегда было неприятно читать, и часто он оказывался неточным.

Ещё один аспект, помогавший мне оставаться в контексте — это применение ИИ для оформления цитат. Очень утомительно искать подробности в статье, на веб-сайте или в книге, заполнять формат BibTeX, а затем ссылаться на него в тексте. Вместо этого я оставлял в скобках инструкции для ИИ по созданию нужных мне цитат, и продолжал писать, не теряя темпа^[5].

ИИ был невероятно хорошим и иногда даже безжалостным корректором орфографии и

грамматики. Он придумывал замечательные способы упрощения слишком сложных или запутанных предложений^[6]. Он умело справлялся с составлением технических диаграмм на TikZ, что тоже ускоряло работу и позволило мне не тратить время на изучение синтаксиса. ИИ даже нашёл одну очень малозаметную ошибку: в одном абзаце я использовал некорректную запись, что пропустили все четыре живых рецензента, которые были специалистами по системе^[7].

Невероятно хорош был ИИ при написании только одной части: он составил аннотацию — самый лаконичный, механический, нечеловеческий раздел статьи. Я включил её в текст вообще без изменений. Наверно, это не должно удивлять: ИИ отлично справляется с кратким изложением, абстрагированием и описанием оригинальной работы.

Может ли ИИ стать хорошим составителем текстов?

Было бы ошибкой недооценивать тот уровень письма, который когда-нибудь сможет достичь ИИ. Мы всё ещё находимся на ранних этапах развития моделей, и модели, которыми пользуется большинство из нас, обучены быть фактическими, прямолинейными и правильными, а не творческими. Однако в замечательном эссе Мурата Демирбаса The Safest Job from AI may be Writing указывается, что качество написания текстов LLM достигло плато, потому что, в отличие от программирования, математики и бухгалтерского дела, в составлении текстов сложно дать чёткую формулировку и верифицируемый результат^[8].

Так как у LLM отсутствует активная ментальная модель конкретного живого читателя, они просто выполняют оптимизацию под статическую вероятность следующего слова из обширного датасета. Они не могут проникнуться чувствами живого читателя, потому что не имеют прожитого человеческого опыта. И у них полностью отсутствует личная заинтересованность.

Меня заинтересовали два недавно найденных проекта по улучшению текстов ИИ. Первый — это ASD-STE100 Simplified Technical English, стандарт написания технической документации, выросший в 1980-х из трудов аэрокосмической рабочей группы. Он состоит из двух частей: контролируемого словаря и правил грамматики и стиля. Была создана версия ASD-STE100 для применения с ИИ-моделями^[9]. ASD-STE100 подходит не для всех сгенерированных ИИ текстов: он предназначен конкретно для создания чётких руководств, которым легко следовать. Я попробую использовать её при создании инструкций по установке, эксплуатационной и подобной ей документации.

Второй — это Pangram: модель, подстроенная под распознавание текстов ИИ. Брайан Кэнтрилл в эссе The revolt of the reader отмечает:

Использование ИИ для написания текстов — это нарушение общественного договора между писателем и читателем: на нас, читателей, не должен возлагаться труд по анализу предложения, над созданием которого сам автор не работал.

И я совершенно с этим согласен. Брайан начал экспериментировать с Pangram для распознавания сгенерированных ИИ текстов, нарушающих этот договор, и обязал, чтобы все публичные тексты его компании Oxide пропускались через Pangram и признавались написанными человеком. Подобные инструменты спасут нас от самых ленивых и низкокачественных ИИ-текстов^[10].

Когда нет слов

Когда мы пишем, значение наших слов не всегда прямолинейно, предметно и лаконично. Примерами этого могут служить поэзия, проза, тексты песен, мифология, юмор и театр. Иэн Макгилкрист, которого я считаю одним из самых важных авторов нашего поколения, пишет в книге The Matter with Things следующее: «Чем важнее предмет, тем больше нам приходится трудиться в попытках редуцировать его до языка». Спросите у LLM надёжный способ влюбиться в кого-нибудь: в сгенерированном ИИ тексте подробная информация создаёт иллюзию смысла, но имитируя человеческое знание, интеллект и понимание, ИИ пишет о фактах в сильно ином качестве по сравнению с тем, кто прожил опыт. Целое невозможно разложить на части без существенной потери смысла.

Прямолинейный подход уничтожает свой объект. Аналогично, есть темы, которые можно передать только опосредованно. Чтобы ухватить глубину сказанного или чтобы сказать что-то поистине новое, мы всегда вынуждены выходить за пределы языка повседневности, что означает внимательное осознание того, что сказано косвенно.

Заявление о том, что тексты в сфере бизнеса, производства и науки должны содержать неопределённость, а не только факты и заключения, может показаться глупым. Но операции, реагирование на происшествия, разработка продуктов, управление производительностью, поиск уязвимостей систем безопасности, аттестации персонала, декларации целей и задач, а также многие другие действия — это творческие задачи, включающие в себя неопределённость. Нарратив зачастую оказывается столь же важным, как и факты с выводами. Кроме того, легко очеловечивать LLM как хороших системных мыслителей, потому что они способны синтезировать широкий спектр информации. Однако, снова цитируя Саймона Сэрриса, «нарратив сопротивляется сжатию» и «противоположность краткого изложения — внимание к деталям».

Несмотря на акцент на линейное мышление, работу хорошего системного инженера, аналогично работе хорошего антрополога и психолога, сложно сформулировать словами, и уж тем более в кратком изложении. Мы не всегда наблюдаем и ведём записи по какой-то формуле. Даже при записи фактов теряется часть контекста. Наблюдатель — тоже часть контекста. Системная работа всегда включает в себя элемент исследования, готовности к неизвестности, развёртывания взаимосвязи с самой системой и желания удивляться. В обычном языке не всегда достаточно подходящих слов^[11].

Природа кратких выжимок заключается в ускорении. Но в результате него мы избегаем построения собственной сложной ментальной модели. Меня беспокоит, что, не имея в голове сложной модели, человек никогда не сможет заметить сложных взаимосвязей, которые в противном случае будут утеряны. И утеряно будет внимание к деталям.

Заключение

Я не хочу жить в мире, где вы при помощи ИИ превращаете нечто важное в нечитаемую краткую сводку, а затем я при помощи ИИ пытаюсь её расшифровать. Я хочу слышать вас во всём вашем несовершенстве. Мне интересна ваша интерпретация эстетики, красоты, качества, отношений, времени. Я хочу знать, что вы чувствуете. Мне нужно, чтобы вы отсекли всё лишнее и рассказали, что действительно важно. Я не хочу читать краткое изложение фактов и связей, отделённых от опыта и взаимоотношений. Как говорит Иэн Макгилкрист, наш способ присутствия в мире меняет природу воплощающегося в нём, и это единственный мир, который нам известен^[12].

Если вы просите машину сделать что-нибудь за вас, то рискуете попросить не то, что вам нужно, а то, что она может делать хорошо. Если она хорошо умеет создавать краткие конспекты и вы полагаетесь на этот инструмент, то можете подстраивать свои вопросы так, чтобы получать более качественные ответы. Это походит на обучение машины тому, что нужно вам, но в то же время вы обучаете себя задавать вопросы о мире определённым образом. Какие вопросы вы при этом упускаете?

Скорее всего, в будущем повысится ценность осознанного письма. Люди, которые пишут и пишут, чтобы думать, думать глубоко и внимательно, или чтобы создавать, или чтобы делиться, или чтобы ухватывать что-то важное без прямого высказывания, продолжат писать и создавать оригинальные работы. Люди, которые никогда не были писателями, будут использовать ИИ, чтобы генерировать множество текстов.

В процессе чтения всё больших объёмов генерируемого ИИ текста мы, возможно, заметим, что ИИ исказился и изменился, возможно, потому, что мы сами стали более поверхностными. Поиск определённости ограничивает нашу человечность. Иногда важнее не находить слова. Я не хочу читать то, чего вы не писали.

1. В некоторых случаях дизайн-документы плохо подходят, и применение ИИ для быстрой совместной работы, связанной с работающим ПО, вероятно, становится более оптимальным подходом для совершенствования идей и выстраивания консенсуса. ↩︎

2. Ещё в одном случае группа людей работала над проектом, выстраивая консенсус при помощи набора wiki-страниц. Кто-то новый захотел внести изменения в проект. Вместо того, чтобы разбираться в запутанном социальном процессе работы с этой группой над изменением имеющихся wiki-страниц, он при помощи ИИ сгенерировал новую wiki-страницу, скопировав всю предыдущую работу и добавив своё изменение. ↩︎

3. Я уже использовал эту цитату в посте Techniques for Improving Your Technical Writing. ↩︎

4. В статье описывается созданная мной база данных; я надеюсь, что она будет принята на Conference on Innovative Data Systems Research (CIDR). ↩︎

5. Например, я мог написать {TODO: reference the Amazon Aurora paper}, а ИИ делал всё остальное. ↩︎

6. Также я использую ИИ в качестве редактора моего блога. После сторонней вычитки текста моя уверенность в публикуемом эссе повышается. Но я позволяю ИИ только находить ошибки или вносить предложения. Я не даю ему переписывать текст или менять мой тон и точку зрения. ↩︎

7. Я описывал log-structured merge (LSM). Изначально мы обозначали уровни Generation 1, Generation 2, Generation 3, или Gen1, Gen2, Gen3. В статье я описал LSM более обобщённо, использовав обозначения L0, L1, L2, соответственно для Level 0, Level 1, Level 2. Из-за этого читающие мою статью коллеги должны были мысленно соотносить L1 с Gen2, поэтому им было очень сложно найти мою ошибку в одном из абзацев, где я некорректно использовал обозначение L1, имея в виду L2. LLM без проблем нашёл эту ошибку. ↩︎

8. Ещё одно интересное эссе об ограничениях ИИ при написании текстов и в особенности об индивидуальности в понимании — это The Human Skill That Eludes AI: Why can’t language models write well? Джасмин Сан, опубликованное в журнале The Atlantic. ↩︎

9. Благодарю Криса Риккомини за информацию об этом. ↩︎

10. Если вы хотите больше узнать о Pangram, то послушайте подкаст Oxide and Friends с основателем компании Максом Сперо. Он отметил наличие свидетельств того, что люди, регулярно пользующиеся LLM, хорошо распознают тексты LLM, а не пользующиеся ими испытывают с этим трудности. Также в подкасте есть интересная дискуссия о попытках реверсирования промпта и контекста ввода для понимания того, какая часть результата зависит от ввода, а какая взята из модели. ↩︎

11. Лучшие из известных мне системных мыслителей обычно оказываются превосходными писателями. Я думаю, что этот навык останется важным и, вероятно, его важность даже повысится. В конце своего эссе, на которое я ссылался выше, Мурат Демирбас заключает: «И, возможно, само программирование превращается в вид творческого письма, больше зависящего от мнений, чем от архитектуры». ↩︎

12. Иэн также проводит различие между comprehension — постижением мира как целого — и apprehension — овладением миром. Разница между ними заключается в качестве внимания. Мне кажется интересным, что хотя apprehension — это акт овладения, захвата, он в то же время представляет собой опасливое или беспокойное предчувствие будущего. Крайне рекомендую вам посмотреть лекцию Иэна AI and the Battle for the Soul: Information is Not Understanding в Ральстоновском колледже. ↩︎