На днях наткнулся на статью, опубликованную в телеграм-канале Habr, под названием «Тихий апокалипсис контента: почему все устали от сгенерированных статей». В ней автор выражает озабоченность количеством сгенерированного контента, который набирает просмотры и вытесняет из выдачи авторские статьи. Статья автора натолкнула меня на идею порассуждать на эту тему, провести небольшие исследования, сравнить процесс генерации текста ИИ и человеком и просто поделиться своим «экспертным» мнением.

Задачи для себя при написании статьи я ставлю следующие:

1. Разобраться с тем, как происходит процесс генерации текста нейронными сетями.

2. Определить сходства и различия между генерацией текста человеком и LLM.

3. Ответить на вопрос, может ли нейронная сеть заменить человека в написании текста.

При написании статьи в темах, где я не обладаю достаточными знаниями, я буду приводить информацию от нейросетей, формировать свои выводы и оставлять заметки. Всем приятного чтения.

Знакомство Коротко о себе: 12 лет работаю в юридической сфере, специализируюсь на налогообложении юридических лиц (в основном это сопровождение при проведении налоговых проверок, судебные разбирательства). Поэтому о написании текста знаю не понаслышке. Процесс этот трудоемкий, сложный, требующий зачастую глубокого погружения, сбора информации, анализа и описания результатов. Иногда текст льется как песня, так, что одно предложение быстро сменяет другое, и уже бац - статья, жалоба, возражение готовы, а иногда каждое последующее слово приходится буквально выдавливать из себя, читая при этом по 100 раз то, что уже написано.

Что для меня нейронные сети

В первую очередь это инструмент, который можно и нужно использовать. Те пробелы, которые у меня есть в работе, я успешно заполняю ИИ. Это быстрый поиск информации, разбор, анализ и выводы. Я не заменяю свою работу ИИ, а успешно дополняю ее. Но так как в теме нейросетей я все равно что ребенок, мне объективно очень интересно разобраться, как работает инструмент, который я использую повседневно, из каких меха��измов он состоит и, главный вопрос, как происходит процесс генерации текста.

Начинаем разбираться: архитектура LLM

Чтобы разобраться в том, как работают нейросети, нужно подобно часовщику разобрать этот инструмент на механизмы, а затем заняться механизмами и разобрать их на составные детали, так, чтобы не осталось ни одного сложного элемента, который был бы не понятен. При этом, учитывая многогранность темы исследования для человека, не связанного с нейросетями и IT-технологиями, нужно найти простые объяснения сложным понятиям.

В качестве отправной точки для исследования, и чтобы иметь пищу для размышлений, я обратился к пяти LLM, которые использую чаще всего (Grok, ChatGPT, Gemini, DeepSeek, Qwen) с вопросом о том, как устроена их архитектура, затем свел все ответы в один файл, указав при этом от какой нейронной сети его получил, и поручил ChatGPT проанализировать полученные результаты и сформировать итоговый вывод: «Все пять нейросетей представляют собой большие языковые модели, основанные на архитектуре Transformer, но различаются целями, акцентами и особенностями реализации. Все модели объединяет трансформерная основа и назначение — эффективное взаимодействие с пользователем на естественном языке, но каждая реализует это через собственную философию и технологические приоритеты».

Из полученного ответа я вывел два понятия, которые нужно разобрать: «большие языковые модели» и «архитектура Transformer». Также мне не понятно, что это за собственная философия и технологические приоритеты. Пока начну с понятий, а затем вернусь к философии и приоритетам.

Перед тем как начну разбор понятий, отмечу, что в дальнейшем все определения, понятия и термины, которые для меня не понятны, я буду изучать с помощью нейросетей, по типу разбора выше. То есть, сначала адресую в адрес всех нейросетей 1 запрос, а затем попрошу одну из нейросетей обобщить результаты.

Так, дальше я спросил, что из себя представляют большие языковые модели: «Большие языковые модели (LLM) - это массивные нейронные сети, базирующиеся на архитектуре Трансформера и использующие механизм внимания, которые обучаются на огромных текстовых корпусах методом самостоятельного обучения для статистического предсказания следующего токена. Этот масштаб (миллиарды параметров) наделяет их гибкими способностями к выполнению разнообразных задач даже без явного обучения (zero/few-shot learning). Однако, важно понимать, что LLM не обладают сознанием или истинным пониманием; их "знания" - это статистические шаблоны, что может приводить к "галлюцинациям" (выдумыванию фактов) и отражению предвзятости из данных. Для повышения их полезности и безопасности критически важны этапы тонкой настройки (fine-tuning), часто с применением обучения с подкреплением от человека (RLHF), а пользователям следует всегда проверять критические выводы».

Из озвученного нейросетью вывода я выделю основные тезисы:

• LLM базируются на архитектуре трансформера и используют механизм внимания;

• LLM обучаются на огромных текстовых корпусах методом самостоятельного обучения для статистического предсказания следующего токена;

• LLM не обладают сознанием или истинным пониманием, их "знания" - это статистические шаблоны.

Теперь каждый из выделенных мной тезисов я также разберу с помощью 5 нейросетей и сформирую небольшие выводы, так, чтобы тезисы были понятны:

Тезис 1: LLM базируются на архитектуре трансформера и используют механизм внимания. Объяснение: Архитектура трансформера - это основа всех современных LLM, заменившая последовательную обработку текста на одновременную и позволившая масштабировать модели до огромных размеров. Ключевой элемент трансформера - механизм внимания (Attention Mechanism), который дает модели способность оценивать и взвешивать значимость каждого слова во всем входном тексте относительно любого другого слова. Это позволяет LLM эффективно учитывать связи между удаленными частями текста и общий смысл, что критически важно для создания логичного, соответствующего теме и логически связного человеческого языка.

Тезис 2: LLM обучаются на огромных текстовых корпусах методом самостоятельного обучения для статистического предсказания следующего токена. Объяснение: LLM обучаются сами на гигантском объёме данных, чтобы научиться генерировать текст. Они просматривают огромные текстовые корпусы (книги, интернет-страницы) и используют самостоятельное обучение (self-supervised learning) — процесс, при котором модель сама генерирует обучающие примеры, например, закрывая слово в предложении и пытаясь его предсказать. Конечная цель этого обучения — статистически предсказать, какой токен (слово или его часть) является наиболее вероятным следующим элементом в последовательности. Когда вы задаете вопрос, модель просто начина��т генерировать ответ, вероятностно выбирая один токен за другим, чтобы создать логичный и связный текст на основе миллиардов статистических закономерностей, которые она выучила из своих данных.

Тезис 3: LLM не обладают сознанием или истинным пониманием, их "знания" — это статистические шаблоны. Объяснение: Тезис подчеркивает фундаментальное различие между работой LLM и человеческим мышлением: модели не "понимают" информацию в человеческом смысле, они лишь имитируют её. LLM не имеют самосознания, эмоций, убеждений или опыта. Знания нейронных сетей — это статистические шаблоны. То есть, модель воспринимает язык как сложный набор вероятностей и связей, извлеченных из обучающих данных. Когда LLM генерирует ответ, он просто выбирает самое вероятное продолжение текста, которое статистически соответствует заданному контексту и запросу. Это объясняет, почему модели могут быть невероятно убедительными, но при этом иногда "галлюцинировать" (генерировать ложные, но правдоподобные факты): они просто генерируют статистически вероятную, но фактически неверную последовательность токенов, поскольку для них нет разницы между истиной и убедительно выглядящим статистическим паттерном.

Из изложенных об LLM тезисах напрашивается такой вывод: LLM - это нейронные сети, прекрасно имитирующие, но совершенно не понимающие человеческий язык. Их способность генерировать текст является следствием использования архитектуры трансформера с механизмом внимания, который позволяет эффективно улавливать контекст и самостоятельно обучаться на огромных массивах данных. Поэтому сгенерированный нейросетью текст — это просто набор статистически наиболее вероятных слов согласно результату обучения.

Для того, чтобы не утонуть в огромном количестве понятий, я не буду акцентировать внимание на том, как происходит обучение нейронных сетей, и выделять их ключевые особенности. Постараюсь держаться линии намеченного плана – тех задач, которые я поставил в начале статьи, поэтому немного разобравшись с основными понятиями, дальше нацелимся на разбор вопроса касательно процесса «генерации текста».

Процесс и этапы генерации текста нейросетью Из изложенного выше анализа мы поняли, что генерация текста моделью — это, по сути, процесс «предсказания» каждого последующего слова, которое производится на основе заложенного алгоритма «мышления», построенного на архитектуре Transformer, и огромного массива данных, буквально скормленного LLM. При этом, мне пока не до конца понятен сам процесс и этапы генерации текста.

По информации нейросетей, процесс генерации текста наглядно объясняет формула: "P(СловоN​∣Слово1​,…,СловоN−1​)". Где P (Probability) обозначает вероятность того, что следующим словом будет СловоN, при условии, что предыдущими словами были Слово1​,…,СловоN−1​.

При этом, на все составляющие формулы влияют еще такие факторы как:

• Контекст - сам запрос.

• Вероятность — массив данных, на которых обучалась модель, и особенности процесса обучения определяют опыт модели и влияют на вероятность, при которой выбирается $\text{Слово}_N$, $\text{Слово}_1$ и т.д.

• Случайность (или еще называют «температура») — чтобы не повторять одни и те же фразы, добавляется немного контролируемой случайности. Это позволяет выбрать не самое вероятное слово, а, например, слово с вероятностью 95% вместо 98%, чтобы сделать текст более естественным и разнообразным.

Если же раскладывать этот процесс на этапы, то он будет выглядеть так:

1. Получение и перевод запроса (Токенизация и Эмбеддинги).

• Описание: На этом этапе LLM принимает текстовый запрос (промт). Этот текст задает модели задачу и начальные условия для генерации.

• Механизм: Поскольку нейросети работают только с числами, ваш запрос должен быть «переведен» на их язык в два шага:

  1. Токенизация (разбивка): Текст разбивается на мельчайшие значимые единицы — токены (это могут быть целые слова, части слов, или даже знаки препинания).

  2. Эмбеддинг (кодирование смысла): Каждый токен преобразуется в длинный числовой вектор (список из сотен чисел). Этот вектор — эмбеддинг — является «математическим отпечатком» токена, кодирующим его смысл и отношение к другим словам.

• Итог этапа: Текстовый запрос превращается в последовательность числовых векторов, готовую для обработки вычислительным ядром модели.

2. Контекстная обработка и «Внимание» (Анализ и Понимание).

• Описание: На этом этапе LLM анализирует последовательность числовых векторов (эмбеддингов), чтобы понять смысл вашего запроса, его контекст и намерения. Модель не просто смотрит на слова по очереди; она одновременно оценивает, как все слова в запросе связаны друг с другом.

• Механизм: Обработка происходит внутри многослойных трансформерных нейронных сетей, где каждый слой уточняет понимание:

  1. Механизм Внимания (Attention Mechanism): Это самая важная часть. Для каждого слова в запросе (токена) механизм внимания взвешивает (назначает оценку важности), насколько остальные слова в запросе релевантны ему. Например, во фразе "Яблоко упало на Землю", когда модель обрабатывает токен "упало", она дает высокую оценку токенам "Яблоко" и "Землю", чтобы понять, что упало и куда.

  2. Контекстное Обогащение: Благодаря этому механизму, модель создает новые, обогащенные векторы для каждого токена. Теперь эти векторы содержат не только изначальный смысл слова, но и контекстную информацию (какое влияние на него оказали все другие слова в запросе).

• Итог этапа: Модель полностью "понимает" запрос. Она превращает простую последовательность слов в контекстуализированные числовые представления, готовые для генерации ответа.

3. Генерация текста (Вероятностное предсказание следующего слова).

• Описание: На этом этапе модель делает первый шаг к ответу, решая, какое слово (токен) будет следующим после вашего запроса. Это циклический процесс, где модель последовательно выбирает один токен за другим, пока не будет сгенерирован полный ответ.

• Механизм: После анализа контекста модель использует свой выходной слой (математическая операция, часто называемая Softmax) для выполнения следующих действий:

  1. Вычисление Вероятностей: Модель присваивает вероятность каждому слову в своем огромном словаре (например, "90%" для "здравствуйте", "5%" для "кошка", "0.001%" для "арбуз") на основе того, насколько это слово статистически подходит для продолжения текущего текста (запроса).

  2. Выбор Токена (Сэмплинг): Модель не всегда выбирает слово с самой высокой вероятностью, чтобы текст не был однообразным. Вместо этого она часто использует методы сэмплирования (выборки). Эти методы позволяют модели выбирать из небольшого пула самых вероятных слов. Например, Top-P (или Nucleus Sampling) ограничивает выбор только теми словами, которые в сумме составляют, скажем, 95% вероятности. Это вносит творчество и разнообразие, делая ответы более естественными.

• Итог этапа: Модель генерирует первый токен ответа, добавляет его к запросу, и этот новый, удлиненный текст тут же становится входными данными для повторения всех трех этапов (анализ, вычисление вероятностей, выбор), пока ответ не будет завершен.

4. Итеративный цикл и завершение (Авторегрессия).

• Описание: Генерация полного ответа — это не одно действие, а повторяющийся цикл. Модель использует только что сгенерированный токен как новый контекст и повторяет процесс предсказания снова и снова. Этот процесс называется авторегрессией.

• Механизм: После того как был выбран первый токен (на Этапе 3), цикл повторяется следующим образом:

  1. Обновление Контекста: Новый токен добавляется к исходному запросу. Вся последовательность ("Запрос" + "Первый токен") теперь рассматривается как один длинный входной контекст.

  2. Повторная Обработка: Вся эта новая, удлиненная последовательность снова проходит через механизм внимания Трансформера (как на Этапе 2). Это гарантирует, что при выборе следующего слова модель учитывает не только исходный запрос, но и то, что она уже успела сгенерировать.

  3. Итеративное Предсказание: Модель вычисляет вероятности для второго токена, выбирает его (Этап 3), добавляет его к контексту, и цикл начинается заново.

  4. Условие Остановки: Процесс продолжается до тех пор, пока модель не достигнет одного из условий: а) сгенерирует специальный токен окончания ($\text{[EOS]}$), сигнализирующий, что ответ логически завершен; б) достигнет максимально разрешенной длины ответа; или в) сгенерирует токен, вероятность которого слишком низка, чтобы продолжать.

• Итог этапа: Последовательное и циклическое повторение шагов 2 и 3 позволяет модели создать полный, когерентный и логически связный многословный ответ, который вы видите как финальный результат.

Для того, чтобы наглядно увидеть процесс генерации, я попросил Gemini, на примере сгенерированного предложения "Генерация полного ответа — это не одно действие, а повторяющийся цикл" описать процесс генерации с указанием процентной вероятности использования каждого слова. Что из этого вышло, описано в таблице ниже:

Я был удивлен получив такие значения гипотетической вероятности, так как считал, что модель выбирает самые наиболее вероятные токены с процентной вероятностью не ниже 95%. Поэтому следующий мой вопрос был о средних процентах вероятности и о том, почему модель не выбирает наиболее высокие проценты. Ответ был следующим:

Вероятности в LLM часто ниже 90–99%, потому что генерация языка - это не один правильный ответ, а выбор из тысяч возможных токенов. Даже если лучший вариант имеет лишь 40–60%, остальные проценты распределяются между множеством других допустимых слов. Язык гибок - можно выбрать синоним или иную конструкцию, поэтому слишком высокие вероятности сделали бы речь однообразной. LLM используют сэмплирование (например, Top-P), чтобы не всегда брать самый вероятный токен: это добавляет вариативность и делает текст естественным и живым. Проценты вроде 45% просто показывают, что модель выбирает из нескольких близких по смыслу и корректных вариантов.

Я решил поэкспериментировать с процентной вероятностью и попробовать повысить и понизить процент, что бы посмотреть, какие варианты ответов получатся. Так оригинальное (разобранное выше) предложение: «Генерация полного ответа — это не одно действие, а повторяющийся цикл». Получилось:

• 90% (Высокая уверенность/Низкая температура): «Ответ создается посредством выбора следующего токена» (Корректно, но сухо и предсказуемо).

• 35% (Средняя случайность): «Ответ, создаваемый алгоритмом, внезапно является не-последовательным, ��о вихрем» (Смысл улавливается, но язык странный, «поэтический» с технической точки зрения).

• 10% (Крайняя случайность): «Защищать, камень, поет. Длина. Процесс. Внезапно. Избегайте» (Смысл исчезает, потому что модель вынуждена выбирать из "хвоста" статистического распределения).

Так, наглядно видно, как при вероятности 10% смысл исчезает, потому что модель вынуждена выбирать из "хвоста" статистического распределения. Генерируемый текст становится коллекцией случайно связанных токенов, которые нарушают синтаксические и семантические правила, поскольку модель игнорирует наиболее важные и логичные языковые шаблоны, которым ее обучали.

Сравнение: Человек и Машина Теперь, когда мы поняли, как LLM генерируют текст, настало время сравнить этот процесс с тем, как пишу я сам, основываясь на своем 13-летнем опыте в юриспруденции (Задача 2).

Для меня, как для юриста, пишущего сложный текст (например, возражение на акт налоговой проверки), разница огромна и критична.

1. Намерение vs. Вероятность. Когда я сажусь писать, у меня есть цель: убедить суд, оспорить решение, защитить клиента. Каждое слово, каждая запятая - это намеренный выбор, направленный на достижение этой цели. Модель же не имеет намерения, она просто выбирает статистически самый убедительный (вероятный) токен, который похож на текст, который уже был написан человеком для убеждения. Разница между намерением и имитацией намерения - это пропасть.

2. Анализ vs. Шаблон. Моя работа требует глубокого погружения в нормативную базу, судебную практику (которая постоянно меняется!), и факты конкретного дела. Это не просто поиск шаблонов. Это сложный анализ, где я должен найти исключение или новую интерпретацию. Модель же, обученная на миллиардах старых текстов, склонна генерировать усредненные и стандартные ответы, которые могут быть бесполезны в нетиповой ситуации, требующей интеллектуального прорыва, а не просто "логичного" продолжения текста.

Следовательно, процесс генерации текста человеком — это многоуровневый процесс, основанный на внешней реальности и сознательном намерении, а не на внутреннем статистическом распределении.

Выводы

В начале статьи мы поставили три задачи. Пройдемся по ним и сделаем заключительные выводы.

1. Разобраться с тем, как происходит процесс генерации текста нейронными сетями. LLM - это высокоэффективные, но не понимающие машины. Их «знания» - это статистические шаблоны, а генерация - это циклический процесс выбора следующего, наиболее вероятного токена, который лишь имитирует связный человеческий язык. Вся убедительность LLM - это результат архитектуры Transformer и огромного масштаба данных, позволяющих им улавливать даже тонкие контекстуальные связи (механизм внимания).

2. Определить сходства и различия между генерацией текста человеком и LLM. Сходство одно: обе системы создают грамматически и логически связный текст. Различия фундаментальны: человек пишет, исходя из намерения, опыта и осознанного понимания реальности, а LLM - из статистической вероятности и усредненных шаблонов. Человек - это создатель, ИИ - имитатор.

3. Может ли нейронная сеть заменить человека в написании текста? Если под написанием текста понимать набор символов, LLM уже заменили человека в этой задаче. Если под написанием текста понимать создание авторского контента с подлинной ценностью, основанной на уникальном опыте, глубоком анализе, этике и ответственностью (что критически важно в моей юридической сфере), то ответ однозначен: Нет, не может.

«Тихий апокалипсис контента» на самом деле - это не про тотальное вытеснение, а про размывание среднего уровня. LLM - фантастический инструмент для черновиков, резюмирования, поиска фактов (как я использую его в своей работе) и генерации массового контента. Они убивают скучный, типовой, поверхностный текст.

Но чтобы выжить в этой новой экосистеме, человеческий автор должен перестать быть «средним» статистическим шаблоном. Нам, авторам, необходимо сосредоточиться на:

• Уникальности: Опыт, эмоции, личный взгляд, который LLM не может выдать.

• Глубине: Проверка фактов, критический анализ, понимание темы, а не ее пересказ.

• Интенции: Создание текста с четкой, осмысленной целью, а не простое заполнение информационной пустоты.

Мое мнение, что апокалипсис, о котором говорят - это не конец авторского контента, а его естественный отбор. И в этой гонке победят те, кто сможет использовать LLM как скальпель для ускорения рутины, чтобы освободить время для самого ценного: собственной мысли.