Массовое внедрение AI в работу менеджмента и экспертов формирует пузырь, который удивительно точно повторяет механику ипотечного кризиса 2008 года. Парадокс в том, что формируется он на самом видном месте. Эксперты, инвесторы, акционеры — все пристально смотрят в документацию компании (или института). Они анализируют тексты, изучают стратегические отчёты и оценивают производительность сотрудников (порождающих документы). Но качество документа не гарантируют качества экспертной информации, которая должна была отражаться конечным артефактом. Документ может быть "токсичным".
Повсеместное внедрение генеративных моделей в бизнес-процессы, документооборот и принятие решений идёт под флагом повышения эффективности, на деле создаёт скрытую угрозу: в операционную документацию, аналитику и стратегические отчёты начинают подмешиваться материалы, созданные нейросетями, которые внешне выглядят добротно, но внутри могут содержать глобальные фактические ошибки, логические провалы и "галлюцинации".
Подразумевается, что эксперт держит в голове не только общие знания, но и сеть актуальных для его процесса акторов. На основе этого знания он порождает контекстно-ориентированную экспертизу - документ. Но AI так не умеет, в отдельном документе от "AI - эксперта" всё связно, а в рамках контекста процесса возникнет противоречие. Если документ перестает быть носителем экспертизы, организация теряет способность отличать правду от правдоподобия.
Отсюда можно формально сформулировать:
Экспертиза — документ, содержащий реальные представления эксперта о процессе.
Токсичный документ — это документ, который:
противоречит другим документам системы;
или не имеет проверяемой связи с реальностью;
или создаёт ложную согласованность при отсутствии фактов.
А что же программисты?
Программисты уже годами сталкиваются с проблемой "контекста", "качества проектирования", "глобального понимания" у AI. Не просто сталкиваются, но и обосновывают математические ограничения, формируют сложные конвейеры валидации качества сгенерированного материала, создают новые инструменты.
И всё равно, даже с таким (недостижимым для менеджмента — петля обратной связи на порядки короче) уровнем контроля за операционной документацией (а код это всегда текст) проекты ломаются. В неожиданных местах ломаются. Это не какая то статистическая ошибка, это базовые ограничения больших связных текстов, генерируемых AI.
"Всё что делает программист - это пишет и читает тексты. Текст должен быть непротиворечивым, потому что это описание последовательности действий. Если описание действий противоречиво - то компьютер не обработает программу."
Именно это базовое понимание у программистов даёт им такой высокий потенциальный иммунитет в рамках современных AI инструментов.
https://t.me/witnessesofsingularity — подробнее про ограничения "мышления ИИ"(ассоциативное, дедуктивно и индуктивное) в цикле статей "Когда ИИ заменит всех программистов?"
"Программист-прагматик." Книга, Дейв Томас и Энди Хант — про восприятие всего на свете в виде текста (от требований до конечных программ).
Предпосылка 1. KPI
Корпоративный мир построен на системе метрик и поощрений. Последние тридцать лет повсеместно стал внедряться подход, где сотрудников оценивают по динамичным измеримым показателям: количество строк кода, число закрытых задач, объем подготовленной документации, скорость реакции на запросы. Сама по себе логика KPI не плоха — она создает операционную предсказуемость и прозрачность. Но KPI не отслеживает сквозную связность, существуя в рамках предпосылки "эксперт = экспертиза".
Предпосылка 2. AI
И есть вторая сторона. Появляется инструмент, позволяющий штамповать "артефакты метрик" (отчеты, код, аналитические записки) в десять раз быстрее. И сотрудник оказывается перед простым выбором. Он может потратить три дня на глубокую проработку вопроса, а может сгенерировать правдоподобный текст за три минуты, причесать — и получить те же бонусы за "высокую производительность". Здесь экспертиза отделяется от эксперта.
В начале двухтысячных ипотечная облигация существовала и развивалась в рамках предпосылки "ипотеку берёт человек, который рассчитывает её выплатить". Ведь выдать необеспеченные ипотеки невыгодно банкам, а рисковать жильём невыгодно клиенту.
Что такое ипотечные облигации
Ипотечные облигации, или ипотечные ценные бумаги (ИЦБ), — это тип облигаций, обеспеченных ипотекой, которая обычно представляет собой недвижимость.
Субстандартная ипотека — это ипотечный кредит, который обычно выдается заемщикам с низким кредитным рейтингом.
Всё сломалось задолго до 2008, когда предпосылка была принята за данность и ипотечные брокеры стали получать бонусы за число выданных ипотек. Без проверки их качества.
"Оформленный документ содержит экспертизу, если он оформлен (синтезирован) экспертом". Ведь поощрять "плохую" экспертизу невыгодно компании, а рисковать работой невыгодно эксперту. KPI существует на этой предпосылке. AI ломает эту предпосылку.
Хорошо выглядящий документ от эксперта теперь не обязана быть экспертизой. А без экспертизы теряется "согласованность системы знаний" компании. Т.е. документ теперь может стать "точкой энтропии знаний" в рамках компании. На сцене появляется токсичный документ.
Эксперт локально заинтересован в выполнении KPI, а не составлении экспертизы. Много токсичных документов повышают KPI больше, чем экспертиза.
Инвесторы и акционеры, глядя на высокие показатели "производительности", вкладывают средства, полагая, что активы компании обеспечены реальной экспертизой, тогда как на самом деле значительная их часть становится "токсичной" — подобно субстандартным ипотечным облигациям, которые до поры выглядели надёжными благодаря рейтингам AAA.
И сейчас не существует дешёвого и масштабируемого способа фильтрации "токсичных документов" от экспертизы. Мы сталкиваемся с ситуацией, когда стоимость генерации правдоподобия стремится к нулю, а стоимость верификации остаётся высокой.
Как токсичный документ "отравляет" систему (механизм распространения энтропии информации). Сноска про моделирования рисков.
Первый уровень - теория информации.
С точки зрения теория информации, "токсичный документ" можно рассматривать как источник шума, передаваемый внутри организации. Любой документ — это сообщение, которое должно уменьшать энтропию у получателя. Но если сообщение "токсично", оно превращается в шум, маскирующийся под сигнал. Однако токсичный документ, обладая внешней согласованностью, но не имея достоверной связи с реальностью, создаёт ложное снижение неопределённости: он не устраняет энтропию, а маскирует её. Когда такие документы начинают использоваться как вход для других документов (аналитики, стратегии, кода), происходит каскадное накопление ошибки — каждый следующий уровень наследует и усиливает исходный шум, принимая его за сигнал. В терминах Клод Шеннон это означает деградацию отношения "сигнал/шум": система всё увереннее "знает" всё меньше о реальности. (Если формально, то токсичный документ часто снижает "неопределенность для читателя", давая ложное чувство понимания. Это скорее "дезинформация", чем шум.)
Второй уровень - теория катастроф.
Если добавить к модели теория информации аппарат теория катастроф, токсичный документ перестаёт быть просто источником шума и становится триггером нелинейной деградации системы. На ранних стадиях шум, вносимый такими документами, поглощается за счёт избыточности и локальных проверок — система выглядит устойчивой. Однако по мере накопления документов, основанных друг на друге, происходит скрытый рост "структурной энтропии": ошибки перестают быть независимыми и начинают неявно коррелировать, формируя связные области искажённого знания. В какой-то момент система достигает критического порога, за которым малое добавление нового "правдоподобного" документа вызывает скачкообразное изменение состояния — катастрофу: резко падает согласованность решений с реальностью, хотя внутренняя согласованность текстов может даже расти.
Это каскад накопления шума: не линейное ухудшение, а фазовый переход, при котором организация теряет управляемость не потому, что "всё стало немного хуже", а потому что нарушилась сама топология знаний — граница между сигналом и шумом коллапсирует, и система начинает воспроизводить собственные искажения как новую норму.
Один токсичный документ заражает всю цепочку документов прямо или косвенно ссылающихся на него. Т.е. все документы в такой цепочке становятся токсичными.
Те кому предстоит оценить операционную ценность компании и качество её процессов по документации не смогут понять, что имеют дело с "зараженным" активом. Ведь, как сказано ранее, уровень "правдоподобия" токсичного документа высок. Что достаточно для прохождения проверок и соответствия метрикам "качества документа" KPI. Внешне всё выглядит безупречно. Точно так же, как облигации, обеспеченные субстандартными кредитами, получали рейтинг AAA — потому что рейтинговые агентства смотрели на упаковку, а не на содержимое.
Возникает разрыв: метрики производительности растут, а реальное качество активов падает. Инвесторы вкладывают деньги, полагая, что покупают компании с глубокой экспертизой, а на деле приобретают токсичные процессы.
Красиво упакованные облигации скрывали пустоту. Красиво написанные стратегии скрывают логические провалы. Если текст может ломать программы, почему он не может ломать корпорации и институты?
Риски накапливаются скрытно. Но уже можно наблюдать за тревожными звонками для мира документации:
1) "Amazon ввела обязательный ревью ИИ-кода после сбоя на 6 часов" - https://habr.com/ru/news/1008860/
2) "Ошибки в отчётах Deloitte с AI‑сгенерированными источниками" - https://oecd.ai/en/incidents/2025-11-26-f9ab
3) "Серия инцидентов с AI‑ошибками в судебных актах" - https://www.washingtonpost.com/nation/2025/10/29/federal-judges-ai-court-orders/
4) "AI‑галлюцинации в научных конференциях (NeurIPS 2025)" - https://theoutpost.ai/news-story/ai-detection-startup-finds-100-hallucinated-citations-in-neur-ips-research-papers-23179/
и т.д.
Пока что не было крупных случаев глобального подрыва доверия ко всей системе внутренней документации определенного компании или института с цепной реакцией потери доверия к понятию "документация".
По моему мнению, это вопрос времени.
Как бы это грустно или страшно не звучало, но вернулось время настоящего радикального "реинжиниринга процессов". Того самого, из книги Майкла Хаммера и Джеймса Чампи «Реинжиниринг корпорации. Манифест революции в бизнесе». Процессы, связанные с документацией должны быть не просто автоматизированы, но реально перестроены под новые технологии. С учётом всех ограничений и возможностей AI.
Опыт 2008 года показывает, что механизм фильтрации токсичных активов появился после кризиса. Так что, по моему мнению, выбор не большой - или рисковать с радикальной перестройкой процессов или надеяться, что кризиса не случится.
В рамках иллюстраций использовались гравюры Альбрехта Дюрера, человека живущего в эпоху когда рукописи и печатные книги сосуществовали. Прекрасное сочетание поздней готики и раннего возрождения.
Обложка статьи: Святой Иероним в келье. Гравюра Альбрехта Дюрера. 1511 год
Иллюстрации в статье: Четыре всадника Апокалипсиса. Гравюра Альбрехта Дюрера. Около 1497–1498 годов ; Рыцарь, Смерть и Дьявол. Гравюра Альбрехта Дюрера. 1513 год.
Благодарность чату Свидетелей Сингулярности за экспертную оценку и конструктивное уточнение идей, лёгших в основу данной статьи.
Комментарии (23)
renakdup
18.03.2026 23:36То есть мы сейчас создаём токсичные документы, чтобы получить бонусы, а потом увольняемся до того, как компания развалится? Гениально =).
Wesha
18.03.2026 23:36мы сейчас создаём токсичные документы, чтобы получить бонусы, а потом увольняемся до того, как компания развалится?
А то!
Wesha
18.03.2026 23:36Корпоративный мир построен на системе метрик и поощрений. Последние тридцать лет повсеместно стал внедряться подход, где сотрудников оценивают по динамичным измеримым показателям: количество строк кода, число закрытых задач, объем подготовленной документации, скорость реакции на запросы.
consentire Автор
18.03.2026 23:36Мб сейчас наконец то новые инструменты позволяют с одной стороны подорвать это снизу, а с другой - дать реальную альтернативу?
Wesha
18.03.2026 23:36Мб сейчас наконец то новые инструменты позволяют с одной стороны подорвать это снизу, а с другой - дать реальную альтернативу?
Первое правило чтения громких заголовков: если в заголовке имеется слово «… может...», в конце следует мысленно подставить: «… а может и не...»
consentire Автор
18.03.2026 23:36В статье я объяснил про подрыв снизу, а тут раскрою про варианты сверху.
Сейчас очень интересно, как с этим справляются и развивают программисты.
Ну, главное, они признали что без ИИшек у них уже никуда. И после этого уже начали перестраивать flow разработки(не всегда удачно, далеко не всегда удачно, пример с амазон показателен.)
Практически все знакомые перестали плотно писать руками код(кроме тех, кто пишет высокоточные низкоуровневые штуки). И это стало нормой. Приоритет сейчас начал выстраиваться вокруг согласованности и безопасности черных ящиков модулей с признанием за ИИшкой права быть ответственный за этот черный ящик. Не за всю систему, а именно за чёрный ящик. Т.е. инкапсуляция той самой энтропии в рамках жестко описанного api.
Так же приоритет качества разработчика съехал с кода на структурное виденье, способность удержать согласованность таких ящиков. + тестирование сквозное, DDD, планирование, мультиагентность и прочее. Тут уже показательно, что IBM недавно увеличило набор джунов именно под такие скилы.
И вот тут главный тейк, почему решил вообще написать статью - а готовы ли не-it сектора (особенно институализированные) к тому, что существует решение? Насколько их роль далека от черного ящика с жестким API?Wesha
18.03.2026 23:36они признали что без ИИшек у них уже никуда.
А «они» сейчас с Вами в одной комнате?
consentire Автор
18.03.2026 23:36буквально, подписка на курсор у меня присутствует)
(Да и под "никуда" это больше про "некуда деваться и слева и справа, крутани нейробарабан и обезьянка обязательно выдаст тебе хороший код, только подкидывай токены")
Так что сейчас я честно говоря удивлен, что для Вас это не является стандартным контекстом, но готов скинуть статьи и аналитику по этому поводу(верховую, с которой уже можно будет копать глубже, если интересно).
Аналитики куча, от клодовской до гитхабовской, критики и восторгов тоже куча, в общем, тема хайповая, поэтому туда и не полез особо в статье, оставив только ссылку в сноске.
pg_expecto
18.03.2026 23:36Опыт 2008 года показывает, что механизм фильтрации токсичных активов появился после кризиса.
Однако объём производных финансовых инструментов(деривиативы) не снизился.
Другими словами - то, что описано в статье это описание симптомов , не причин.
сотрудник оказывается перед простым выбором. Он может потратить три дня на глубокую проработку вопроса, а может сгенерировать правдоподобный текст за три минуты, причесать — и получить те же бонусы за "высокую производительность".
Да это всё именно так. Выбор - очевиден.
И AI тут в общем то ни при чём, ситуация была точно такой же и до массового выхода AI на сцену.
remzalp
18.03.2026 23:36Ну то есть в целом KPI должен требовать не документацию, а с механизмами контроля, что документация валидная - добавим второй KPI за поиск ошибок в доках :)) Надо больше хаоса!
consentire Автор
18.03.2026 23:36я поэтому и вкинул про реинжиниринг процессов в конце, у нас же не только инструмент для генерации доки появился, но так же и инструмент для сбора данных больших, мониторинга и аналитики их в реальном времени. Да еще и с датчиками и сенсорами всякими. Да еще и с возможностью почти моментальной синхронизации с другими сервисами и прочим.
Т.е. мб явно поставить надо ИИ с палкой над человеком, настроить нормальный конвеер обработки информации в рамках процесса с учетом того, что это ИИ шки. И понять где реально нужна экспертиза. Все это обмазать сенсорами, биг датой, AoI все дела.
Это конечно в начале не заработает, но потом поедет, думаю.
Типо вот в китайских портах сейчас автоматические тележки катаются без операторов - создают ли они документацию токсичную? Не думаю)
USergey
18.03.2026 23:36До ИИ вспомнился аналитик легким словом "работает так то" и побежавшим домой, а мне потом 2 часа доказывал что он неправ. Представляются полезными людьми для снятие нагрузки с эспертов, если пользоателю этой экспертизы и не требуется,а нужен любой правдоподобный ответ. Если тебя такие ответы не устраивают, в голове маркируешь человека что он не эксперт.
С ИИ же, один раз обожошься об некомпетенцию и дискредитируешь ресурс. По моей тематике 1с, сайт кодерлайна выложил не рабочую статью, в голове устанавливаем пометку "не доверяем", установлен kpi для сотрудниклв на написание статей.
На инфостарт(аля хабр про 1с) мы не можем пометить весь ресурс как неблагонадежный, и там запоминаем автора и его признаки по которому будем производить отсев. Пользователь публикует две работы в день с отключением комментирования других пользователей, в мусорку такого автора.
Т.е. мы как и раньше доверяем экспертам, авторам и лишаем доверия в момент когда они решают схалтурить. Как быть с сотрудниками которых нагружают ИИ и kpi я пока не осмыслил.
consentire Автор
18.03.2026 23:36мне кажется главный лаг у сотрудников и KPI возник там, где KPI перестал быть бумажным датчиком состояния и превратился в самоцель. В 26 году 21 века есть возможность настроить другие варианты метрик и состояний с другой скоростью обработки и обратной связи.
Тут та и нужен реинжиниринг.
ToniDoni
Непонятно что поменялось с появлением ии
consentire Автор
цена составления правдоподобного документа ушла практически в 0, а его верификация остается такой же по стоимости дорогой
Dhwtj
Но в программировании сертификация обычно быстрее и дешевле. А в остальных областях вообще не стоит на LLM рассчитывать
mmMike
Да ну.. Когда созданный ИИ код покрывается созданным ИИ тестами на основе этого же исходного кода, это...
Это выглядит красиво (100% пройденные "тесты").
Но по факту это дрять, которую в прод не стоит пускать.
Ну конечно, если это ПО не для "ой мы сейчас покажем демонстрашку", а для прода где цена сбоя ошибки весьма болезненна.
Смешно..
Тестирование занимает обычно больше времени и ресурсов, чем написание кода (ну как минимум в области финансового ПО).
ToniDoni
Вы так удивляетесь, как будто бы никогда не видели тестов написанных людьми на свой же код. И все это в продакшене.
mmMike
Я об ИИ говорил. И что значит "удивляюсь".
Впрочем, тому что люди придумывают в чужих словах того что не было - я давно не удивляюсь.
А код написанный и протестированный только тем кто этот код и писал в продакшен без тестов другими людьми - ну наверное кто то так и работает. До первый проблем в эксплуатации.
ToniDoni
О сколько нам открытий чудных)
Один ии написал, другой проверил, в чём разница? Ну кроме того что ии...
ToniDoni
То есть стало лучше в плане затрат? Верификация осталась такой же дорогой зато создание стало бесплатное.
Или вас беспокоит то, что объём неверифицированного контента вырастет?
consentire Автор
Лучше стало в плане затрат для тех, кто решит генерировать "правдоподобный" документ. Но правдоподобный документ только выглядит как экспертный, фактически являясь токсичным.
Современная система документооборота получая токсичный документ засчитывает в рамках метрик его как экспертизу. И поощряет ресурсами элемент, породивший токсичный документ. (Т.е. элемент системы имеет возможность локально получать ресурсы от системы за минимальные затраты, отравляя внутренний контур связи системы.)
Токсичные документы порождают риски. А вот понять - токсичный документ или нет намного дороже его создания. И цепочка влияния токсичных документов сквозная.
Как итог - система тратит ресурсы на те элементы, которые отравляют её систему обратной связи (документооборот). При этом "лечение" такого заражения очень дорогое.
ToniDoni
это так если документ попадает в систему без ревью, которое бы его не пропустило