
Почему одной LLM недостаточно
Рассмотрим условную закупку на 50 млн ₽. Наивный AI-процесс выглядит так: загрузили документацию, спросили «выгодно ли участвовать?», получили связный текст и итоговую рекомендацию.
Проблема в том, что ответ может соединять три разных класса информации: факты из документа, оценки компании и допущения самой модели. Внешне все три типа выглядят одинаково уверенно. Если не зафиксировать их происхождение, итоговое решение становится непроверяемым.
Практически полезнее разделить систему на несколько операций: извлечение требований, валидация источников, детерминированный расчёт, анализ движения денежных средств, проверка рисков и утверждение решения ответственным сотрудником.
Учебный пример: прибыль и кассовый разрыв — разные проверки
Возьмём сопоставимые суммы без НДС:
Показатель |
₽ |
|---|---|
Цена контракта |
50 000 000 |
Стоимость товара |
46 000 000 |
Логистика |
3 000 000 |
Стоимость финансирования |
1 400 000 |
Комиссии |
100 000 |
Результат до налогов |
−500 000 |
Арифметика тривиальна, но именно поэтому её полезно вынести из языковой модели в проверяемый расчёт. AI должен помогать добывать данные и находить пробелы; деньги должны считаться формулами, которые можно протестировать.
Дополнительно рассмотрим платёжный график. Если товар и перевозка оплачиваются до поступления денег заказчика, временная потребность в средствах может приблизиться к 49 млн ₽. Эта сумма не равна убытку. Это требование к ликвидности в определённый период. Чтобы получить реальный максимальный разрыв, нужен календарь дат с остатками и подтверждёнными обязательствами.
Контракт данных вместо ответа «всё выгодно»
Для прототипа достаточно явного контракта на извлечённые факты:
{ "field": "delivery_deadline", "value": null, "status": "UNKNOWN", "source": null, "confidence_note": "Не найдено подтверждённого срока в доступном корпусе" }
Для найденного условия source должен содержать идентификатор документа и точное место — страницу, раздел или структурированный локатор. Значение UNKNOWN нельзя автоматически заменять «типичным сроком» из похожих закупок.
Проверка объёма корпуса документации нужна до расчёта. Если к закупке приложено восемь файлов, а парсер обработал шесть, система должна показать неполноту, даже если уже нашла несколько важных условий.
Где заканчивается язык и начинается вычисление
Разделение может выглядеть так:
Document ingestion. Проверить наличие файлов, типы, ошибки извлечения, версии и дубликаты.
Fact extraction. Выделить цену, количество, условия поставки, даты, правила приёмки, ограничения и обеспечить локаторы.
Validation. Сопоставить выводы с источниками, не создавать неизвестные данные из воздуха, отправить сомнительные случаи на пересмотр.
Financial calculator. Считать затраты, экономику и платёжный календарь по подтверждённым данным и явным допущениям.
Risk review. Прогнать стресс-сценарии и показать, при каких изменениях результат становится неприемлемым.
Decision gate. Требовать подтверждение ответственного сотрудника для решения об участии и принятия финансовых обязательств.
Важно: это логические роли, а не обязательно шесть микросервисов или шесть отдельных LLM-агентов. Для первого этапа один сервис извлечения и обычный расчётный модуль зачастую практичнее.
Как сделать финансовый результат проверяемым
На уровне расчётов полезно иметь функцию с явными входами и неизменяемыми результатами.
package finance type Estimate struct { Revenue int64 // рубли, в единой базе Goods int64 Logistics int64 FinancingCost int64 Fees int64 } func (e Estimate) Contribution() int64 { return e.Revenue - e.Goods - e.Logistics - e.FinancingCost - e.Fees }
Для сценария выше результат Contribution() равен -500000. Здесь он назван вкладом по учтённым статьям, а не полной чистой прибылью: налоги, постоянные расходы и непредусмотренные затраты в этой учебной модели отсутствуют.
Следующий уровень — платёжный календарь. Для каждой даты фиксируются подтверждённые поступления, обязательные платежи и остаток. Если в каком-то сценарии остаток опускается ниже допустимого порога, система должна показать нехватку ликвидности отдельно от рентабельности.
При этом возвратное обеспечение нельзя механически записывать в расходы; его нужно отражать в движении денежных средств и блокировках ликвидности, а комиссии и проценты учитывать по их экономической сущности.
Проверка на нестандартных условиях
Второй учебный пример — обычный заказ на 200 000 ₽. Товар стоит 164 000 ₽, первая доставка — 12 000 ₽. До прочих расходов остаётся 24 000 ₽. Клиент просит разделить поставку на две, появляется второй рейс за 12 000 ₽ — остаётся 12 000 ₽.
Это хороший регрессионный тест: архитектура должна заметить изменение обязательств, пересчитать маршрут и стоимость, показать разницу и запретить автоматическую отправку клиенту неподтверждённого обещания.
Для AI-компонента стоит тестировать не только точность извлечения, но и частоту ложных утверждений, корректность локаторов, полноту документации, обработку неизвестных и фактическое время экономии с учётом ручной проверки.
Как не превратить AI в ещё один слой бюрократии
На старте я бы использовал три режима: помощник предлагает решение, человек проверяет; затем ограниченные низкорисковые действия с понятными критериями; и только после измерений — более самостоятельные операции с аудитом и возможностью остановки.
Международный NIST AI Risk Management Framework описывает четыре взаимосвязанные функции управления рисками: GOVERN, MAP, MEASURE, MANAGE. Для небольшой системы это полезный каркас: кто отвечает, как определён контекст, как измеряются ошибки и что делать с отклонениями.
Рамка не подменяет инженерное тестирование. Она помогает не забыть, что у AI-автоматизации есть жизненный цикл, качество и владелец риска.
Вывод
Лучший результат AI-системы в некоторых закупках — не ответ «участвуем», а честное «данных недостаточно» или «с подтверждёнными затратами экономика отрицательная».
Когда LLM выделяет факты и объясняет контекст, обычный код считает деньги, а человек подтверждает решение, получается воспроизводимый процесс. Когда всё отдаётся единственному промпту, получается связный текст, которому легко поверить и трудно провести аудит.
Тема для обсуждения: где вы проводите границу между рекомендацией AI и обязательным человеческим подтверждением в коммерческих или финансовых процессах?
Источник методологии: https://www.nist.gov/itl/ai-risk-management-framework