С распространением ИИ-ассистентов и чат-ботов появляется новая категория угроз, о которой пока мало кто говорит, но бизнес уже несёт реальные убытки. Не хватало нам DDOS атак и клик фрода, как активно начали применять:

Большинство современных ИИ-ассистентов построены по архитектуре RAG (Retrieval-Augmented Generation).
Принцип работы:
Сначала система извлекает информацию из корпоративной базы знаний, документов или внутренних хранилищ (Retrieval)
Затем на основе найденных данных генерирует ответ пользователю (Augmented Generation). В связи с этой особенностью я составим список основных векторов атак, упорядочил по потенциальному урону и легкости реализации для злоумышленников.

Экономическое истощение инфраструктуры

Самый примитивный и поэтому массовый метод (как ддос и клик фрод). Большинство корпоративных ИИ-агентов работают по модели:
✔ Оплата за токены (символы генерации) — характерно для GPT-сервисов
✔ Лицензия или подписка, зависящая от количества активных пользователей или чатов

Как атакуют
Злоумышленники запускают автоматизированные боты через мессенджер или в онлайн чате на сайте.
Боты имитируют реалистичные, но бессмысленные уточняющие диалоги. Злоумышленник узнает напрямую у чат бота, какой длинны контекст он принимает и начинает генерировать вовлекающие вопросы чтобы потратить ресурсы жертвы.
Массовая регистрация "новых пользователей" внутри системы.
Итог: система видит рост активности, но за ним стоят только боты. Бюджет на токены или подписки уходит за считанные часы.

Экономика атаки на ИИ систему

В среднем, стоимость одного вредоносного запроса к системам типа GPT составляет:

~$0,018 — для ChatGPT (API GPT-4-turbo, по текущим тарифам OpenAI)

~$0,013 — для YandexGPT (согласно собственным замерам)

Даже относительно низкая стоимость одного запроса становится проблемой при автоматизированных атаках:

1000 фейковых запросов обходятся злоумышленникам в пределах 18, что эквивалентно 1016 – 1407 рублей

Если нагрузка достигает 1 запроса в секунду, за 8 часов суммарные затраты бизнеса на токены составят около 29 280 рублей

В случае агрессивной интенсивности или более дорогих тарифов, потери за ночь могут легко достигать 29 260 – 53 189 рублей, что особенно критично для малого и среднего бизнеса

Важно понимать, что это речь только о стоимости вычислительных ресурсов (токенов). Если же платформа тарифицируется по количеству уникальных пользователей или активных чатов, ситуация усугубляется:

Боты генерируют короткие, псевдореалистичные диалоги

Система регистрирует рост числа активных пользователей

В результате происходит автоматический перевод аккаунта на более высокий тарифный план

Пример
Для малых и средних компаний подобный рост тарифа может привести к дополнительным расходам порядка 25 000 рублей и более, без реальной ценности от системы.

Таким образом, даже при относительно невысокой стоимости запроса, масштабные автоматизированные атаки способны быстро истощить бюджет и создать видимость ложного роста активности.

Технические меры защиты
✔ Мониторинг аномальной активности и резких всплесков нагрузки
✔ Автоматическое переключение на операторов при неестественных паттернах
✔ Блокировка или ограничение доступа при отсутствии конверсии и подозрительной динамике

Promt Injection

RAG-системы могут использовать (если не прошли процедуру глубокой классификации данных) внутренние базы данных или отдельные документы, включая:
✔ Служебные документы
✔ Контракты
✔ Клиентские реестры

Злоумышленник может сформировать специально сконструированный запрос (Prompt Injection), благодаря которому ассистент:

Получает доступ к чувствительной информации

Выводит персональные данные или фрагменты закрытых документов в диалоге

Последствия
⚠ Утечка персональных данных
⚠ Нарушения законодательства — GDPR, 152-ФЗ, отраслевые регламенты
⚠ Прямые финансовые и репутационные убытки

Как минимизировать риски
✔ Внутренние базы данных изолируются, доступ только авторизованным сотрудникам
✔ Клиентский контур ассистента — только с публичной информацией: цены, расписание, ассортимент
✔ Исключение смешивания внутренних и внешних источников при генерации ответов

Систематический OSINT

В настоящий момент редкое явление, так как чаще используется социальная инженерия с реальными людьми, поэтому 4 место. Даже без Prompt Injection, злоумышленник может через цепочку легитимных вопросов собрать:

✔ Структуру компании
✔ Список услуг и продуктов
✔ Ключевые процессы и внутренние особенности
✔ Косвенные данные о клиентах, загрузке и обороте

Пример
Ассистент сообщает: «Осталось 2 места на 4 смену в детском лагере» — по этим данным легко вычислить ёмкость продаж и динамику спроса.

Риски
Конкуренты получают аналитику и инсайды о компании без взлома или доступа к внутренним системам.

Контрмеры

Ограничение глубины ответов ассистента

Настройка уровня детализации информации под разные категории пользователей

Внедрение контекстных фильтров и защиты от запросов с накопительным эффектом

Data Poisoning

Более редкое, поэтому заслуживает последнего места в этом списке. Если ИИ-система обучается или подстраивается на основе пользовательских запросов — её можно целенаправленно "отравить". Например:

Искажение статистики FAQ и популярных запросов

Снижение качества рекомендаций и сортировки информации

Манипуляции через массовые вбросы токсичных или ложных данных

Это уже используется в социальных сетях и рекомендательных сервисах, но аналогичные угрозы приходят и в корпоративных ИИ-ассистенты.

Как защититься
✔ Жёсткое разделение обучающей выборки и пользовательских данных
✔ Регулярная чистка и валидация всех обучающих датасетов
✔ Мониторинг контента, генерируемого моделью, на предмет аномалий и некорректных паттернов

Подготовил для вас короткий чек лист практических действий

✅ Логируйте и отслеживайте все взаимодействия с ИИ — важно иметь историю активности для расследований
✅ Полностью изолируйте базы данных, содержащие финансовую, юридическую или персональную информацию от ИИ-моделей доступных для клиентов
✅ Все данные, используемые для обучения или дополнения ИИ, проходят аудит безопасности перед загрузкой
✅ Настройте сценарии эскалации: если бот фиксирует подозрительные вопросы или длинные диалоги — подключается человек
✅ Оцените риски перед интеграцией любого внешнего ИИ-решения: кто контролирует серверы, данные и доступы
✅ Используйте аномалийный анализ активности — всплески бессмысленных диалогов могут быть признаком атаки
✅ Ограничьте бесплатные или тестовые функции — злоумышленники часто используют их для истощения ресурсов
✅ Разработайте внутренние метрики эффективности: если число диалогов растет, а конверсии нет — проверяйте на признаки клик-фрода или бот-атак
✅ Автоматическое ограничение скорости (rate limiting), запрос простейшей капчи (невидимой или адаптивной) или бесшовный переход на менеджера-человека при высоком скоре риска сессии (особенно для VIP/крупных сделок).
✅ Глубокая классификация данных: Систематически выявляйте ВСЕ данные, доступные ИИ-системам (RAG, fine-tuning). Классифицируйте по уровню чувствительности (публичные, внутренние, конфиденциальные (PII, финансы, IP), строго конфиденциальные). KPI: 100% источников данных для ИИ классифицированы.