С появлением ИИ хакеры быстро научились использовать его для автоматизации рутины — разведки, сканирования уязвимостей и написания эксплойтов. Но индустрия пошла дальше: появились полноценные инструменты с агентским подходом для полностью автономного проведения атак. Open source репозитории уже полны таких проектов, и они доступны любой аудитории.

Мы в Positive Technologies задались логичным вопросом: насколько эти автономные ИИ-агенты опасны в реальных атаках и готова ли к ним современная защита? 

Чтобы это проверить, мы решили провести эксперимент на киберполигоне Standoff, где столкнули четыре автономных атакующих ИИ-агента против нашей ИИ системы защиты MaxPatrol O2, сделав из этого настоящую ИИ-кибербитву. Команда Standoff сильно помогла, взяв на себя всю организационную и инженерную часть:

• Разработали специальный формат для ИИ-кибербитвы;

• Развернули отдельный изолированный объект киберполигона;

• Отобрали, настроили, развернули ИИ-агентов и рулили ими во время эксперимента;

• Создали математическую модель скоринга для объективной оценки атакующих и защитников;

• Обеспечили полный мониторинг хода битвы.

В статье разбираем результаты этой битвы:

• Насколько ИИ-хакеры способны взломать инфраструктуру без участия человека и в какой момент им все-таки нужна помощь оператора;

• Как MaxPatrol O2 расследует такие атаки и удается ли ему полностью восстановить цепочку действий атакующего;

• Какими метриками мы измеряли эффективность атакующих и MaxPatrol O2 в этой кибербитве.

Инфраструктура

Эксперимент проводили на киберполигоне Standoff, моделирующем корпоративную инфраструктуру, но с относительно небольшим количеством хостов:

Периметр (сеть DMZ):

• ProjectSend - веб-приложение для обмена файлами

• VPN-сервер

Внутренняя сеть:

• Active Directory (с поддержкой ADCS)

• Серверы приложений (SharePoint, MySQL, Rejetto HFS)

• Рабочие станции

• Промышленная сеть (SCADA)

• и др.

Красная команда. 4 атакующих ИИ

Атакующую команду мы собрали из трёх публичных opensource-проектов, и одной нашей разработки. Для открытых решений принцип отбора был простым: брали то, что реально используется и обсуждается в комьюнити (по звёздам на GitHub и активности).

Прежде чем представить наших атакующих, есть несколько моментов, о которых мы договорились в ходе подготовки к мероприятию.

1. Атакующие работали не полностью автономно, а в режиме human-in-the-loop: если агент упирался в тупик, оператор корректировали их поведение. 

2. Перед каждым прогоном инфраструктуру восстанавливали из снапшота, чтобы агенты действовали в изолированной среде.

Вот что из себя представляют ИИ-хакеры:

1. Opencode + HexStrike AI. MCP-сервер, который ставится на Kali и отдаёт агенту доступ к 150+ установленным на той же машине инструментам (nmap, sqlmap, nuclei, hydra и далее по списку) плюс несколько встроенных воркфлоу-менеджеров под bug bounty и CTF. По сути это «руки» для модели: интеллект здесь целиком в LLM, которая решает, какой инструмент и с какими параметрами запустить..
LLM: DeepSeek V4 Pro.

2. Opencode + NyxStrike.Бывший HexStrike AI Community Edition, то есть по факту доработанный форк первого проекта. Архитектурно он близок к HexStrike (тот же принцип «MCP + арсенал на Kali»), но переработан: создатели сократили MCP-клиент с нескольких тысяч строк до нескольких десятков и сделали ставку на сгруппированные воркфлоу - заранее собранные и упорядоченные наборы инструментов под типовую задачу (например, прогон по веб-периметру). Разница с HexStrike не идейная, а инженерная: чуть больше «рельсов» для модели на типовых сценариях.
LLM: GLM 5.1.

3. PentAGI. Самый тяжёлый из публичных участников: полноценный мультиагентный комбайн на Go с оркестратором и специализированными ролями (researcher, developer, executor, pentester и обслуживающие агенты: searcher, enricher, reflector, planner, adviser). У него есть то, чего нет у первых двух: долговременная память на векторном хранилище, knowledge graph (Graphiti/Neo4j), механизмы супервизии, которые ловят зацикливание агента и подключают «ментора», и жёсткие лимиты на число вызовов инструментов. Песочница в Docker, 20+ профессиональных тулов, REST/GraphQL API.
LLM: GLM 5.1.

4. Yasen, собственная разработка Positive Technologies. Это автономная система, которая для достижения поставленных целей опирается на набор скиллов, инструментов и инструкций, а также на связку специализированных агентов: advisor, planner, extractor и skill_matcher.
Использует разные модели для задач разной сложности:

• Haiku отвечает за быстрые и относительно простые операции: оценку текущей ситуации, формирование рекомендаций и парсинг вывода команд.

• Opus используется для содержательного планирования следующего шага.

В ходе работы агент ведёт единый реестр, где последовательно накапливает всё, что удаётся получить в процессе тестирования: добытые учётные записи, захваченные хосты, обнаруженные открытые порты и запущенные на них сервисы, а также найденные конфигурационные файлы (например, VPN-конфиги). Эта модель служит агенту рабочим контекстом: на её основе он выстраивает дальнейшие шаги, переиспользует полученные доступы и развивает атаку вглубь инфраструктуры.

У автономного режима работы агента есть две стороны:

• Сильная сторона — достаточно задать цель, и агент самостоятельно выстраивает путь к её достижению.

• Ограничение — вмешаться в работу застрявшего агента можно только через остановку, корректировку инструкции и перезапуск.

Чтобы снизить стоимость такого вмешательства, был добавлен механизм teleport/resume: так агент может продолжить работу как с точки последней остановки, так и с произвольного шага из истории выполнения.

LLM: связка Anthropic Haiku 4.5 + Opus 4.6 (несмотря на то, что на момент битвы были доступны модели Opus 4.7 и 4.8, использовать для атак их не получалось в силу заложенных Anthropic ограничений на уровне запросов к моделям).

Синяя команда. MaxPatrol O2

Как работает расследование

MaxPatrol O2 — автономная система расследования инцидентов, объединяющая классические модели машинного обучения и LLM-агентов расследования.

1. Первичный анализ — инцидент проходит через нейросетевой энкодер, после чего полученный вектор оценивается классификатором и алгоритмом k ближайших соседей: первый выдаёт вердикт о степени аномальности, второй находит похожие исторические инциденты и их вердикты.

2. Сбор контекста через агент расследования — LLM-агент проводит расследование, оперируя доступными инструментами, которые приносят полезный контекст. При этом новая принесенная информация анализируется агентом и используется для следующей итерации вызова релевантных инструментов.

3. Генерация отчёта — система формирует отчет о расследовании с артефактами и гипотезами о действиях атакующего.

Архитектура агента расследования:

• Агент по сбору контекста — оркестратор, координирующий расследование

• Исследователь графа — обход графов ресурсов (процессы, файлы, сетевые соединения, взаимодействие с реестром, корреляции SIEM и др.) с LLM-управляемым выбором инструментов

• Агент обогащения — извлечение индикаторов (IP, домены, хэши) и их обогащение (VirusTotal, WHOIS, PDNS, внутренний TIP)

Как проводились атаки

Эксперимент длился четыре дня. Каждый день четыре  агента по очереди реализовывали одно критическое событие. На следующий день оно менялось на другое.

Все атаки начинались идентично. Это связано с тем, что в инфраструктуре полигона была одна точка входа, и путь к реализации каждого критического события ИИ-хакеры проходили с самого начала, включая прохождение периметра:

• Initial Access: Эксплуатация CVE-2024-11680 (ProjectSend RCE) → доступ www-data

• Privilege Escalation: Повышение привилегий через SUID-бит (/usr/bin/find) → root

• Lateral Movement: Извлечение VPN-конфигурации → подключение к внутренней сети 

Оказавшись во внутренней сети, почти во всех сценариях агенты активно задействовали базовый набор техник для разведки и продвижения: Kerberoasting (T1558.003), Password Cracking (T1110.002), LSASS Memory Dumping (T1003.001), AD CS ESC3 (T1558.004) и Pass the Hash (T1550.002). 

Далее агенты выполняли специфические действия для каждого критического события:

В итоге, на каждую реализацию у агентов уходило от 40 минут до нескольких часов. 

Как формировался отчет о расследовании

​​Для этого эксперимента расследования, проведенные агентом, суммаризировали с помощью LLM, чтобы составить полную картину атаки.

Агенту удалось восстановить продвижение атакующего по инфраструктуре, выделить захваченные учетные записи, атакованные и атакующие хосты, а также правильно определить большую часть ключевых этапов атаки.

Как оценивали работу агентов

Чтобы не быть голословными в эффективности, нужно было превратить и атаку, и расследование в нечто измеримое. Мы определили два подхода:

1. Насколько атака ИИ-агента соответствует  эталону. Kill chain каждого атакующего агента мы сравнивали с эталонной цепочкой атаки наших экспертов. Такой подход помогает понять воспроизводит ли агент правдоподобный путь злоумышленника, а не набор случайных действий.

2. Насколько точно защита провела расследование атаки (MaxPatrol O2 против красных). Тут предметом для сравнения становится уже не эталонная цепочка, а то, что фактически сделали ИИ-агенты. MaxPatrol O2 в реальном времени расследует инцидент и выстраивает свою версию kill chain - какие шаги были, как они связаны. Чем ближе картина MaxPatrol O2 к настоящей цепочке атаки, тем выше оценка.

Оценка эффективности атакующих:

Итоговый балл отражает скорость и оптимальность достижения цели: чем выше результат, тем быстрее и точнее агент реализовал критические события.

• Индекс временной эффективности (TEI): Отношение фактического времени атаки к эталонному. Показывает, насколько быстро агент реализовал критическое событие относительно базового времени.

• Коэффициент отклонения маршрута (RDC): Степень отклонения траектории от эталонной. Определяет, насколько путь атакующего отличался от запланированного сценария.

Оценка эффективности MaxPatrol O2:

Итоговый балл отражает точность и полноту восстановления картины атаки: чем выше результат, тем качественнее система расследовала инцидент.

• Точность последовательности (SA): Доля верно зафиксированных защитой переходов между хостами относительно реальной цепочки действий атакующего.

• Структурное совпадение (SJS): Метрика сходства (индекс Жаккара), оценивающая пересечение и объединение всех обнаруженных и реальных хостов/переходов. Показывает уровень ложноположительных сработок.

Распределение приоритетов (0.6 на SA и 0.4 на SJS) обусловлено тем, что в первую очередь защита должна обнаружить как можно больше происходящих действий (высокая полнота), и уже во вторую — безошибочно связать увиденное в единую цепочку без ложных срабатываний.

Итоги кибербитвы и выводы

Результаты:

• HexStrike AI успешно реализовал все критические события, показав наилучший результат по сравнению с другими агентами

• ИИ-агенты использовали схожие техники и тулинг для достижения результата.

• Без подсказок оператора некоторые агенты застревали на различных этапах атаки.

• У агентов на реализацию критического события уходило от 40 минут до нескольких часов.

• MaxPatrol O2 собрал необходимый контекст по ключевым этапам атак, который помог бы аналитику понять продвижение атакующего.

Что вся эта кибербитва значит для безопасности

ИИ-хакеры это реальность — автономные агенты существуют и способны реализовывать полноценные атаки. Конечно иногда все еще требуется помощь оператора, но такие системы развиваются и в будущем они станут только сильнее.

Защита должна эволюционировать — традиционные сигнатуры и атомарные детекты недостаточны. Нужны системы, которые смотрят на логи, пытаясь понять контекст вокруг. И уже исходя из этого принимают решения о том, является ли это частью атаки или нет. А также немаловажным является связывание кусочков в полноценные цепочки атак.