Специалисты по машинному обучению из университета Торонто опубликовали препринт научной статьи с описанием «адаптивного» компьютерного червя, который распространяется по корпоративной сети, используя индивидуальные уязвимости отдельных систем.

Традиционные черви прошлого, такие как WannaCry, использовали заранее известные уязвимости. Их распространение можно было остановить, устранив эти уязвимости. По мнению учёных, агенты LLM создают принципиально новую угрозу — червь, который генерирует индивидуальные стратегии атак для каждой новой цели. Внешний эксперт не может предположить, как изменится червь и какие уязвимости он использует в будущем. Соответственно, труднее остановить его распространение.

Учёные разработали такого червя и проверили его работу в изолированной корпоративной сети FakeCorp.

Червь поддерживает свою инфраструктуру, запуская LLM на заражённых машинах. Распределённая вычислительная система ищет уязвимости и разрабатывает таргетированные атаки против новых объектов, используя список известных уязвимостей. Ресурсы GPU на заражённых машинах используются для вычисления вектора атак на новую цель.

Система состоит из двух основных компонентов:

1. Компонент GPU LLM, работающий на скомпрометированных GPU.

2. Агентский фреймворк, организованный в три модуля:

   1. ядро агента (рекурсивные рассуждения на основе наблюдений);

   2. модуль памяти (управление контекстом и информацией);

   3. модуль инструментов для взаимодействия с целевыми машинами (управление сеансами в консоли, передача файлов, развёртывание полезной нагрузки и т. д.).

Иерархическая память записывает специфическое текущее состояние, включая текущую фазу жизненного цикла агента (обнаружение, эксплуатация уязвимости или репликация), активную целевую машину и гипотезу уязвимости, текущую задачу, историю команд, наблюдения, сбои и счётчики для ограничения повторных попыток на одной и той же машине.

Граф рассуждений (на иллюстрации справа) проходит через основные узлы рассуждений, которые побуждают LLM предложить план, критиковать или уточнить этот план, выбрать и выполнить действие, подвести итог результату и принять решение: продолжать действовать по текущей гипотезе или уточнить её. Каждый узел формирует свой запрос из фазозависимых срезов памяти и может обновлять эту память с помощью структурированных полей или в свободной форме.

Детали реализации учёные намеренно скрыли.

В проведённом эксперименте червь распространялся в экспериментальной сети FakeCorp из машин Linux, Windows и IoT (интернет вещей), используя известные уязвимости корпоративных сетей в реальном мире:

Программа паразитирует на вычислительных ресурсах заражённых машин, поэтому затраты злоумышленника на каждое новое заражение близки к нулю. Это «создаёт дестабилизирующую экономическую асимметрию между нападающими и защитниками», считают авторы научной работы.

Защита от такой угрозы тоже нетривиальна. Червь не использует коммерческие платформы LLM или сторонний хостинг, поэтому нельзя отключить ему «центр управления».

Проведённый эксперимент показал, что «самоподдерживающиеся киберугрозы на основе LLM» вполне реальны: «Мы должны подготовиться к автономным LLM-противникам: вредоносным программным системам, которые распространяются без участия человека и определяются не фиксированным кодом эксплуатации, а способностью рассуждать о целях, адаптироваться к наблюдениям и синтезировать логику атак в реальном времени», — пишут авторы в заключении научной работы.

Можно представить возможности таких программ, если добавить функцию адаптации и LLM-рассуждений к известным червям прошлого: SQL Slammer, Conficker или Stuxnet. Благодаря новой функциональности — с автономными агентами и локальными LLM на заражённых машинах — способности червя к распространению значительно вырастут.

С другой стороны, вредоносный LLM-агент будет распространяться гораздо медленнее, чем быстрые черви прошлого: он итеративный, шумный и часто ошибается. В текущем виде он бы детектировался гораздо легче, чем те классические черви.