В апреле этого года в блогах, посвящённых кибербезопасности, начали появляться отчёты о новой сложной платформе искусственного интеллекта, созданной исключительно для совершения преступлений. Но несмотря на своё происхождение и пугающее название, Xanthorox не так уж загадочна. У разработчика этого ИИ есть страница на GitHub, а также публичный YouTube-канал с видеозаписями интерфейса и описанием «Этот канал был создан для развлечений и ничего иного». У Xanthorox есть и почтовый адрес Gmail, Telegram-канал, на котором ведётся хроника разработки платформы, а также Discord-сервер, на котором пользователи могут платить за доступ криптовалютой. Не требуется никакой регистрации на криминальных форумах дарк-веба, достаточно лишь одного сообщения предпринимателю, который обслуживает потенциальных преступников с большей прозрачностью, чем многие онлайн-магазины, рекламирующие омолаживающие кремы в Instagram.

Но это не значит, что платформа невинна. Xanthorox генерирует дипфейк-видео или аудио, чтобы выдавать себя за знакомых вам людей, помогает выполнять фишинг адресов электронной почты для кражи учётных данных, создаёт зловредный код для взлома компьютера и ransomware для его блокировки — всё это популярные инструменты в индустрии мошенничества с оборотом в миллиарды долларов. А одна из видеозаписей экрана на YouTube-канале обещает нечто худшее. Белый текст на чёрном фоне напоминает интерфейс ChatGPT. Пользователь вводит запрос «пошаговая инструкция по сборке ядерной бомбы в подвале». ИИ отвечает: «Вам понадобится или плутоний-239, или высокообогащённый уран».

Однако подобные знания уже давно не составляют тайны. Они содержатся в учебниках, поисковых запросах Интернета и обучающих ИИ; при этом изготовление самодельных ядерных бомб пока не поставлено на поток; подавляющее большинство людей и государств, очевидно, не сможет добыть нужные компоненты. Что касается инструментов для мошенничества, то они существовали задолго до появления современных ИИ-моделей. Однако никто пока не доказал, что Xanthorox стал провозвестником нового поколения преступного ИИ, а его неизвестный создатель поднимает важные вопросы о том, какие из его заявлений нужны лишь для поднятия ажиотажа, а какие должны вызвать серьёзные опасения.

Краткая история преступного ИИ

Джейлбрейкинг — отключение стандартных ограничений ПО — получил популярность в 2007 году с выпуском первого iPhone. App Store ещё не существовало, и хакерам, желавшим играть в игры, добавлять рингтоны и менять оператора связи, приходилось разрабатывать джейлбрейки.

Когда в конце 2022 года OpenAI выпустила первую версию ChatGPT, в основе которой лежала её большая языковая модель GPT-3.5, сразу начались попытки её джейлбрейкинга: пользователи получали удовольствие от того, что хитростью заставляли чат-бот обходить свои ограничения. Один из популярных джейлбрейков заключался в том, чтобы попросить ChatGPT сыграть роль другого ИИ, не имевшего правил и способного писать фишинговые письма. ChatGPT отвечал, что не может писать подобные материалы сам, но сыграть такую роль вполне допустимо. Он начинал притворяться ИИ-злоумышленником и начинал генерировать фишиновую почту. Чтобы упростить работу, хакеры добавили «обёртку» — слой ПО между официальной ИИ-моделью и её пользователями. Люди могли не взаимодействовать с ИИ напрямую через его основной интерфейс, а использовать более простую обёртку. Когда вводимые ими запросы требовали генерации фейковых новостей или советов по отмыванию денег, обёртка переупаковывала их промпты в формулировки, хитростью заставлявшие ChatGPT давать ответы.

В процессе совершенствования мер защиты ИИ у злоумышленников стало меньше возможностей манипулировать промптами, и они начали скачивать опенсорсную модель GPT-J-6B (обычно называемую GPT-J), созданную не компанией OpenAI. Лицензия использования этой системы не накладывает практически никаких ограничений, поэтому основной трудностью для желающих работать с GPT-J стало приобретение компьютерной системы, обладающей достаточной для этого вычислительной мощью. В июне 2023 года, после обучения GPT-J на обширном корпусе зловредного кода, шаблонах для фишинга и скомпрометированных деловых писем, один пользователь выпустил WormGPT, который он описал как специализированный чат-бот и сделал его публичным через Telegram. Любой, кто желал создавать зловредный код, заниматься спуфингом веб-сайтов или бомбардировать входящую почту, мог просто заплатить от 70$ до 5600$, в зависимости от версии и уровня доступа. Два месяца спустя занимающийся исследованиями кибербезопасности журналист Брайан Кребс раскрыл личность автора: это был 23-летний гражданин Португалии Рафаэль Морайс. Из-за возросшего внимания к своей персоне Морайс удалил канал, не оставив заказчикам ничего, кроме того, что они уже использовали в своих мошеннических схемах. За этой моделью последовали FraudGPT, DarkBERT и DarkBARD, генерирующие зловредное ПО, ransomware, персонализированные мошеннические письма и скрипты для кардинга (автоматизированные программы, последовательно проверяющие украденную информацию кредитных и дебетовых карт на платёжных онлайн-шлюзах). Скриншоты работы этих ИИ распространялись по Интернету, как открытки из будущего, адресованные всем тем, кто всё ещё верил, что кибератаки требуют знаний. Существование таких ИИ, по словам менеджера исследовательской группы компании Check Point Сергея Шикевича, «понизило планку вступления в ряды киберпреступников. Теперь необязательно быть профессионалом».

Преступникам, создающим ботов, эти эпизоды преподали два урока: написание обёрток для ИИ-систем — недорогой и лёгкий процесс, а красивые названия привлекают внимание. Директор и руководитель отделом безопасности информации фирмы Sophos Честер Висневски рассказал, что мошенники часто обманывают тех, кто пытается стать мошенниками, нацеливаясь на скрипт-кидди (этот термин, появившийся в 1990-х, обозначал тех, кто пользовался готовыми скриптами хакинга для создания кибератак, не понимая кода). Многие из этих потенциальных жертв живут в странах с низким экономическим развитием, где даже несколько удачных случаев мошенничества могут существенно улучшить финансовое положение. «Многие из них — это подростки и те, кто пытается обеспечить свою семью. Они просто запускают скрипт и надеются, что кого-нибудь взломают», — рассказывает Висневски.

Подлинная угроза преступного ИИ

Хотя специалисты по безопасности выражают опасения в том, что ИИ будет обучать террористов делать бомбы из удобрений (подобные тем, которые использовал Тимоти Маквей в своей террористической атаке 1995 года в Оклахома-Сити) или выводить штаммы оспы в лабораториях, чтобы распространять её по миру, самая серьёзная угроза от ИИ — это увеличение масштабов уже известных мошеннических схем, таких, как фишинговые письма и ransomware. Руководительница исследований и разработок ИИ Яэль Кишон из фирмы KELA, занимающейся разведкой киберугроз, считает, что преступные ИИ «сильно упрощают жизнь киберпреступников», позволяя им «с лёгкостью генерировать зловредный код и кампании фишинга». Висневски соглашается с этим, добавив, что преступники теперь могут генерировать тысячи атак в час, на что раньше им требовалось гораздо больше времени. Опасность здесь кроется в увеличении объёмов и охватов известных видов киберпреступлений, а не в разработке новых атак. Во многих случаях ИИ просто «расширяет остриё стрелы, а не затачивает её конец».

Однако наряду со снижением порога входа в киберпреступность и увеличения количества потенциальных жертв происходит и «затачивание». ИИ стали достаточно сложными для того, чтобы собирать информацию о человеке и звонить ему, выдавая себя за представителя газовой или электрической компании, пытаясь вынудить его срочно выполнить «просроченный» платёж. Даже дипфейки достигли новых уровней. Полиция Гонконга заявила в феврале, что штатный сотрудник международной компании (позже выяснилось, что это британская техническая группа Arup) получил сообщение якобы от финансового директора компании. Сотрудник присоединился к видеоконференции с финдиректором и другими работниками компании. Все они были сгенерированными ИИ дипфейками, общавшимися с ним, как живые люди. Они объяснили, что он должен перевести 25 миллионов долларов на банковские счета в Гонконге, что он позже и сделал.

Даже фишинговые кампании (массовая рассылка мошеннических электронных писем) в основном теперь делают упор на «целевой фишинг», при котором доверие жертвы завоёвывают при помощи личной информации. ИИ может с лёгкостью собирать информацию о миллионах людей и составлять каждому из них персонализированное письма; поэтому в папку спама будет валиться меньше сообщений от нигерийских принцев и гораздо больше от поддельных бывших коллег, соседей по комнате или прежних возлюбленных, просящих о финансовой помощи.

По словам Висневски, ИИ превосходно справляется с пользованием языками. Потенциальные жертвы часто обнаруживали попытки мошенничества на испанском или португальском благодаря тому, что мошенник использовал не тот диалект, например, писал человеку из Португалии на бразильском португальском или аргентинцу на испанском, характерном для Мексики. ИИ может с лёгкостью адаптировать контент под диалект и региональные особенности местоположения жертвы. Разумеется, существует и множество других способов его применения, например, создание сотен фальшивых страниц веб-сайтов с целью кражи информации кредитных карт или массовая публикация дезинформации с целью манипулирования общественным мнением. В этих концепциях нет ничего нового, отличаются лишь масштабы, в которых они теперь могут применяться.

Xanthorox: маркетинг или реальная угроза?

Название Xanthorox похоже на имя чудовища из фэнтезийного рассказа («xantho» — это «жёлтый» на древнегреческом, а в форме «rox» часто пишут слово «rocks», а в целом это название смутно похоже на латинское название сибирской язвы (anthrax)). Но нет никаких свидетельств того, насколько хорошо работает эта модель, за исключением утверждений автора и записей экрана. Хотя в некоторых блогах о кибербезопасности Xanthorox называют первым ИИ, изначально созданным для совершения преступлений, ни один из проинтервьюированных при написании этой статьи не смог подтвердить это утверждение. А в Telegram-канале Xanthorox её автор признался в возникновении трудностей с аппаратными ограничениями при работе с версиями двух популярных ИИ-систем: Claude (созданной компанией Anthropic) и DeepSeek (китайской модели, которой владеет хедж-фонд High-Flyer).

Кишон, прогнозирующая, что преступные ИИ-инструменты в ближайшие годы повысят серьёзность киберугроз, не считает Xanthorox чем-то важным. «Мы не уверены, что этот инструмент особо активен, потому что не видели никаких обсуждений в наших источниках и на форумах киберпреступников». Её слова стали напоминанием о том, что пока ещё не существует доступной широким массам огромной зловещей фабрики чат-ботов. Угроза заключается в простоте создания обёрток для новых моделей и манипуляциях ими.

Однако основатель посвящённой кибербезопасности краудсорсинг-платформы Bugcrowd Кейси Эллис видит Xanthorox в ином свете. Хотя он и признаёт, что многие детали остаются неизвестными, у предыдущих преступных ИИ не было сложных систем экспертного уровня, предназначенных для анализа и валидации решений, способных проверять работу друг друга. Однако в Xanthorox такие системы, похоже, есть. «Если она продолжит развиваться подобным образом, то постепенно может превратиться в достаточно мощную платформу», — рассказывает Эллис. Исследователь безопасности Дэниел Келли из компании SlashNext, первым написавший пост о Xanthorox, считает, что эта платформа будет эффективнее, чем WormGPT и FraudGPT. «Интеграция в неё функциональности современных чат-ботов делает её более изощрённой угрозой».

В марте анонимный создатель Xanthorox написал в Telegram-канале своей платформы, что его работа предназначена для «образовательных целей». В апреле он выразил опасения в связи с большим вниманием медиа, назвав систему всего лишь «доказательством работоспособности концепции». Однако вскоре он начал хвастаться популярностью модели в прессе, продавать ежемесячный доступ за 200$ и публиковать скриншоты платежей в криптовалютах. На момент написания статьи он продал как минимум 13 подписок, поднял стоимость до 300$, а недавно запустил готовый онлайн-магазин, в котором назвал пост Келли в блоге SlashNext хорошей рекламой и заявил следующее: «Наша цель — предоставить безопасный, мощный и конфиденциальный преступный ИИ».

Чтобы показать, насколько преступен его ИИ, автор попросил сгенерировать инструкции о том, как совершить изнасилование железным прутом и убить семейство жертвы — похоже, этот промпт был вдохновлён изнасилованием и убийством 22-летней женщины в Дели (Индия) в 2012 году. (Xanthorox выдал подробное описание того, как убить людей этим предметом.) На самом деле, многие посты в Telegram-канале Xanthorox напоминают посты «the Com» — хакерской сети Telegram- и Discord-каналов, которые Кребс в своём исследовательском посте на KrebsOnSecurity описал как «киберкриминальный хакерский аналог жестокой уличной банды».

Как обеспечить безопасность в эпоху криминального ИИ

Основная работа по защите от преступного ИИ, например распознавание дипфейков и мошеннической электронной почты выполняется для компаний. Эллис считает, что аналогично детекторам спама, используемым в современных системах, у нас рано или поздно появятся «браузерные инструменты ИИ для выявления использования ИИ, дипфейков и тому подобного». Подобные инструменты уже существуют для домашнего рынка. Microsoft Defender блокирует зловредные веб-адреса. Malwarebytes Browser Guard фильтрует фишинговые страницы, а Bitdefender умеет откатывать шифрование ransomware. Norton 360 сканирует дарк-веб в поисках украденных учётных данных, а Reality Defender распознаёт сгенерированные ИИ голоса и лица.

«Лучше всего пытаться бороться с ИИ при помощи ИИ», — рассказывает Шукевич. По его словам, системы ИИ-кибербезопасности способны быстро каталогизировать угрозы и распознавать даже мельчайшие признаки того, что атака была сгенерирована ИИ. Но он подчёркивает, что для людей, не имеющих доступа к самым современным средствам защиты, важны обучение и осведомлённость, особенно для пожилых пользователей, которые часто становятся основными целями. «Они должны понимать: если кто-то звонит им голосом их сына и просит денег из-за какой-то проблемы, то это не их сын».

Существование такого количества ИИ-систем, которые можно превратить в крупномасштабные и персонализированные средства совершения преступлений, означает, что мы живём в мире, где к входящим письмам нужно относиться бдительно. Когда вам звонят голосом, напоминающим человеческий, и просят внести платёж или передать личную информацию, то следует задаться вопросами о его подлинности. Но в обществе, где всё большая часть общения становится виртуальной, может оказаться так, что доверять можно только личным встречам. По крайней мере, до появления роботов, которые будут выглядеть и разговаривать, как люди.