Китайские исследователи сообщили, что они смогли внедрить вредоносное ПО в половину узлов модели искусственного интеллекта. По их мнению, вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить. При этом сама нейросеть сможет продолжить выполнение поставленных задач в обычном режиме.
«По мере того как нейронные сети становятся все более широко используемыми, этот метод станет универсальным для доставки вредоносных программ», — отмечают авторы исследования из Университета Китайской академии наук.
Эксперименты с реальными образцами вредоносных программ показали, что замена примерно 50 % нейронов в модели AlexNet на вредоносное ПО по-прежнему обеспечивает точность модели выше 93,1 %. Авторы пришли к выводу, что модель AlexNet размером 178 МБ может содержать до 36,9 МБ вредоносных программ, встроенных в ее структуру, без возможности их обнаружения из-за стеганографии. Некоторые модели были протестированы против 58 распространенных антивирусных систем, и вредоносное ПО все равно не было обнаружено.
Согласно исследованию, это связано с тем, что AlexNet, как и многие модели машинного обучения, состоит из миллионов параметров и множества сложных слоев нейронов, включая так называемые полностью связанные «скрытые» слои. Исследователи обнаружили, что изменение некоторых других нейронов мало влияет на производительность.
В статье авторы излагают сценарий того, как хакер может разработать модель машинного обучения с вредоносными программами, и распространить ее. По их словам, чтобы обеспечить возможность внедрения большего количества вредоносных программ, ему нужно внедрить больше нейронов. Затем злоумышленнику необходимо обучить сеть с помощью подготовленного набора данных, чтобы получить хорошо работающую модель. Он даже может выбрать для этого существующие модели. После этого хакер внедряет вредоносную программу и оценивает производительность модели. Как только модель показывает нужный уровень производительности, ее можно публиковать в общедоступных репозиториях или на других ресурсах.
Вредонос при внедрении в нейроны начинает работать с помощью вредоносной программы-приемника, которую также можно использовать для загрузки самой модели через обновление.
Исследователи подчеркивают, что на этом этапе вредоносное ПО все еще можно остановить, если целевое устройство проверит модель перед ее запуском. Его также можно обнаружить с помощью «традиционных методов», таких как статический и динамический анализ.
Консультант по кибербезопасности Лукаш Олейник отмечает, что этап извлечения вредоносного ПО также может служить для его обнаружения. По его словам, «специальные методы для извлечения вредоносных программ из модели [глубокой нейронной сети] могут говорить о том, что целевые системы могут уже находиться под контролем злоумышленника».
Исследователи, между тем, надеются, что их работа может «предоставить справочный сценарий для защиты от атак с помощью нейронных сетей». «С ростом популярности искусственного интеллекта будут возникать атаки с использованием ИИ, которые создадут новые проблемы для компьютерной безопасности. Сетевая атака и защита взаимозависимы», — отмечается в документе.
Комментарии (49)
raamid
25.07.2021 16:25+36На самом деле статью стоило назвать "Ученые внедрили сторонние данные внутрь нейросети без нарушения ее работы". Стало бы гораздо понятнее, но журналистам, к сожалению, хочется дешевой сенсации, вот и нагнетают.
А то, на что намекает название - это нейросеть с "двойным дном", которая работает как обычная, но по ключевому сигналу начинала бы работать совершенно иначе.
abutorin
25.07.2021 17:26+13Можно было еще назвать "модель AlexNet содержит 30% мусора" т.к. при замене 30% нейронов, модель не перестала давать хорошую точность.
mithdradates
25.07.2021 17:47+1Ну это в целом не новость, для облегчения сеток часто занимаются их обрезкой и т.д. Вот то что часть нейронов можно незаметно заменить левыми данными - это, имхо, интересно. Правда в плане заражения не совсем понятно - как я понял из этой новости, чтобы этот вирус из сетки распаковать нужна ещё одна вредоносная программа, тогда в чем профит? Антивирусам сложнее задетектить подобный вредонос-распаковщик?
fruit_cake
25.07.2021 18:32+1Я так понимаю что нейронная сеть должна иметь расширенный функционал и большой доступ к управлению железом, толку от того что будет записан вредоносный алгоритм в нейронку которая пишет музыку нет, повлиять на что-то принципиально он не сможет, разве что будет вставлять матерные слова в конечное музыкальное произведение (ну или политические лозунги - что в принципе вполне себе реальное применение).
EviGL
25.07.2021 18:29+2Я вот тоже думал, что журналисты нагнетают, но название оригинальной публикации "EvilModel: Hiding Malware Inside of Neural Network Models". Так что желтушные заголовки уже непосредственно в научных публикациях :)
acc0unt
25.07.2021 16:58+9Это по сути новый метод стеганографии. И нейросети - далеко не первый бинарный блоб, в который смогли закатать стеганографией левые данные.
DistortNeo
25.07.2021 17:04Угу. Только причём тут вирусы и прочие вредоносы, я вообще не понял. Ведь чтобы их достать и запустить, нужен другой вредонос.
Goupil
25.07.2021 17:28+1Не обязательно. Авторы обратили внимание на то, что в сетке можно много спрятать незаметного. Суть вредоноса (вредоносных нейронов, составляющих вредоносную подсеть в сети) может быть в изменении работы сетки при определенных условиях, не предусмотренных пользователем. Например (ногами не бейте, я не экономист) коррапченная сетка торгует для трейдера на бирже, выбирая по входным данным наиболее перспективные цели для инвестиций, и вроде-бы на радость трейдера торгует вполне граммотно, принося ему прибыль. Но стоит числу доступных ей средств (налички, акций, крипты) достичь определенного предела или ей получить какой-либо особый малозаметный сигнал из вне вместе с прочими данными, она совершает совершенно незапланированное действие, например полностью вкладывается в мутный фонд, который после этого выводит все средства и исчезает. У сетки нет доступа к железу, она не может получить ни одного пароля с сервера, но ей это и не надо. А если таких сеток десятки и сотни?
EviGL
25.07.2021 18:15+5Ну а это уже сценарий фантастического рассказа. Ну, то есть, это теоретически возможно, и было бы прикольно найти и заэксплуатировать такую уязвимость.
Но предпосылок для этого никаких нет: исследование именно про то, про что говорит оригинальный комментарий — как 37мб мусора (или любых данных) спрятать в 178мб модели.
Чтобы нейронная сетка, которая труднопредсказуемо вообще в целом работает, вдруг начала "выполнять" условный оператор от входных данных и следом детерминированный зловредный код — это на порядок другого уровня задачка.
azatfr
25.07.2021 18:26Паразитам не смотря на примитивность как то же удается заставить управлять более сложным мозгом насекомых и выполнить довольно таки сложные действия. Например, грибок кордицепс заставляет муравья забраться высоко, при этом не абы где, а над муравейником или тропами муравьев, и укусить растение, чтобы в таком положении муравей умер и распространил споры над своими сородичами.
abutorin
25.07.2021 18:42Ну а это уже сценарий фантастического рассказа
Ну кажется что не такая уж и фантастика. Кто мешает трейдерскую сеть натренировать покупать конкретные бумаги, когда в них "пролетает" специальная последовательность сделок. Пока этой последовательности нет, она работает как "обычно", а видя этот сигнал, в силу вступает другая стратегия. В обычном коде это можно было бы попробовать заметить, а вот в нейронке будет уже сложно.
EviGL
25.07.2021 18:50+3Поэтому я и говорю, что это теоретически возможно. А на практике проблемки. Так же, как это сложно заметить в нейронке, это сложно и реализовать в нейронке. Получится, что для стабильной реакции на "зловредную" последовательность нужно на порядок более мощную нейронку, чем для обычной работы того же алгоритма. Ну и да, обучайте ответственную сетку самостоятельно под своим контролем, тогда уж точно никто зловреда не загонит.
Я не спорю, в будущем увидим, наверное, вариации подобных атак. Просто научная публикация и новость с этим никак не связаны и никак к этому не ведут.
Goupil
25.07.2021 20:07Другой пример - автопилоты автомобилей. Они все время собирают данные с сенсоров и камер, которые кроме собственно автопилота, идут на центральный сервер, где непрерывно обучают модель. Эта новая модель периодически загружается на машины. Знаки в кустах с казалось бы случайными пикселями могут внедрить зловред, который с десяток машин уйдет на сервер, и этот зловред может например увести машину куда надо или сливать данные поведением или маршрутом машины.
Конечно это фантастика, для разработки такого зловреда надо идеально понимать саму сетку, но и атомная бомба была фантастикой.
mk2
25.07.2021 18:18+2Не, речь именно про внедрение данных, про изменение поведения или выполнение стороннего кода непосредственно моделью тут ничего нет.
>Вредонос при внедрении в нейроны начинает работать с помощью вредоносной программы-приемника
То есть нейросеть содержит только блоб и не исполняет никакого вредоносного кода сама.Goupil
25.07.2021 20:09Основная идея, как я понял, в том что сетка может содержать скрытую часть без особой потери метрик. А уж на что такая скрытая часть пойдет - это вопрос к фантазии.
makondo
25.07.2021 17:26+2Как в веса и архитектуру нейросети можно внедрить исполняемый машиной код? Как этот код запустится?
EviGL
25.07.2021 18:25+4Нужна внешняя программа, которая зачем-то залезет в бинарные данные нейросети и eval-нет их кусок. А авторы исследования (что самое странное, даже не журналисты) просто хайпуют на том, что в этом куске может быть rm -rf /.
Да, сигнатурные антивирусы не задетектят вредоносный код, спрятанный в мусоре нейросетки. Но, имхо, сигнатурные антивирусы должны мочить программы, которые eval-ят картинки, видео, нейросетки и прочие странные бинарные данные. Потому что задетектить всю стеганографию принципиально невозможная задача — вредонос может использовать произвольно сложный способ чтения полезной нагрузки из бинарника.
13oz
25.07.2021 17:47+2Не понял, честно говоря, какой вредонос исследователи смогли запрятать, что он делает? Корректирует параметры работы в нужную атакующему сторону? Портит данные? Или что?
Alex-111
25.07.2021 18:39Как метод "лечения" зараженной модели — инвертировать наименьший значащий бит у 0.01% случайно выбранных весов.
mSnus
25.07.2021 22:00+2встроенных в ее структуру, без возможности их обнаружения с помощью стеганографии.
Имеется в виду
встроенных в ее структуру с помощью стеганографии, без возможности их обнаружения
или я не так понял?
Wesha
25.07.2021 23:04-4> вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить.
Поздравляю, парни, Вы изобрели вирус иммуннодефицита человека.
Am0ralist
26.07.2021 14:40В статье авторы излагают сценарий того, как хакер может разработать модель машинного обучения с вредоносными программами, и распространить ее. По их словам, чтобы обеспечить возможность внедрения большего количества вредоносных программ, ему нужно внедрить больше нейронов.
То есть хакер может натренировать нейросеть на внедрение в нейросети вредоносных данных. Но если при этом он будет использовать для этого чужую нейросеть, то вполне вероятно, что в этой нейросети уже будет сидеть зловред, который будет внедрять в его нейросети не те вредоносные данные, а хакер не узнает!
Ушёл писать фантастический рассказ
thatsme
wow. Очень прикольно. Слов нет. Новый рынок - вирусы для нейросетей и "больные" модели, продолжающие исполнять свою функцию. Новая задача для антивирусов, искать больные нейросети и модели. Практически эволюция руками человека.
Goupil
Следующий этап - внедрение вредоноса в тренировочные данные, чтобы они незаметно портили изначально здоровую сетку.
azatfr
А потом внедрение вредоноса в биологические нейросети. Представил вирус распространяющийся среди людей: зараженные издают нечленораздельные звуки услышав которые здоровый человек заражается вирусом. Аж самому жутко стало.
kometakot
HardWrMan
Это курам на смех!
v1000
Причем на русском для англоговорящего. Нюанс, который потерялся в переводе.
HardWrMan
Ну почему же. Есть AVO перевод Королёва, там он вставил: *говорит по-китайски*
Saladin
Было в монти пайтон в номере про смертельный анекдот!
avalak
Практически как мем-агенты из SCP Foundation.
OldGrumbler
Это уже в фантастике было.
«Тюлилихум ааухум» -
https://www.litmir.me/br/?b=20578
Goupil
Такие ментальные зловреды ( мемы в их первоначальном понимании) существуют столько, сколько существует цивилизация. Один скажет слово, а толпа бежит крушить и убивать.
sim2q
Или скрытые идеи на уровне подсознания...
знаю, что для Хабра это самоубийственный пример, да и не пример вовсе, всё же речь в Inception Нолана "немного" о другом, но не могу не упомянуть:)
vmkazakoff
Похоже на то, что плоская земля, qanon, чипирование и 5G, антипрививочники и те у кого микроволновка влияет на ДНК находящихся в комнате - это все примеры таких вот вирусов. Имя им "вера" и вирусы эти существуют столько, сколько существует человек разумный.
Darlock_Ahe
Это больше похоже на баг в софте :)
vmkazakoff
Ну когда этим багом умышленно пользуются (и тут я и про религии и про теории заговора) то это уже и есть написание вируса. Не было бы багов не было бы вирусов - ни у нас, ни в компьютере.
Darlock_Ahe
Это всё-таки эксплоит. /зануда_моде_офф
JuriM
Было у Кинга в "Мобильник" и у Лукьяненко в "Пост"
agalakhov
И у Кодзи Судзуки "Звонок", "Спираль", "Петля".
Stesh
Прямо «Мобильник» Стивена Кинга.
PS: да, буду обновлять страничку, перед тем как оставить пост(
Lomert
Не стоит думать об этом как о «сенсации», «новом рынке». Нейросеть сама по себе вредоносный код не выполнит, это лишь очередной способ стеганографии. То же самое, что и сокрытие вредоносного кода в картинке. Нужна программа, которая будет исполнять код из нейросети или картинки, такие программы антивирусы успешно отлавливают.
Это равноценно шифрованию вредоносного ПО стойким алгоритмом шифрования с неизвестным ключом и отправкой его на проверку антивирусами без самого ключа или программы для расшифровки и выполнения.Хабраредакторы в очередной раз показали свою профнепригодность, сделав из новости сенсацию и написав