Благодаря широкому распространению инструментов ИИ сегодня один человек может с небывалой прежде легкостью выдать себя за другого, но ведущие компании принимают ответные меры и внедряют соответствующие политики и технологии. Осенью прошлого года завирусился ролик с Томом Хэнксом, в котором он рекламирует стоматологию, однако сам актер не участвовал в съемках. На самом деле кто-то просто воспользовался схожестью с актером и применил технологию deepfake («дипфейк»), чтобы создать подделку.

Инцидент в духе времени: можно создать убедительную иллюзию, в которой любой человек будет говорить или делать что угодно. Стремительное развитие генеративного ИИ породило массу нового контента, который достиг такого уровня, что практически невозможно отличить, где реальность, а где то, что создано бездушной машиной.

Читайте новую главу отчета Tech Trends 2024 от Deloitte в переводе Хабр-редакции КРОК под катом!

Пасть жертвой злоумышленников могут не только знаменитости. Благодаря широкому распространению инструментов искусственного интеллекта преступники могут с небывалой прежде легкостью выдавать себя за других людей и обманывать своих жертв. Технологии дипфейк используются для обхода систем распознавания лиц и голоса, а также для фишинговых атак. Сами программы искусственного интеллекта с неотъемлемым для их работы колоссальным объемом данных – лакомый кусок для правонарушителей. С появлением очередного инструмента создания контента многократно возрастают и угрозы безопасности.

Однако ведущие компании внедряют соответствующие политики и технологии, чтобы выявлять вредоносный контент и повышать осведомленность сотрудников о рисках. Одни и те же инструменты генеративного ИИ могут быть отмычкой в руках мошенников и средствами защиты, с помощью которых компании будут выявлять, прогнозировать и отражать атаки.

Вчера: новое поколение атак с использованием социальной инженерии

Атаки с использованием социальной инженерии всегда строились на том, чтобы убедить человека передать данные или дать доступ к системе. Стратегия весьма действенная, но для достижения цели злоумышленнику придется продолжительное время общаться с жертвой, тогда как искусственный интеллект может помочь ему поддерживать иллюзию живого диалога и не тратить на это много времени. Волна генеративного контента сейчас обрушивается на бизнес: злоумышленники эксплуатируют уязвимости, выдавая себя за доверенные источники. И проблема растет день ото дня.

Люди пока еще способны понять, что контент генеративный, хотя творения искусственного интеллекта весьма реалистичны. Большинство заявляют, что могут отличить контент, созданный ИИ и человеком, но 20% людей уже не уверены, да и большинство, скорее всего, слишком самоуверенно. Лишь немногие могут с абсолютной точностью отличить одно от другого, потому что генераторы контента на базе ИИ обучаются на материале, созданном человеком, и разрабатываются таким образом, чтобы максимально точно его воспроизводить. Казалось бы, искусственный интеллект должен создавать контент с присущей роботу механистичностью, но парадокс в том, что он воспринимается как нечто вполне рукотворное.

Есть несколько способов использования генеративного контента в атаках на предприятия

Использование генеративного контента в атаках на предприятия

Фишинг нового уровня: Фишинг — наиболее распространенный вид атак: ежедневно рассылается 3,4 млрд спам-сообщений. В 2021 году злоумышленники похитили примерно $44,2 млн с помощью фишинговых атак. Преступники достигают своих целей не за счет качества, а за счет количества такого вида атак: из миллиардов отправленных писем в конечном итоге лишь несколько дают результат. Подавляющее число получателей в целом умеют распознавать попытки фишинга: по грамматическим и орфографическим ошибкам или, например, по косвенным признакам, указывающим на то, что отправитель не знает получателя лично. Впрочем, инструменты генеративного ИИ умеют легко и быстро писать правдоподобные сообщения без ошибок и так, будто они владеют контекстом, т.е. подстраиваясь под каждого отдельного получателя, так что игнорировать подобные сообщения уже не так просто. Дальше, скорее всего, будет только хуже, так как модели в общем доступе создают все более качественный контент.

Дипфейки: Дипфейки существуют уже много лет, но до недавнего времени они не выглядели столь убедительно, чтобы можно было обманывать людей. Сегодня же мы начинаем наблюдать, как компании становятся жертвами атак с использованием дипфейков. Так, например, мошенники выманили $243 тыс. у генерального директора британской энергетической компании, выдав себя за первое лицо материнской компании, с помощью дипфейка голоса на базе ИИ. После этого случая инструменты для создания дипфейков продвинулись далеко вперед и, вероятнее всего, продолжат стремительно развиваться, а людям будет все сложнее распознавать, с кем они в действительности имеют дело.

Инъекция подсказок: Злоумышленники могут использовать веб-браузеры и почтовые клиенты с виртуальными помощниками. На веб-страницах или в электронных письмах они оставляют вредоносные подсказки с указаниями для помощника переслать, например, списки контактов, банковские данные и информацию о здоровье. Большинство атак с использованием социальной инженерии всегда строились на том, чтобы убедить человека передать данные или дать доступ к системе. А в случае с инъекцией подсказок хакерам даже не нужно утруждать себя. Подсказки выполняются автоматически, без ведома жертвы.

Дезинформация: В социальных сетях уже давно ведутся целые кампании против отдельных организаций, но поддельный контент подливает масла в огонь. С помощью ИИ злоумышленники могут быстро создавать и распространять огромное количество контента, подрывая деловую репутацию жертвы и даже угрожая обрушить котировки акций. Раньше приходилось собственноручно сочинять сообщения, но теперь дезинформацию можно штамповать в промышленных масштабах, что дает злоумышленникам возможность экспериментировать с посланиями и проверять, какое вызовет наибольший отклик у общественности.

Учитывая, что инструменты генеративного ИИ сегодня доступны практически каждому, а модели генерации контента совершенствуются бешеными темпами, ситуация будет только усугубляться. За символическую плату, если не бесплатно, любой человек с минимальным уровнем технической подготовки сможет создавать внушающие доверие материалы, чтобы постараться завладеть деньгами и данными компаний.

Сегодня: предприятия готовятся дать отпор новой угрозе

Может показаться, что компании беспомощны перед надвигающейся лавиной генеративного контента, но это не так. Ведущие предприятия принимают меры по упреждению подобных угроз.

Социальную инженерию придумали не вчера, и хотя синтетические медиа могут стать очередным инструментом в руках хакеров, многие проверенные методы предотвращения такого рода атак до сих пор весьма эффективны. Если не терять бдительность при общении в интернете, проверять личности собеседников и в обязательном порядке пользоваться многофакторной аутентификацией для доступа к конфиденциальным данным, то вполне можно защититься от этого нового вектора атак на корпоративный сегмент.

Как и в случае с большинством угроз социальной инженерии, решение проблемы c синтетическим контентом начинается с осведомленности. «Искусственный интеллект — это потрясающий и перспективный инструмент, который открывает массу возможностей, в том числе и для киберпреступников, — говорит Шамим Мохаммад, ИТ-директор в CarMax. — Одна из моих приоритетных задач — сделать всё, чтобы мы всегда были в курсе ситуации или даже на шаг впереди и тем самым могли защитить нашу компанию».

Чтобы выполнить свою задачу, Шамим сотрудничает с несколькими партнерами в рамках экосистемы. По словам Шамима Мохаммада, CarMax работает как с ведущими технологическими компаниями, так и со стартапами, создающими ИБ-решения на основе ИИ, чтобы оставаться в курсе всех угроз и иметь доступ к новейшим инструментам для предотвращения атак.

«У нас мощная технологическая экосистема. — говорит он.  — Мы сотрудничаем как с крупными игроками, которые находятся в авангарде ИИ-революции, так и со стартапами, специализирующимися на ИИ, поэтому в нашем распоряжении лучшие из возможных инструментов для защиты нашей информации от этих новых атак».

Создаются новые эффективные инструменты для выявления потенциально опасного контента. Искусственному интеллекту под силу как создавать контент, так и оценивать изображения, видео и текст на аутентичность. Возможно, вскоре эти инструменты смогут предсказывать, с какими видами атак столкнутся предприятия.

При создании и обнаружении генеративного контента решающее значение имеют объем, разнообразие и актуальность обучающих данных. С появлением моделей генеративного ИИ в открытом доступе злоумышленники получили преимущество, потому что эти модели были обучены технологическими гигантами с применением самого мощного оборудования и самых больших наборов обучающих данных. Первое поколение детекторов, выпущенное крупными технологическими компаниями, проигрывало таким моделям из-за нехватки данных, на которых нужно было обучить инструменты выявлять синтетический контент.

Но все меняется. Например, компания Reality Defender обучает свою платформу для обнаружения синтетических медиа на петабайтной базе данных, куда входят тексты, изображения и аудио, в том числе и генеративного происхождения. После обучения на таком большом массиве платформа способна распознавать едва уловимые признаки того, что материал был создан с помощью ИИ. Например, ИИ допускает определенное искажение и пикселизацию изображений. Текст получается довольно предсказуемым. Возможно, такие мелочи незаметны для человека, но модель ИИ, натренированная на достаточном количестве данных, может научиться уверенно их различать.

Бен Колман, генеральный директор компании Reality Defender, объясняет: «Предприятиям крайне важно уметь выявлять вредоносный контент и реагировать на него, особенно когда речь идет о распространении дезинформации, направленной против компании или ее руководства. Когда что-то разлетелось по интернету, реагировать уже поздно: репутация бренда будет испорчена навсегда, даже если через неделю-другую выйдет опровержение».

Существуют и другие инструменты, способные по определенным признакам обнаружить генеративный контент. Скоро детекторы синтетических медиа станут еще точнее. Недавно компания Intel представила инструмент для обнаружения дипфейков, который оперирует не только данными, но и анализирует наличие признаков кровообращения на лицах людей на видео. Когда сердце качает кровь по венам, их цвет слегка меняется. Это можно зафиксировать на подлинных видеозаписях и весьма сложно воспроизвести в моделях ИИ.

Дальше больше. По некоторым оценкам, к 2025 году синтетически сгенерированный контент будет составлять до 90% в интернете, при этом большая его часть будет использоваться в законных целях, например, для маркетинга и привлечение клиентов. Тем не менее не исключено, что киберпреступники будут использовать инструменты генерации контента в корыстных целях. Поэтому как никогда важно, чтобы компании могли убедиться в достоверности контента, с которым взаимодействуют их сотрудники.

Завтра: игра в кошки-мышки продолжается

Пару лет назад многие организации спешно внедряли инструменты искусственного интеллекта, но с приходом генеративного ИИ злоумышленники вновь впереди. Теперь уже компаниям приходится их догонять. И продолжение последует по мере того, как новые парадигмы наподобие квантовых вычислений будут развиваться и расширять возможности искусственного интеллекта.

Хотя квантовые вычисления будут широко доступны лишь через несколько лет, они быстро развиваются и вполне могут стать следующим инструментом в руках как хакеров, так и компаний. Один из наиболее перспективных сценариев — квантовое машинное обучение.

Как всегда, главное – не инструмент, а то, как им пользуются. Этот инструмент может как усугубить проблему, связанную с генеративным контентом, так и защитить компании от нее.

Квантовое машинное обучение позволит создавать более точные предиктивные модели при меньшем количестве обучающих данных. В классических вычислениях данные предстают в двоичном виде: 0 или 1. Но квантовые данные могут пребывать в нескольких состояниях в один момент времени, поэтому в квантовых байтах содержится больше информации. Стоит совместить их с машинным обучением, и мы получим модели гораздо сложнее тех, что разрабатывают сегодня с помощью самых мощных графических процессоров.

В результате хакеры смогут лучше таргетировать контент без необходимости собирать подробные данных о своих жертвах. В мире квантового машинного обучения не понадобится сотни часов, чтобы научить инструмент создавать реалистичный дипфейк; пары фрагментов вполне хватит.

Компании, стремящиеся повысить уровень кибербезопасности, могут существенно улучшить детекторы синтетических медиа с помощью квантового машинного обучения. Вместо того, чтобы учиться распознавать генеративные медиа на миллиардах точек данных, детекторы смогут вычислять подделки, просмотрев лишь несколько примеров.

С помощью квантовых компьютеров компании могут даже точнее прогнозировать типы потенциальных атак. Квантовое машинное обучение по точности прогнозирования может превзойти стандартное машинное обучение. Дело в том, что квантовые алгоритмы могут рассчитывать вероятность того, что различные прогнозы окажутся неверными, и давать ответ, который с меньшей вероятностью будет неверным. Может сложиться впечатление, что предсказать источник атак сегодня просто невозможно, поскольку они могут исходить практически отовсюду, но с развитием квантового машинного обучения эта проблема станет более управляемой. Так, компании смогут предотвращать атаки, а не реагировать на них.

Компаниям следует подготовиться к новой реальности уже сейчас, потому что злоумышленники не сидят на месте. Работа на опережение поможет бизнесу устоять под грядущим натиском атак с использованием генеративного контента.

Продолжение следует 

Отчет Tech Trends 2024 от Deloitte в переводе Хабр-редакции КРОК: 

Часть 1: Исследование «Технологические тренды 2024». Противостояние интеллектов 

Часть 2: Цифровой и физический мир без границ: пространственные вычисления и промышленная метавселенная

Часть 3: Выпустили джинна из бутылки: генеративный ИИ – катализатор роста 

Часть 4: Нужно работать не больше, а эффективнее: не железом единым

Часть 5: От DevOps к DevEx: не мешайте работать инженерам