Помните, как в детстве нас учили не разговаривать с незнакомцами? В 2024 году эта мудрость обрела новый смысл: теперь нельзя быть уверенным даже в том, что разговариваешь со знакомым человеком, а не его нейросетевым двойником.

По данным The Wall Street Journal, за 2023 год количество «разводов» с использованием дипфейков в финтехе выросло на 700% по сравнению с 2022-м. Одновременно мошенники наращивают применение чат-ботов, увеличивая свои охваты. 

Мы позвали редактора рубрики «Финбезопасность» Т—Ж, автора и ведущего подкаста «Схема» Алексея Малахова, чтобы обсудить, как арсенал кибермошенников меняется под влиянием ИИ. 

Эксперт расскажет про новые схемы обмана, масштабные нейросетевые аферы и будущее в духе Cyberpunk 2077. Также поговорим о перспективах технологий верификации личности в мире, где «доверяй, но проверяй» превратилось в «не доверяй и перепроверяй дважды».

Алексей Малахов

Знает все о том, как не стать «мамонтом»

Я познакомился с нейросетями в 2013 году в институте. На лабораторных мы с одногруппниками игрались с простейшей нейронкой: заставляли ее распознавать рукописные цифры. Тогда я думал, что это забавная игрушка, которая вряд ли найдет серьезное применение.

Десять лет спустя мы с коллегами из подкаста «Схема» в качестве эксперимента сделали нейросетевую копию моего голоса. У нас был готов целый сезон подкаста, а это часы студийной записи для тренировки модели. Спустя восемь часов дообучения нейронка заговорила на русском, правда, с сильным английским акцентом и жутковатыми машинными интонациями. 

«Все понятно! Еще не скоро так можно будет кого-то обмануть», — подумал я, и снова ошибся. Полгода спустя с помощью нейросетей успешно воруют личности и разводят людей, а я посвящаю таким схемам целые выпуски подкаста.

Как мошенники используют нейросети

Начну с ключевого вопроса: появились ли с развитием нейронок новые виды «разводов»? Пожалуй, что нет, но нейросети проапгрейдили старые. Они позволили:

• автоматизировать мошенничество;

• увеличить масштаб, а с ним и рентабельность старых невыгодных схем;

• повысить реалистичность и убедительность обмана.

За автоматизацию и масштабирование отвечают чат-боты. Самый простой способ использовать их для мошенничества — это заставить большую языковую модель писать нигерийские письма. Предоставьте нейронке контекст, продумайте промт — и через мгновение у вас есть персонализированное письмо, с помощью которого можно ловить на удочку доверчивого «клиента». 

Впрочем, подобные фокусы — это только начало. Пока менее опытные кибер-разводилы штампуют малоэффективные «письма счастья», технически подкованные мошенники разворачивают роботов, которые делают за них почти всю грязную работу.

Автоматизация обмана с помощью чат-ботов

Существует множество схем, где можно применить чат-ботов. Например, жертве присылают СМС с паролем от аккаунта на криптобирже. Все выглядит так, словно кто-то случайно указал при регистрации не тот номер. Жертва проходит по ссылке, вводит пароль и видит кругленькую сумму. Радуясь своей «удаче», атакуемый просит службу поддержки вывести деньги. Чат-бот отвечает, что сперва нужно перевести немного эфира для подтверждения кошелька. Разумеется, аккаунт на бирже в итоге оказывается фейковым, а вся крипта поступает прямиком на счет мошенников.

Другой распространенный сценарий связан с фейковыми группами со скидками.

Потенциальным жертвам рассылают сообщения типа: «5 тысяч рублей на покупки в Wildberries за подписку на нас в WhatsApp». Человек подписывается на группу, затем робот просит ввести телефон и «код подтверждения для получения сертификата». В погоне за скидкой жертва даже не замечает, что на самом деле вводит код от двухфакторной аутентификации — и в итоге у нее угоняют аккаунт WhatsApp.  

Также с помощью ботов автоматизируют схемы, связанные с романтикой и знакомствами. Классика жанра: симпатичная девушка в чате на сайте знакомств пишет парню, что живет где-нибудь в Лондоне и знакома с банкиром, который готов вложиться в криптовалюту. Якобы уже через неделю это принесет двойной доход. 

Либо еще проще: красотка приглашает на свидание, скидывает ссылку на сайт кинотеатра и просит купить билет на соседнее кресло. Вот только никакого билета нет, и кинотеатра тоже нет. А если пострадавший жалуется в фейковую службу поддержки, там просят внести плату повторно, обещая вернуть деньги чуть позже. 

Если раньше подобную переписку вели люди, то сегодня этим все чаще занимаются чат-боты. Таким образом, воронки продаж обмана существенно расширяются. Мошенник из плоти и крови может одновременно общаться с парой-тройкой потенциальных жертв, в то время как бот — с тысячами. 

Правда, автоматизируя обман, мошенники несколько теряют в убедительности. Жестко запрограммированные боты теряются, если сильно отклониться от заложенного в них сценария, а LLM-агенты легко ведутся на простейший промт-инжиниринг.

Мошенничество с дипфейками 

Еще один новый и чрезвычайно опасный инструмент в арсенале кибермошенников — это дипфейки. Жертвами схем с использованием этой технологии становятся не только отдельные люди, но и целые корпорации. 

Массовый обман

Одни из самых резонансных случаев связаны с копиями знаменитостей. Медийные персоны постоянно мелькают в новостях, участвуют в подкастах и шоу. В результате у мошенников оказываются голосовые записи и видео, по которым можно воссоздать чужой образ.

Так, в 2023 году мы с коллегами готовили выпуск подкаста про то, как «украли личность» известного предпринимателя Дмитрия Мацкевича. 

Однажды утром на него обрушился шквал вопросов о новом инвестиционном проекте: люди уточняли по почте и в мессенджерах, стоит ли вкладываться в его новый проект. Изумленный Дмитрий не мог понять, о чем идет речь. Тогда предпринимателю прислали ссылку на продолжительное видео, где он «собственной персоной» презентует умный алгоритм, работающий на 360% годовых. Мошенники нашли запись реального выступления Дмитрия, сделали дипфейк и начали зазывать жертв, готовых инвестировать свои кровные. Все это выглядело довольно кринжово, и тем не менее многие купились.

Распознавать подобные подделки становится все сложнее. Недавно мне довелось побывать в Казахстане, где я собственными глазами видел фейковый ролик с участием президента этой страны. Глава государства сообщал, что всем гражданам положена часть денег от добычи газа. Ссылка под видео вела на подставной сайт, где требовалось заплатить «налог» для получения выплаты. Сама схема стара как мир, но голос и облик президента были скопированы очень убедительно.

Да что там, недавно в топ YouTube попал стрим конференции, где якобы выступал Илон Маск. Непринужденно прохаживаясь по сцене, он рассказывал о запуске нового криптовалютного проекта. В видео предлагалось отсканировать QR-код, перейти на сайт и отправить биткоины. Нейросетевой Маск пообещал удвоить эту сумму и подарок в придачу. Модераторы YouTube спохватились слишком поздно: к моменту удаления ролик несколько часов провисел в топе, а в кошельке мошенников успела скопиться изрядная сумма.

Классический обман с щепоткой дипфейка

Как правило, отдельных людей атакуют при помощи дипфейков родственников, друзей и знакомых. Еще со времен ICQ существуют «разводы» из серии: «срочно дай денег в долг до завтра, только переведи на эту карту, а то мою заблокировали». Казалось бы, уже никто не поведется обман 30-летней давности, но когда жертве «прилетает» аудиосообщение или даже видеокружок со знакомым человеком, который взволнованно просит о помощи, рука так и тянется к кошельку.

Мы в редакции любим показывать пример с одной девушкой, прочитавшей на камеру письмо Татьяны к Онегину. Мошенники переозвучили видеокружок так, будто она просит перевести 50 тысяч рублей на номер карты.

Другая популярная схема — когда фейковый друг присылает видео или аудио с призывом проголосовать за него в конкурсе, а затем делится ссылкой на фишинговый сайт. Там атакуемого просят авторизоваться через мессенджер. Конечно, для этого нужно ввести логин и пароль или код подтверждения. Вуаля! Мошенник получает доступ к переписке.

Атаки на компании

Обманывая отдельных людей, мошенники могут нанести серьезный вред целой компании. Известен случай, когда сотрудника одной крупной фирмы пригласили на видеоконференцию с участием сразу нескольких десятков дипфейков его коллег. Большинство из них присутствовало для массовки и попросту молчало. Но некоторые вели диалог, обсуждали рабочие вопросы. В какой-то момент дипфейк директора как бы невзначай поручил сотруднику перевести 25 миллионов долларов на счет в гонконгском банке, что тот и сделал.

Борьба щита и меча, или как не стать «мамонтом»

Чтобы успешно противостоять подобным атакам, компаниям предстоит модернизировать организационную культуру. Важно отходить от «телефонного управления» и выстраивать процессы так, чтобы персонал не просто молча выполнял распоряжения, а мог проверить их достоверность и, главное, не стеснялся и не ленился это делать.

Есть и технологические решения. В них сейчас лидируют банки. Для борьбы с дипфейками в финансовых организациях используется технология Liveness — проверка на «живость» звука и изображения. 

Алгоритмы анализируют то, что недоступно человеческому уху: неестественные синусоиды, косинусоиды, повторяющиеся звуковые паттерны. А в случае видео проверяют, как человек двигается, улыбается и проявляет эмоции. Выявляются подозрительные артефакты, блики, размытия, оцениваются тысячи других параметров. Пока что даже самые реалистичные дипфейки не обманывают банковские системы. 

К сожалению, такие инструменты доступны далеко не всем организациям, и вряд ли это изменится в обозримом будущем. Зато мошенники точно продолжат оттачивать свои навыки и на компаниях, и на обычных людях. Вероятно, именно последние окажутся главной жертвой в извечной борьбе «щита и меча». Им остается рассчитывать лишь на свою бдительность.

Я много общаюсь с людьми, которые далеки от информационной безопасности и просто живут своей жизнью. Когда я рассказываю им о нейросетях, они отвечают: «Надо же, прикольно!». Большинство понимают, что можно украсть чужое лицо, но думают, что такие риски их не коснутся. Будто мошенникам интересны лишь знаменитости, а «простых смертных» никто подделывать не станет. Подобные заблуждения порой обходятся очень дорого.

Думаю, в ближайшем будущем нам всем придется стать параноиками. Стандартных мер предосторожности (не говорить никому номера карт, пароли и так далее) уже недостаточно. В мире нейросетевых дипфейков действует золотое правило из шпионских фильмов — «никому не верь».

Так что стоит договориться с близкими о кодовой фразе на случай непредвиденных обстоятельств. Услышав, допустим, «код — розовая обезьяна» (не спрашивайте) вы будете уверены, что сообщение подлинное. Или попробуйте связаться по альтернативным каналам. Особенно если в голосовом сообщении или видеокружке просят «ни в коем случае не звонить».

И помните: нейросети все еще совершают ошибки, поэтому вглядывайтесь и вслушивайтесь в видео. Если человек говорит слишком монотонно, редко моргает, не выражает никаких эмоций или, напротив, переигрывает, все это — повод насторожиться. Мыльная, пикселизированная или сильно кадрированная картинка, отличия в тоне кожи на лице, шее и руках тоже выдают дипфейк.

Будущее в стиле киберпанк

Вот только все эти шпионские игры лишь оттягивают неизбежное. Львиную долю трафика в интернете и так генерируют роботы, а теперь они принялись за контент. Если мы не найдем быстрый и надежный способ отличать нейронки от людей, то вполне возможна реальность в духе Cyberpunk 2077, где интернет стал непригоден для использования. Только там его захватили дикие искины, а у нас замусорят LLM-ки. Заходишь в сеть, а там ни одного человека, только фейковые новости и целая орава ботов, которые пытаются тебя обмануть. 

Знаю, многие на Хабре не любят эту тему. За одно упоминание интернета по паспортам и регистрации блогеров могут закидать помидорами, и не без оснований. Государства, в теории, имеют ресурсы, чтобы централизованно отслеживать достоверность контента и аккаунтов, но quis custodiet ipsos custodes?

Вмешательство «Большого Брата» вызовет резкое отторжение у многих пользователей. Сейчас вот РКН обязал регистрироваться в их системе всех, у кого более 10 тысяч подписчиков. Но у людей нет ощущения, что это все ради верификации авторов и защиты подписчиков. Из-за репутации регулятора люди чувствуют, что это ради контроля и штрафов. По правде, я и сам не уверен, что кто-то в РКН планирует использовать этот реестр как защиту от фейков.

Но уже сейчас активно создаются фейковые профили и нейросетевые двойники звезд и блогеров. В таких аккаунтах месяцами постят фото, продают рекламу, зазывают на разные лохотроны, а потом оказывается, что все содержимое профиля сгенерировано. 

Хорошая новость в том, что для решения этой проблемы вовсе не обязательно привлекать органы интернет-надзора. Например, генерируемый нейросетями контент можно маркировать: в OpenAI уже давно придумали, как сделать это на практике, но с реализацией задумки пока не спешат. Ведь даже если все коммерческие нейросети начнут маркировать контент, ничего не помешает мошенникам обучить собственную работать без маркировки — и все усилия компаний пойдут насмарку. 

Впрочем, если вариант с маркировкой не сработает, отловом фейков могут заняться компании, напрямую заинтересованные в борьбе за подлинность контента. Определенных подвижек в этой сфере уже успела достичь коалиция Content Authenticity Initiative, созданная по инициативе Adobe, но судить о реальной эффективности подобных объединений пока рано. 

Стоит ли отдавать контроль за фейками в сети на откуп корпорациям — вопрос открытый, но такой вариант развития событий выглядит как минимум не хуже, чем сценарий, где попасть в этот самый интернет будет возможно только через Госулуги. Не исключаю, что есть и более разумный выход из ситуации, избавляющий от необходимости чем-то жертвовать и выбирать из двух зол.

А что по этому поводу думаете вы? Предлагаю обсудить в комментариях, как на ваш взгляд выглядит оптимальное решение проблемы.

Кстати, совсем недавно мы выпустили на Хабре текст на смежную тему, в котором рассказали о том, как ИИ применяют в хакинге и реагировании на инциденты.

Хотите узнать, как кибербез будет меняться в ближайшие годы под влиянием LLM? Тогда вам сюда!