Управление перспективных исследовательских проектов Министерства обороны США (DARPA) ищет средства для быстрого обнаружения deepfake в условиях «растущей угрозы крупномасштабных дезинформационных атак».
На прошлой неделе Управление объявило о том, что 28 августа проведёт день соискателей. Цель мероприятия — дать больше информации о программе Semantic Forensics (SemaFor). Программа, по словам DARPA, будет разрабатывать способы обхода некоторых слабых сторон современных deepfake-инструментов.
«Методы обнаружения, которые использовались раньше, часто можно обмануть из-за их ограниченных ресурсов, — говорится в объявлении DARPA. — Однако существующие алгоритмы автоматического генерирования и манипулирования мультимедиа в значительной степени подвержены семантическим ошибкам».
Под «семантическими ошибками» специалисты Управления имеют в виду ситуации, когда в искусственно сгенерированных изображениях допускаются просчёты — например, когда у человека с искусственно сделанным лицом оказываются «несоответствующие серьги» или другие неправильные детали.
«Эти семантические неудачи дают возможность получить преимущество», — говорится в сообщении Управления.
Предварительный график дня соискателей включает в себя брифинги ряда должностных лиц DARPA с учётом выделенного времени для вопросов и ответов участников. Для участия в мероприятии нужна предварительная регистрация.
Это объявление — не первая попытка DARPA нанести удар технологии deepfake. С 2016 года в агентстве работает команда Media Forensics (MediFor), занимающаяся разработками в этой области. Цель работы команды заключается в том, чтобы «выровнять ситуацию на игровом поле цифровых изображений, которая в настоящее время благоприятна для манипуляций, путем разработки технологий автоматизированной оценки изображений или видео». Программа стартовала в 2016 году и будет финансироваться до 2020 года. Дэвид Доерманн, руководитель программы MediFor, заявил NBC News, что после 2020 года команда надеется работать с компаниями Кремниевой долины над интеграцией инструмента непосредственно на своих платформах.
Всего же за последние два года Управление потратило $68 миллионов на разработки, призванные обнаруживать deepfake.
Комментарии (25)
janatem
12.08.2019 23:06+1По-моему, с неправильного конца пытаются решить проблему. Правильнее априори полагать, что любое видео, как и любой текст, может не иметь никакой связи с реальными событиями. Насчет текста это известно людям уже не первое тысячелетие, а вот с видео — действительно что-то новенькое. Стало быть, пусть СМИ и все посредники, если утверждают, что информация достоверна, проверяют свои источники и подписывают каждое звено цепи. Это бы решило многие проблемы, в частности, издания (в том числе чисто текстовые) сами бы отсортировались по желтизне и конкурентно боролись бы за более объективный рейтинг.
SuAlUr
13.08.2019 02:14Правильнее априори полагать, что любое видео, как и любой текст, может не иметь никакой связи с реальными событиями.
Да, правильнее. Но человек существо не полностью рациональное. На фейки/вбросы в интернете до сих пор ведутся.
Dobryak88
13.08.2019 08:50Если мы не доверяем СМИ, то почему мы должны доверять их ссылкам на их источники и самим источникам? Источник может быть так же недостоверным или ссылаться в какой-то части на другой источник. Второй источник сошлётся на какой-то иноязычный ресурс и доказательство будет построено на не совсем точном переводе.
janatem
13.08.2019 12:15Достаточно лишь, чтобы мотивированный дилетант смог пройти по цепочке до конца без существенных затрат. Разумеется, должно существовать последнее звено, которое никуда не ведет, но оно должно ссылаться на конкретные персоналии, перекладывая на них ответственность с распространителей информации.
Norno
14.08.2019 09:24А что делать с источниками, которые СМИ не могут разгласить для их защиты?
Так же остается вопрос анонимных источников, или источников предоставивших данные на условиях анонимности.
Полностью от них отказаться не получится, потому что в ряде случаев люди не могут иначе сообщить важную для общества информацию.janatem
14.08.2019 12:26Это тоже не проблема. Достаточно, чтобы такие источники были явно промаркированы. То есть общий тезис состоит в том, что правильные метаданные рулят. Нужно «всего лишь» стандартизовать эти метаданные и как-то принудить (для лицензируемых СМИ законодательно, для всех остальных — репутационно) публикаторов к тому, чтобы снабжать ими свои сообщения.
Hardcoin
13.08.2019 13:55любое видео, как и любой текст, может не иметь никакой связи с реальными событиями
А вот этому тексту вы доверяете? Если не доверять никакому тексту, то никакой текст нет смысла читать вообще (разве что художественные). А если просто думать, что, возможно, этот текст ложный, то это бесполезно. Ну да, каждый текст возможно немножечко ложный. Что это вам даёт, какие выводы?
Полезно иметь оценку — этот текст наверняка ложный, этот — возможно, а вон тот — вряд ли ложный. Вот такая градация уже может быть полезной.
Для себя я опираюсь на научное сообщество. Если есть несколько исследований, значит скорее всего Х верно. Если исследований нет вообще, то скорее всего Х не верно. С новостями сложнее.
janatem
14.08.2019 12:34В том и смысл: приблизить новостные сообщения к научным статьям. Более общо — построить дополнительный граф отношений на множестве сообщений и авторизованных персоналий. На самом деле даже имеющаяся система в научном сообществе несовершенна и часто справедливо критикуется, то есть там тоже есть над чем работать.
Hardcoin
14.08.2019 18:31У людей нет такой потребности в массе. Они с удовольствием читают и распространяют фейки, например.
Фильтровать для себя — можно. Сделать сообщество — можно (но на хабре в массе тоже потребность в этом не велика, им хватает простой фильтрации).
Приблизить новости к научным статьям — нет, нельзя. Авторы статей не будут это делать и вы никак их не заставите.
netAn
13.08.2019 08:15Надёжнее выработать новый формат видео, с метаданными.
Например, с информацией о глубине. С кучей данных вроде gps, ультразвуке, интерференционной картинки от инфракрасного света.
И, конечно же, персональная цифровая подпись в случае, когда снимают публичную персону.
Главам государств ничего не мешает обменяться публичными ключами для верификации официальных заявлений.
sidristij
13.08.2019 09:36А давайте запретим Photoshop, чтобы не было фотожаб )))
OnelaW
13.08.2019 10:15Тут наверное не в фотожабе дело, а в том что стараниями журнализдов и пропогандистов всех мастей, фактами становятся не то, что было в реальности а то что могли лицезреть миллионы. Смастерить видосик про «свинью» и написать краткую аннотацию что так и было вы реальности и всё. Они боятся что этим инструментом уже умеют пользоваться миллионы.
achekalin
13.08.2019 12:27Американское Минобороны уже ловили за руку, как они подделывают кадры разведки или с места боев, чтобы прикрыть свои неудачи и объяснить, что это были не мирные жители, а самые настоящие террористы — притом тема старая, еще в Югославии они уже кормили журналистов «правдивой» кинохроникой.
Теперь же удивляются, что и другие, оказываются, подделками умеют заниматься. Странно, но разведки всех стран уже давно (десятки и сотни лет) работают с информацией, априори предполагая, что у них в руках — деза, и находя способы просеивания лжи в поисках крупинок правды. В DAPRA, что, привыкли верить всему, что видят?
Хотя, конечно, судя по кино, где Главный Генерал, подтянутый и в форме, говорит патлатому комьютерщику «сынок, увеличь-ка!», и на экране из группы в 8 точек медленно проступает контур Самого Главного Террориста (и Генерал тут: «Вот, вот он, негодяй, отправить Самую Главную Спецгруппу его захватить!»), то в DAPRA хотят на каждый свой телевизор поставить кнопку «отсей ложь!», которая 100% точно скажет, что на экране показано.
Интересно, в DAPRA не против, чтобы такая кнопка была и на каждом телевизоре в мире? Чтобы и поделия пиарщиков Минобороны юзеры бы сразу отличали от правды?OnelaW
13.08.2019 16:15Интересно, в DAPRA не против, чтобы такая кнопка была и на каждом телевизоре в мире? Чтобы и поделия пиарщиков Минобороны юзеры бы сразу отличали от правды?
Вот как раз против и этого больше всего боятся.
mat300
Не проще ли постараться искать оригинал конкретного deep fake? И предъявить этот оригинал. Человеки сразу поймут где что, без компьютерного анализа. Фейк всегда делается на базе чего-то существующего.
FrostSol
В случае какой-либо серьезной «атаки», заготовку для фейка могут снять специально, подобрав освещение, организовав схожую локацию (с тем материалом с которого берется лицо) и т.п. Можно достичь по настоящему ужасающих по своей правдоподобности результатов.
mat300
Если так, то это уже полноценная инсценировка с элементами компьютерной графики, в т.ч. ИИ графики. Так можно любое кино снять, с кем угодно в главной роли.
На это есть один выход — не верь глазам и ушам своим. Ни при каких условиях. Ибо мир изменился.
Dr_Faksov
От серьёзной атаки остаютя серьёзные следы. Организовать съёмкии и сделать наложение на компьютере — задачи принципиально различные по заметности.