Друзья, всем привет, сегодня я научу вас как создавать шикарные мемные гифки с вашим лицом с помощью дипфейк нейросети FaceFusion.

Все мы любим гифки, они веселые, эмоциональные, у каждого из нас в телеграме сохранена добрая пачка таких анимаций из любимых фильмов и сериалов.

Но что, если вы сами будете главным героем этих сцен? Я попробовал и мне очень понравилось, уверен, что к концу этой статьи вы тоже захотите пак собственных уникальных гифок. Приступим к магии.

Нам понадобится приложение FaceFusion, вы можете скачать его из официального гита разработчика , но установка мягко говоря геморойная. Есть версия для Google Collab.

Я использую локально портативную версию FaceFusion от моего товарища с канала Neurogen, так же советую поступить и вам, архив достаточно распаковать в любую удобную папку, больше ничего не требуется. Важно: в путях и названиях файлов не должно быть кириллицы!

После распаковки, кликаем start_portable_nvidia.bat

Откроется окно терминала, дождитесь пока в нем появится строка Running on local URL: http://127.0.0.1:7860, выделите адрес, скопируйте нажав ctrl + c, вставьте в адресную строку вашего браузера. Готово

А почему нельзя было сделать, чтобы адрес открывался сам? Ответ вы знаете.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

Вот так все это выглядит, но пугаться не стоит, все достаточно просто, сейчас расскажу.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

Поскольку мы будем работать с гифками, они как правило имеют низкое разрешение, поэтому ставим все три галочки. Они позволяют отдельно использовать разные компоненты, замену лица, улучшатель лица и улучшатель кадра. Но вы имейте ввиду, что каждый компонент можно запускать отдельно, например, чтобы только улучшить видео, без замены лица.

Дальше у нас идут настройки потребления ресурсов. И они вот вообще не очевидные.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

Если у вас видеокарта NVidia, то поздравляю, все пройдет легко и безболезненно. Мои настройки для видеокарты RTX 4090 на скрине выше, если у вас карта по слабее, просто понизьте все настройки в два раза и повышайте понемногу, пока не начнут появляется ошибки Out of memory. Выявить максимальные настройки для лучшего быстродействия можно только экспериментальным путем.

Если у вас слабая видеокарта, можно попробовать режим CPU, но это будет значительно медленное чем на хорошем видеоадаптере.

Дальше идут настройки сохранения временных кадров и видео.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

Тут все просто, ползунки ставим на 100, остальное можно не трогать. Галки внизу отвечают за поддержание того же фпс, как в оригинале, следующая за сохранение скорости видео, и последняя позволяет пропустить аудио и не добавлять его в итоговый файл. Идем дальше.

В центре страницы три больших окошка, в первое - Source мы загружаем наше лицо, ну или то лицо, на которое будем менять.

Второе - Target, это видеофайл с которым мы работаем.

Третий - Output появится по завершению работы программы.

В OUTPUT PATH указываем адрес папки сохранения итоговых видео.

Теперь самое интересное, настройка замены лиц, ведь менять можно как все лица в видео на одно и тоже, так и только определенные. Для примера я выбрал отрезок из известного художественного фильма.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

В Preview мы уже видим предпросмотр того, что получится, навигация по кадрам осуществляется с помощью ползунка PREVIEW FRAME.

С помощью ползунков TRIM FRAME START и END можно обрезать начала или конец видео. Но это еще не все, дальше будет блок с анализом и заменой лиц.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост
Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

У нас есть два режима замены лиц, режим many - заменит все лица в кадре, но вы можете указать пол и возраст лиц, которые будут проанализированы с помощью FACE ANALYSER AGE и FACE ANALYSER GENDER, например так можно менять только лица взрослых мужчин. Но работает это не идеально, бывают сбои.

В режиме reference мы мы двигаем ползунок PREVIEW FRAME и кликаем на те лица, которые нужно заменять в REFERENCE FACE. Если в процессе видео лицо которое мы заменяем перемещается в кадре слишком сильно или пропадает - отслеживание может сбиваться, поэтому прокрутите ползунком все кадры и проверьте везде ли лицо определяется правильно.

Единственное что я так и не понял, это как снять выделение у уже выбранного лица, можно только переключить на другое. Поэтому если в кадре несколько лиц и одно потом исчезает из кадра, то самое которое мы заменяли. То, чтобы алгоритм не перепрыгнул на соседние лицо автоматически можно отрегулировать REFERENCE FACE DISTANCE, это расстояние до лица, лица которые ближе или дальше будут игнорироваться. Это легко подобрать опытным путем ориентируясь на превью.

Вроде разобрались. Ура, у нас все готово к работе, но где взять сами гифки?

Мне понравились сайты giphy.com и gifer.com, тут без особых сложностей можно найти любую гифку и зачастую они идеально закольцованы.

Найдите гифку которая нравится, кликайте на неё правой кнопкой мыши и выбирайте сохранить видео, так анимация сохранится в формате mp4, и работать с ней будет немного удобнее чем с gif.

Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей Искусственный интеллект, Нейронные сети, Видеомонтаж, Гайд, Компьютерная графика, Анимация, Мемы, Deepfake, Вертикальное видео, Face swap, Видео, Без звука, Гифка, Длиннопост

Ну а как действовать дальше вы уже знаете, запускаете и уже буквально через минуту получаете гифку с вашим лицом.

Что будет работать плохо или не будет работать вообще?

  • Если лицо в кадре не полностью, или слишком близко, обрезан лоб или подбородок, такие лица чаще всего плохо определяются или не определяются совсем.

  • Лица на которых есть очки будут заменяться плохо, особенно если на вашем фото очков нет. Кадры где что-то закрывает лицо, например рука или какие-то объекты, тоже будут давать артефакты.

  • Быстрые смены ракурса, плохое освещение, дым, вспышки, могут приводить к артефактам.

  • Лицо с бородой заменять на лицо без бороды, тоже плохая идея, касается и лысых.

  • Естественно лицо белого гетеросексуального мужчины средних лет плохо ляжет на персонажа другой расы, телосложения, гендера и, возможно, ориентации.

Где еще взять классные гифки для экспериментов? Конечно в телеграм, и они сразу в удобном формате mp4, сохраняйте и экспериментируйте.

К сожалению любимые всеми анимированные гаччи стикеры не подойдут, их придется пере конвертировать из формата webm в mp4. Я для этого использую бесплатный онлайн конвертор загрузите в него скаченный из телеги анимированный стикер и на выходе получите мп4, с которым уже можно работать.

Сконвертировать mp4 в гифки, если они вам по какой-то причине нужны, можно там же на сайте в секции MP4 в GIF. Большинство мессенджеров и социальных сетей сами переводят короткие мп4 без звука в гиф, и проигрывают автоматически.

Друзья, а на этом у меня все, теперь вы знаете как создать классные мемные гифки со своим лицом с помощью DeepFake нейросети FaceFusion и станете грозой всех чатов и комментариев.

Но помните, что только на вас лежит ответственность за использованием таких технологий, не применяйте их во вред, соблюдайте нормы этики и морали и просто будьте людьми.

Скидывайте то что у вас получится в наш чатик и в комментарии, а если что-то осталось непонятно, то приходите на стрим, разберемся, ближайший пройдет уже в пятницу, 13 октября на Бусти в 20:00, вход как и всегда свободный.

А в следующий раз расскажу как можно создавать вот такую уникальную анимацию самому, а не использовать готовые гифки, а потом наложить сверху свое лицо.

Еще я рассказываю про нейросети у себя на YouTube, в телеграм, на Бусти, подписывайтесь, будет интересно.

Комментарии (6)


  1. GritsanY
    13.10.2023 11:43

    По ссылке в telegram fasefusion всё-таки недостаточно, видимо, портативный, так как ругается батник при запуске на отсутствие файла pyvenv.cfg в "c:\users\user\venv\"


    1. timonin Автор
      13.10.2023 11:43

      Возможно архив с репаком не докачался, еще слышал пару отзывов о том, что помогло отключение дефендера или антивируса.


    1. Squoworode
      13.10.2023 11:43
      +1

      Заглянул внутрь батника - там читают venv\pyvenv.cfg. Если у вас распаковано не в c:\users\user\, то, наверное, при запуске случилось что-то непредвиденное с текущей папкой...


  1. kovalensky
    13.10.2023 11:43
    -2

    Thank you, sir!


  1. InfluxOW
    13.10.2023 11:43

    Штука клёвая, немного пощупал и в целом остался доволен результатом, хотя есть и нюансы.

    Установка вполне понятная, как мне кажется. Всё расписано по шагам, я с первого раза установил.

    Но я так до конца и не вкурил, какие значения параметров нужно ставить. У меня 4080, но Thread Count пришлось в 2 раза уменьшить, чтоб всё работало. Хотя бегало всё равно довольно шустро и гораздо быстрее, чем я ожидал.

    если у вас карта по слабее, просто понизьте все настройки в два раза и повышайте понемногу, пока не начнут появляется ошибки Out of memory

    Месяца полтора-два назад вышли драйвера, где добавили возможность использования RAM в качестве VRAM. В общем, если ты выходишь за пределы своей VRAM, то у тебя может не вылезти ошибка, а просто процесс очень сильно замедлится. Пока я тестировал, у меня так и было. А возможности прервать процесс, кроме как закрыв терминал, нет :) Неудобно.

    Ещё мне показалось, что с Face Enchancer и Frame Enchancer результаты получаются хуже. Может быть, я использовал слишком шакальные гифки, но когда эти манипуляции происходили, аутентичность пропадала целиком.

    И ещё у меня почему-то вообще никак не обрабатывались gif файлы. А из mp4 многие просто не хотели сохраняться, несмотря на то, что в превью лицо заменялось. Короче, где-то с 40% файлов какие-то неоднозначные проблемы возникали.

    Короче, инструмент клёвый, но как будто ещё немного сырой.