ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров
ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров

Согласитесь ли вы со мной, если я скажу, что наступает эра фейковых блогеров?

По правде говоря, она уже наступила.

Согласно исследованию Influencer Marketing Hub, 31,7 % брендов считают, что виртуальные блогеры имеют преимущество перед реальными. Еще 29,1 % назвали их круглосуточную доступность самым большим преимуществом.

Сегодня существуют ИИ-платформы, позволяющие создавать образы привлекательных женщин и генерировать реалистичные видеоролики с их участием. Некоторые из них даже являются бесплатными.

Однако, судя по моему личному опыту, сгенерированные видеоролики с людьми по-прежнему не отличаются реалистичностью. Большинство, если не все, видеомодели по-прежнему испытывают трудности с согласованностью движений.

Недавно Гонконгский университет официально представил модель для генерации видео Goku, разработанную в сотрудничестве с ByteDance. Эта новая видеомодель позволяет создавать максимально реалистичные видеоролики в стиле видео для Tik Tok, в том числе и для создания видеороликов с ИИ-блогерами.

Что такое Goku?

Goku - это семейство моделей, построенных на архитектуре Rectified flow transformers и предназначенных для генерации изображений и видео.

Goku поддерживает множество задач по генерации:

  • ? Генерация видео по текстовому запросу

  • ? Генерация видео из изображений

  • ? Генерация изображений по текстовому запросу

У Goku есть еще одна разновидность под названием Goku+, которая позволяет напрямую создавать видео с виртуальными людьми.

ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров
ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров

Она даже создает видео длительностью более 20 секунд, с естественными движениями рук и очень выразительной мимикой и движениями тела.

Взгляните на эти примеры:

ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров
ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров

Чтобы гарантировать, что Goku создаст высококачественное видео, модель обучается на наборе данных, который является визуально привлекательным, контекстуально релевантным и разнообразным.

Конвейер обработки данных состоит из пяти основных этапов:

  1. Сбор изображений и видео

  2. Извлечение и обрезка видео

  3. Фильтрация изображений и видео

  4. Создание надписей

  5. Балансировка распределения данных

ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров
ByteDance представила ИИ-модель для генерации видео Goku. Наступает эра фейковых блогеров

Более подробную информацию о технических деталях вы можете найти в этом техническом документе.

Примеры использования

В приведенные ниже примерах демонстрируются возможности Goku+:

  • 1. Рекламный ролик

  • 2. Взаимодействие продукта и человека

  • 3. Превращение изображения продукта в видеоклип

  • 4. Видео по текстовому промпту

Пример №1: Рекламный ролик

Этот ролик от Goku+ идеально показывает потенциал создания рекламных видео для бьюти-индустрии. Меня впечатлило то, как точно авторам видео удалось отразить всю основную “энергетику” TikTok. Все кадры прямо пропитаны той самой эстетикой, которая полюбилась многим пользователям популярных соцсетей.

Итак, интересный вопрос остается относительно происхождения обучающих данных модели. Действительно ли команда разработчиков Goku просто использовали миллионы роликов из TikTok? И получили ли они согласие авторов этого контента? На данный момент на эти вопросы нет ответов.

Пример № 2: Взаимодействие продукта и человека

Наконец, хотелось бы отметить интересные результаты второго примера. Взаимодействие сгенерированного персонажа с продуктом необычайно естественное. В некоторых моментах кажется, будто ты просто смотришь обзор от знакомого блогера. Каждое движение и каждый жест выглядит очень органично, поэтому трудно поверить, что этот контент не снят, а сгенерирован. Такой уровень естественности сейчас крайне востребован в маркетинге и рекламе.

Задумайтесь о том, чтобы использовать ИИ-блогера в качестве продавца вместо вас. Он может стать хорошим помощником, тем более когда ваши время ограничено.

Пример № 3: Видеоклип из изображения продукта

Среди всех возможностей Goku+ особенно хочется выделить полезную функцию, с помощью которой вы можете превращать обычные фотографии вашего товара в динамичные видеоролики. Представьте только: вместо того чтобы тратить время и ресурсы на аренду полноценной съемочной площадки, выбор освещения и многочасовые съемки, вы просто загружаете в Goku+ качественный снимок вашего продукта, а он добавляет легкие, почти неуловимые движения, играет с деталями и создает захватывающий видеоконтент, который притягивает внимание зрителя.

Это огромная экономия времени, особенно для онлайн-продавцов, которым быстро нужен динамический контент. Однако сохранит ли Goku+ этот уровень соответствия эталонному изображению, еще предстоит выяснить.

Пример № 4: Генерация видео по текстовому запросу

А теперь обратите внимание, как Goku+ генерирует видео по простому текстовому промпту. Модель генерирует видео, которое выглядит как сцена из популярного корейского телешоу.

Промпт: Two women are sitting at a table in a room with wooden walls and a plant in the background. Both women look to the right and talk, with surprised expressions.

Могут ли Goku+ когда-нибудь использовать в производстве телешоу? Это, конечно, вызовет множество споров.

Как получить доступ к Goku?

В данный момент Goku в стадии исследовательской работы, поэтому у него пока нет сайта. Следите за страницами разработчиков на GitHub и HuggingFace, чтобы не пропустить будущие обновления.

Goku+ впечатляет - видеоролики с примерами выглядят просто фантастически. Но это лишь отдельные примеры, а реальную картину мы узнаем только после публичного релиза. Когда мы увидим его в действии для всех видов контента, мы получим реальное представление о том, действительно ли он может обеспечить стабильную и высококачественную производительность.

Комментарии (13)


  1. lsarkisyan2000
    13.02.2025 22:07

    с таким дата сетом они могут это сделать


  1. sunsexsurf
    13.02.2025 22:07

    «Мертвый интернет» не просто ближе и ближе, а уже почти под носом


    1. saege5b
      13.02.2025 22:07

      Уже наступил конец "лёгкой" биометрии.

      Да и видео доказательства особо ими уже не являются.


  1. Deosis
    13.02.2025 22:07

    Модель следующего поколения будет называться Songoku?


    1. NeyroEntuziast Автор
      13.02.2025 22:07

      Возможно)


  1. DenSigma
    13.02.2025 22:07

    Пора уже вводить закон об обязательной маркировке/плашке на видеоизображении - надписи, что это видео сгенеривано, и каким генератором. И обязательная галочка в ютубе, да и везде, о возможности отключения просмотра сгенерированных изображений.

    Правда, фирмы могут вставлять пару кадров с натуры для обхода этого правила.


  1. qiper
    13.02.2025 22:07

    Зальём нейропомоями интернет!


    1. NeyroEntuziast Автор
      13.02.2025 22:07

      Заливайте)


  1. Kuzmin_seo
    13.02.2025 22:07

    Да, моделям уже не надо платить и тратить время на съемки


  1. Yan_Yan
    13.02.2025 22:07

    Интересно, что теперь это обман в квадрате. Если раньше просто покупали блогера чтобы он рассказал какой хороший этот продукт и как все замечательно, но при этом он мог хотя бы попробовать его и намазать на щачло, то теперь возвели в степень. Только вдумайтесь — это же рассказывать о продукте даже не попробовав его, виртуальная виртуальность. Чем это хуже рекламы? Тем что активно мимикрирует под настоящую жизнь и UGC.
    И вот эти помои будут везде: мы уже видим это в 95% статей на хабре(тошнотные картинки и низкокалорийный текст), в ютубе(фейковые видео о новинках), в инстаграме (смищные видео и фейки). Мертвый интернет.


    1. NeyroEntuziast Автор
      13.02.2025 22:07

      Да, и от этого уже никуда не деться...


  1. Mishootk
    13.02.2025 22:07

    Хочу эксперимент. ИИ сканирует горячие темы обсуждений на тематических ресурсах, сам собрав обобщенный актуальный вопрос дня формирует по нему ответ в тексте, на его основе делает запрос на генерацию видео и запиливает очередной блогерский видосик. Суть эксперимента - максимальная автономность, т.е. без какой либо коррекции человеком. Дообучать можно, вмешиваться в результат нельзя. Можно выпустить пошалить в разные тематики - для девочек, для мальчиков, по тряпочкам, по машинкам, по инструментам, по продуктам... Прикиньте, пост будет "анбоксинг сепулькатора с алиэкспресса".


    1. NeyroEntuziast Автор
      13.02.2025 22:07

      Пока без участия человека получится так себе