Представьте, что вы смотрите музыкальный клип, в котором каждая сцена, каждый персонаж и каждое движение камеры созданы искусственным интеллектом. Звучит как научная фантастика? Что ж, будущее уже наступило. Встречайте The Hardest Part - первый в истории музыкальный клип, полностью сгенерированный нейросетью Sora от OpenAI.

Этот новаторский проект - плод совместных усилий инди-музыканта Washed Out (настоящее имя - Эрнест Грин) и режиссера Пола Трилло. Клип на песню “The Hardest Part” демонстрирует впечатляющие возможности генеративных моделей в создании реалистичных и захватывающих визуальных образов. Но как именно работает эта технология, и какое влияние она окажет на индустрию развлечений? Давайте разберемся.

Под капотом Sora: Как нейросеть создает видео

Примечание: Следующее описание основано на рассуждениях Итана Хи (Ethan He), исследователя ИИ из NVIDIA, бывшего сотрудника FAIR и выпускника CMU, с более чем 6000 цитирований и 5000 звезд на GitHub. Оригинальная статья доступна на LinkedIn Pulse. Реальные технологии являются коммерческой тайной OpenAI и еще не были обнародованы.

Предполагается, что в основе Sora лежит DiT (диффузионный трансформер) - архитектура, которая использует возможности масштабирования трансформеров наряду с итеративным процессом уточнения диффузионных моделей, я уже рассказывал про AnimateDiff, который позволяет генерировать видео на моделях Stable Diffusion, тут этот принцип многократно улучшен.

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Схема работы диффузионного трансформера

Трансформеры известны своей эффективностью в обработке последовательных данных и обеспечивают надежную архитектуру для моделирования временной динамики видео. Процесс диффузии, в свою очередь, итеративно уточняет выходные данные, начиная с зашумленного начального состояния и двигаясь к желаемому видеовыходу, повышая качество и согласованность сгенерированных видео.

Для сжатия видео Sora использует векторный квантованный вариационный автоэнкодер (VQ-VAE) на основе трехмерной сверточной нейронной сети (3D CNN). Эта архитектура сети состоит из энкодера, который уменьшает размерность визуальных данных до скрытого пространства, и декодера, который реконструирует видео из этого сжатого представления.

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Схема работы VQ-VAE для сжатия видео

Использование 3D CNN позволяет захватывать временную динамику видео, что важно для создания согласованного и плавного движения в сгенерированных клипах. Симметричная конструкция энкодера и декодера обеспечивает эффективное сжатие и реконструкцию видео, сохраняя высокую точность исходного контента.

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Процесс обучения Sora

Во время обучения к видеотокенам добавляется случайный шум. Трансформер получает на вход текстовое условие, временной шаг диффузии и зашумленные видеотокены.

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Генерация видео из изображения

Универсальность Sora распространяется на различные приложения, включая анимацию статических изображений и создание идеально зацикленных видео. Анимация статического изображения достигается путем кодирования изображения как первого токена и использования шума для остальных токенов. Для создания бесшовно зацикленных видео Sora обеспечивает идентичность первого и последнего токенов на каждом шаге диффузии, улучшая эстетическую привлекательность сгенерированного контента.

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Генерация видео из изображения

Одним из самых замечательных аспектов Sora является ее способность демонстрировать такие возникающие возможности, как 3D-согласованность и постоянство объектов, без явного программирования. Традиционно для достижения 3D-согласованности в сгенерированных видео требовались специальные функции потерь. Однако Sora показывает, что при масштабировании эти возможности могут возникать естественным образом, позволяя генерировать видео, точно имитирующие реальную динамику и взаимодействия.

Таким образом, Sora представляет собой значительный скачок в области генерации видео с помощью ИИ, объединяя несколько передовых технологий для создания высококачественных видеороликов из текстовых описаний.

Создание клипа “The Hardest Part”: Сложности и уроки

Несмотря на впечатляющий результат, процесс создания клипа The Hardest Part с помощью Sora был далеко не простым. Режиссеру Полу Трилло пришлось сгенерировать более 700 видеофрагментов, чтобы отобрать из них 55 лучших для финального клипа. Каждый фрагмент требовал детального текстового описания, учитывающего не только визуальные элементы, но и движения камеры, ракурсы и действия персонажей.

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Без динамики сцены смотрятся откровенно странно

“Мы пролетаем сквозь пузырь, он лопается, мы пролетаем сквозь жвачку и выходим на открытое футбольное поле”, - так Трилло описывал одну из сцен клипа.

Пока у Пола Трилло был доступ к Сора он так же сделал промо заставку для TED Talks, со столь полюбившимися ему пролетами камеры. Как по мне, получилось интереснее чем в клипе.

Этот опыт показывает, что даже с использованием передовых алгоритмов ИИ создание качественного видеоконтента требует значительных усилий и творческого подхода. Сора, безусловно, открывает новые возможности, но она не заменяет человеческий талант, а дополняет его.

Барьеры на пути к массовому использованию

Несмотря на огромный потенциал Sora и подобных технологий, их широкое применение в индустрии развлечений пока сталкивается с рядом препятствий. Главным из них является высокая стоимость генерации видео.

Для создания согласованных и реалистичных видеопоследовательностей Sora требуется огромное количество вычислительных ресурсов и объем памяти. По оценкам экспертов, генерация даже короткого клипа может обходиться в сотни или тысячи долларов. Для сравнения, другие мультимодальные модели, такие как LLaVA и CogVLM, которые работают только с изображениями и текстом, уже требуют существенных затрат на GPU и электроэнергию.

Еще одним барьером является вопрос авторских прав и интеллектуальной собственности. Модели вроде Sora обучаются на огромных массивах видеоданных, принадлежащих различным правообладателям и в том числе открытых. Использование сгенерированного ИИ контента в коммерческих проектах может привести к юридическим спорам и конфликтам интересов.

OpenAI и Голливуд: Стратегия внедрения

Первый музыкальный клип, созданный нейросетью Sora от OpenAI, революция или баловство? Искусственный интеллект, Нейронные сети, Будущее, Видео, Видеомонтаж, Музыка, Клип, Openai, Фильмы, Компьютерная графика, YouTube, Без звука, Длиннопост
Сгенерированный Сэм Альтмен на фоне сгенерированных голливудских холмов

OpenAI, разработчик Sora, активно продвигает свою технологию в киноиндустрии. В марте 2024 года генеральный директор компании Сэм Альтман и другие представители провели серию встреч с голливудскими студиями, режиссерами и продюсерами. Цель этих встреч - найти партнеров для дальнейшего развития и внедрения Sora в кинопроизводство.

Для крупных киностудий использование генеративных моделей может означать существенное сокращение затрат на производство визуальных эффектов и ускорение процесса создания фильмов. OpenAI рассчитывает, что партнерство с Голливудом поможет не только улучшить Sora, но и продемонстрировать ее возможности широкой аудитории.

Однако не все в киноиндустрии разделяют энтузиазм по поводу внедрения ИИ. Многие актеры, режиссеры и другие творческие работники опасаются, что генеративные модели могут лишить их работы и нивелировать ценность человеческого таланта. Поэтому OpenAI предстоит найти баланс между технологическим прогрессом и интересами профессионального сообщества.

Sora и будущее развлечений

Первый музыкальный клип, созданный с помощью Sora, - это лишь начало большого пути. По мере развития генеративных моделей и снижения стоимости их использования, мы увидим все больше примеров применения ИИ в киноиндустрии, музыке, видеоиграх и других сферах развлечений.

Однако важно помнить, что технологии вроде Sora - это инструменты, а не замена человеческого творчества. Они открывают новые горизонты и позволяют воплощать самые смелые идеи, но за каждым успешным проектом по-прежнему стоят талантливые люди - режиссеры, сценаристы, художники и многие другие.

Первая короткометражка сделанная в Sora называется Air Head by Shy Kids

Будущее индустрии развлечений - это симбиоз творчества и технологий, в котором ИИ дополняет и усиливает человеческие способности. И клип “The Hardest Part” - это лишь первый шаг на пути к этому будущему.

А что вы думаете о потенциале генеративных моделей вроде Sora? Как они повлияют на индустрию развлечений и творческие профессии? Поделитесь своим мнением в комментариях!

Я рассказываю больше о нейросетях у себя на YouTube, в Телеграм и на Бусти. Буду рад вашей подписке и поддержке. Всех обнял.

Комментарии (14)


  1. SetGet
    04.05.2024 14:05
    +1

    Это на каких его видосах учили что там курят траву, или это так там распространено что нормальных видео не хватает.


  1. opusmode
    04.05.2024 14:05
    +1

    Ну, типа, с точки зрения технологичности выглядит вполне прилично. Не сказали бы, что ИИ, можно было бы вполне поверить, что это живые съёмки, в таком стиле.

    Вопрос только в том, что пыталась рисовать нейросеть и сколько на это ушло ресурсов и как этим можно манипулировать. Т.е. окей, нейросети не вчера появились, люди уже знают, что они умеют давать качественные изображения. Уже не новость, и то, что можно что-то анимировать. Вопрос другой - насколько можно влиять на меткриал. Т.е. вот не понравилась мне часть с 11 по 23 секунду, хочу поменять - нейросеть может качественно сгенерировать и встроить кусок, без потери контекста? Помнится с обычными артами были проблемы


  1. Octabun
    04.05.2024 14:05

    А что вы думаете о потенциале генеративных моделей вроде Sora?

    Потенциал велик. Повторять уже сделанное и собирать куски старого в комбинаторное новое - уже неплохо получается, а будет получаться отлично. А как станет дешевле, так будет индивидуальное обучение. Типа просыпаешься в 4 утра и говоришь - модель, расскажи мне сказку чтобы я до шести плакал, потом до полудня спал, а в три часа пошёл на переговоры и умудрился отспорить 7% от инвестиций. И модель рассказывает.

    Однако важно помнить, что технологии вроде Sora - это инструменты, а не замена человеческого творчества.

    и

    Как они повлияют на индустрию развлечений и творческие профессии?

    Как раз потому что не обязательно инструменты, очень даже повлияют. Мы это уже много раз проходили. Например, с музыкой - слушатели делятся на тех что рады пожатому звуку и тех, кто нет. Соответственно творцы - одни жмут динамический диапазон, другие - нет. А до того аналогичное деление (господа гусары, про зёрна и плевелы не вспоминам) проходило через звукозапись и живой оркестр.

    Как только к ним контингент приучат, очень даже станут заменой.


    1. Wesha
      04.05.2024 14:05

      уже неплохо получается, а будет получаться отлично.

      Обещалкин, ты?!?!!!


  1. inoonwt
    04.05.2024 14:05

    Неужели настанет время когда можно будет в 1 лицо снять полноценный фильм? Не выходя их дома.


    1. Emulyator
      04.05.2024 14:05
      +2

      Только смотреть его никто не будет, как сейчас, сгенерированные картинки уже почти не привлекают внимания. Лишь на короткий период освоения массами можно будет побороться за внимание зрителей.


    1. qw1
      04.05.2024 14:05

      Ну, ютюб уже забит сгенерированными песнями.
      Грузишь стихи (можно попросить сгенерить у чатГПТ), указываешь стиль и всякие параметры (скрорость, ритм). Один клик, и готово.

      https://www.youtube.com/watch?v=d7YRjp8-MZ0
      https://www.youtube.com/watch?v=nvSgkiSHe1s
      https://www.youtube.com/watch?v=8LJ1E-VCq-s


      1. Kergan88
        04.05.2024 14:05

        Ну пока что на генерацию несколько часов минимум уходит плюс постобработка (опционально). Так что далеко не один клик. Но через несколько лет уже будет достаточно бодро, да.


  1. arseniy2
    04.05.2024 14:05

    Однако важно помнить, что технологии вроде Sora - это инструменты, а не замена человеческого творчества. 

    Однако то что мы видим в результате видео - именно замена работы и творчества


    1. MainEditor0
      04.05.2024 14:05

      Тссс, не пали контору...


      1. Wesha
        04.05.2024 14:05
        +1

        Осталась самая мелочь — воспитать потребителя, который будет считать, что это не серое кладбИщениское угробище, а стильно, модно, молодёжно. А то нас, старперов, с этого АИшного кино билювать тянет.


  1. andrewilife
    04.05.2024 14:05

    Примерно так выглядит путь домой из ночного клуба


  1. Vovfik
    04.05.2024 14:05
    +1

    А дальше, дальше мир поменяется, возможно крайне кардинально, ведь представьте, что в мире появилось бесконечное колличество золотых слитков. Как это повлияет на мировую экономику? Так же и с избыточным количеством контента. Он перестаёт интересовать.