Привет, друзья! За год нейросети для создания видео настолько усовершенствовались, что теперь можно генерировать видео сразу со звуком и разговорами. В этой подборке нейросетей для генерации видео я собрал наиболее популярные и функциональные генераторы видео. Для удобства я пронумеровал их.

Некоторые из них более мощные, некоторые более удобные, а некоторые - просто проще в использовании. Я также приведу реальные примеры, расскажу, как получить к ним доступ, и выскажу свои мысли после тестирования каждой из них.

1. Veo 3

Veo 3 - это новейшая и самая мощная нейросеть от Google. Она не просто генерирует реалистичные видео - она генерирует видео в высоком разрешении, лучше понимает физику, у нее хорошая согласованность и встроенная поддержка генерации голосов, звуков и т. д.

Вы можете попробовать нейросеть Veo 3 в Google Flow, Gemini App, Vertex AI или у сторонних поставщиков API, например, Fal AI или Replicate.

Если же у вас, как и у меня, нет лишних $250, то можно попробовать нейросеть Veo 3 в этом телеграм-боте.

Вот пример видео и текстовый промпт, по которому оно сгенерировано:

Промпт: Действие происходит в советском городе. Молодой парень с микрофоном в руке подходит к прохожим и задаёт вопрос на русском языке: «Здравствуйте, а вы верите в нейросети?», люди, идущие ему навстречу, к которым он протягивает свой микрофон, отвечают «нет». По дороге едут старые советские автомобили марок Жигули, Волга, ГАЗ. В конце мужчина останавливается и говорит в микрофон: «Если никто не верит в нейросети, я тогда откуда?» Все персонажи в сцене – русские и говорят исключительно на чистом русском языке, без акцента и иностранных вкраплений. Речь всех действующих лиц должна быть естественной русской речью. Убедись, что весь диалог и любой закадровый голос ведется на русском языке. Важно: без субтитров , весь диалог произносится вслух.

• Никаких субтитров.

• Никаких закадровых голосов.

• Все персонажи говорят только на чистом русском языке, без акцентов, англицизмов, или иностранных слов.

• Речь — естественная, живая, с паузами, эмоциями и нормальной интонацией.

• Камера немного дрожит, словно сцена снята на телефон.

Персонаж видео произносит реплики, указанные в промпте.

Один из самых больших минусов нейросети Veo 3 - ее безумная дороговизна. У вас должен быть оплачен тарифный план Google AI Ultra, который стоит целых 250 долларов в месяц. Это ограничивает возможности большинства инди-творцов и любителей.

К счастью, в Google Flow есть опция Veo 3 Fast и бесплатные 1 000 кредитов при регистрации. 8-секундный видеоклип стоит 100 кредитов, так что вы можете создать 10 видеороликов с помощью Veo 3 бесплатно.

Если вы создаете видеоконтент высокого класса и располагаете достаточным бюджетом, это, вероятно, лучший инструмент. Но для большинства людей Veo 3 - это скорее «смотри, но не трогай».

2. Luma AI

У нейросети Luma AI - самый красивый пользовательский интерфейс из всех инструментов в этом списке. Анимация, градиенты и скорость работы делают весь процесс очень приятным.

Чтобы начать работу, перейдите на сайт и создайте бесплатный аккаунт.

Генерировать видео в нейросети очень просто. Просто введите описание видео, которое вы хотите сгенерировать, в поле запроса и нажмите клавишу Enter. Также вы можете поиграть с меню настроек, чтобы изменить результат.

Одна из самых интересных возможностей нейросети Luma от Dream Machine заключается в том, что она может генерировать видео на основе эмодзи. Смотрите пример ниже:

Промпт: ?‍?

Также нейросеть отлично работает с рендерингом текста. Эта функция позволяет добавлять текст непосредственно в видео, что не часто встречается в других ИИ-генераторах видео.

Промпт: “wow” in blue balloons in the sky

Потрясающе! Если быть честным по отношению к Luma, то возможность рендеринга текста очень впечатляет. Эта функция может быть особенно полезна при создании видео с титрами, заголовками или любыми другими текстовыми элементами.

Нейросеть Luma от Dream Machine, возможно, еще не так мощна, как Veo или Kling в плане чистого реализма, но она предлагает творческие возможности, которые делают ее уникальной. Если вы ищете простой, веселый и очень удобный инструмент, вам стоит попробовать Luma.

3. Kling AI 2.1

Kling - один из самых популярных и мощных ИИ-генераторов видео. Недавно они выпустили свою последнюю и самую мощную на сегодняшний день видеомодель - Kling 2.1.

Платформа также поддерживает генерацию изображений, их редактирование и создание звуковых эффектов. Что мне нравится в нейросети Kling, так это дешевая подписка. Вы можете попробовать ее всего за 6,99 доллара.

Вот пример видео, созданного с помощью Kling 2.1 и размещенного на сайте X:

Видео, созданное Pierrick Chevallier с помощью Kling 2.1 Pro

Пользователь X Пьеррик Шевалье с помощью Kling 2.1 Pro сгенерировал потрясающее видео, на котором люди в панике бегут по улицам. Мое внимание привлекло не только реалистичное движение людей, но и то, как камера создает убедительный эффект POV от первого лица. Это похоже на кадры из фильма-блокбастера.

Судя по тому, что я видел, версия нейросети Kling 2.1 заметно превосходит версию Kling 2.0. Высокое разрешение и более качественное видео - ее главные достоинства. Однако, если сравнивать ее с нейросетью Veo 3, кажется, что она все еще отстает по общим возможностям, особенно из-за отсутствия встроенной поддержки аудио.

4. Runway Gen 4

Runway Gen 4 - это новая версия их ИИ-модели для генерации видео, и это один из самых интересных инструментов в этом списке. Нейросеть создана для тех, кто заботится о согласованности кадров и сцен.

Это означает, что вы можете генерировать одного и того же персонажа или объект в разных кадрах без необходимости переобучать модель или выполнять сложные настройки.

Именно это делает ее такой полезной для тех, кто работает над короткометражными фильмами или сложными видеопроектами. Вы можете взять одно референсное изображение или фотографию персонажа или объекта, и нейросеть Runway Gen 4 сохранит его в целой последовательности кадров, в условиях освещения и ракурсах.

Еще одна вещь, которая мне нравится, - это работа с объектами и окружением. Вы можете добавить в сцену товар или реквизит и сохранить его визуальную согласованность при изменении ракурса камеры или композиции сцены.

Посмотрите этот пример клипа:

Пример видео, сгенерированного в нейросети Runway Gen-4. Видео Runway

Кроме этого, модель гораздо лучше понимает базовую физику по сравнению с предыдущими версиями. Такие вещи, как движение ткани, волосы, тени теперь выглядят более естественно. Это еще не идеал, но это большой скачок по сравнению с тем, что можно было сгенерировать еще полгода назад.

Нейросеть Gen-4 отлично справляется с рендерингом стилизованных или даже аниме-видео. Вы можете создать свой короткий аниме-фильм, используя простые текстовые описания.

Однако не стоит забывать, что Gen 4 стоит недешево, а время генерации может варьироваться в зависимости от сложности проекта.

Для тех, кто серьезно занимается созданием ИИ-фильмов или многокадрового видеоконтента, Runway Gen 4 - одна из лучших нейросетей, доступных на данный момент.

5. Pika Labs

Pika - это генеративная ИИ-платформа, позволяющая создавать видеоролики на основе текста, фотографии или изображения. Этот инструмент - не новичок на сцене ИИ-видео. Соучредителями Pika стали Деми Гуо и Ченлин Менг, бывшие аспиранты Лаборатории искусственного интеллекта Стэнфордского университета. Их замысел был ясен с самого начала: совершить революцию в создании видео с помощью нейросети.

Вот как выглядит панель инструментов:

Существует два основных способа получить доступ к Pika:

• Сервер Discord

• Pika.art (официальный сайт)

Чтобы упростить и оптимизировать работу, вы можете использовать нейросеть Pika прямо на их сайте. Интерфейс здесь современный, с удобной навигацией.

Вот один из примеров:

Промпт: A longboard races downhill on a winding mountain road, the wind whistling past her hair

В этом примере вы можете увидеть, как Pika 1.5 плавно запечатлела движение, при этом волосы девушки движутся динамично, реагируя на ветер. Это пример того, как новая модель хорошо справляется со сложной физикой.

В Pika также есть популярная функция под названием Pikaeffects. С ее помощью можно легко и весело использовать все возможности нейросети без сложных промптов. Вы можете надувать, раздавливать, сминать, плавить... делать все, что вам нравится!

Вот пример видео коробки с эффектом надувания:

Потрясающе! Я попробовал надуть коробку в одном из своих тестовых видео, и ИИ прекрасно определил объект и применил эффект надувания без искажения окружающих элементов. Интересно, насколько хорошо он работает со сложными изображениями или фотографиями без явного объекта.

Я скажу так: хотя Pika не всегда может сравниться с ультравысоким реализмом Veo или Kling, нейросеть справляется с фотореализмом, физикой и динамичными движениями камеры лучше, чем многие инструменты в этом ценовом диапазоне. А для авторов, которые ценят игровой подход и эксперименты, Pika - один из самых приятных инструментов для работы.

6. Hunyuan

Hunyuan - продукт компании Tencent, и это очень интересное дополнение к нейросетям для создания видео. Это массивная видеомодель с 13 миллиардами параметров, которая позволяет создавать высококачественные видеоролики на основе текстовых промптов.

Чтобы начать, зайдите на сайт Hunyuan и создайте бесплатную учетную запись. Затем на панели Create New Video опишите видео, которое вы хотите создать. Не забудьте выбрать соотношение сторон видео, прежде чем нажать на кнопку Generate.

Вот пример видео, созданного с помощью нейросети:

Промпт: Whimsical and vibrant scene of a panda riding a bicycle through a bustling city street.

Видеоролики выглядят достойно, но знайте, что это не тот же уровень, как у нейросетей Veo, Kling или Runway. Это хороший инструмент для обучения и создания образцов.

Отличительная особенность Hunyuan в том, что нейросеть поддерживает пользовательское обучение LoRA (Low-Rank Adaptation) для создания видео.

Вы можете загрузить до трех ичображений людей, домашних животных или предметов и добавить их в свои ИИ-видео. Это уровень персонализации, который большинство крупных западных моделей пока нативно не поддерживают.

Для авторов, желающих поэкспериментировать с персональными видео, нишевыми персонажами или контентом, ориентированным на конкретный бренд, это фантастическая функция. Она позволит вам привнести свой собственный стиль или тематику в создаваемые модели - я очень надеюсь, что в будущем все больше платформ внедрят эту функцию.

7. PixVerse AI

PixVerse AI - не самый продвинутый инструмент для создания видео в этом списке, но он предлагает один из самых навороченных интерфейсов для управления процессом создания видео.

Посмотрите на пользовательский интерфейс ниже:

Я знаю! В поле для промпта происходит много всего. Эта нейросеть не для новичков, но это один из самых интересных инструментов для работы.

Одна вещь, которая мне нравится в PixVerse AI, - это то, как хорошо он понимает контекст изображения или фотографии. Например, если вы загрузите изображение или фотографию с тремя персонажами, он анимирует их по отдельности и разместит на суперкрутом фоне.

Промпт: close up shot, half body of three cyberpunk characters, raise up heads looking up, in warehouse, camera rotate to left

Вот созданное видео:

Видео можно создавать как по текстовому описанию, так и на основе референсных изображений или фотографий. Я считаю, что процесс преобразования изображения или фотографии в видео наиболее полезен. Вы можете загрузить изображение или фотографию и использовать Magic Brush от PixVerse, чтобы анимировать его части. Процесс очень интуитивно понятен. Просто отметьте области, которые нужно "оживить", нарисуйте стрелки, чтобы показать направление, и все. Вы получите быстрый результат, который можно легко повторить.

Нет, нейросеть не дотягивает до Sora, Veo или даже Runway Gen 4. Но вам может быть не всегда нужна самая современная модель, чтобы создать интересную историю или потренироваться в работе с видео.

Если вы учитесь или только начинаете работать с ИИ-видео, PixVerse - одна из лучших нейросетей для старта.

8. Vidu AI

Vidu - это нейросеть для работы с видео, которая позволяет создарать видео по текстовым промптам, из изображений или референсов.

ИИ-модель построена на основе собственной архитектуры модели визуальной трансформации под названием Universal Vision Transformer (U-ViT). Она объединяет две ИИ-модели «текст-видео»: Diffusion и Transformer.

Эта архитектура позволяет создавать высококачественные видеоролики с динамичными движениями камеры, сложной мимикой, аутентичными эффектами освещения и тени.

Чтобы начать работу, зайдите на сайт vidu.studio. Первое, что вы заметите, - это модальное окно с подробной информацией о последних обновлениях платформы.

• Обновленные возможности референсного видео

• Новая конфигурация режима генерации

Вот пример:

Промпт: A man sitting at a table, eating noodles with chopsticks

После завершения обработки результат будет отображен в правой части экрана. На этот раз вы можете либо отредактировать видео, изменив запрос, либо увеличить его разрешение за дополнительные 4 кредита. Разрешение увеличенного видео составляет 2K (1934 × 1080).

Вот как выглядит видео:

Всего за 30 секунд нейросети Vidu понадобилось для создания 4-секундного видео размером 688 × 384. Впечатляет не только качество полученного видео, но и скорость, с которой оно было создано.

По словам генерального директора Vidu, компания активно изучает коммерческий потенциал генеративного ИИ в таких областях, как художественный дизайн, разработка игр, постпродакшн фильмов и социализация контента. Их конечная цель — использовать эту мультимодальную модель для повышения творческого потенциала и продуктивности человека.

Создателям, которые ищут надежный, быстрый и легко настраиваемый инструмент, стоит присмотреться к нейросети Vidu. Она уже достаточно сильно развита, и я ожидаю, что в ближайшие месяцы она будет активно улучшаться.

9. Sora

Sora — это нейросеть для создания видео на базе искусственного интеллекта от OpenAI, которая может создавать короткие ролики по текстовым промптам, на основе референсных изображений, фотографий или даже других видео.

С помощью Sora Video Editor вы можете создавать видео длиной до 20 секунд, при сохраняется высокое качество изображения, а нейросеть четко следует вашим указаниям.

Вот основной процесс:

В нижней части экрана вы можете ввести текстовое описание желаемого видео. Вы можете изменить соотношение сторон, разрешение, продолжительность и количество вариаций.

Если вы предпочитаете начать с существующего изображения, фотографии или видео, кликните на значок «+» в поле ввода, чтобы загрузить файл. Помните, что вы должны обладать правами на все, что загружаете, и не можете загружать изображения, фотографии или видео других людей без их явного письменного разрешения.

Вот пример:

Промпт: Japanese Winter Market (Storyboard)

Пример создания видео в нейросети Sora от OpenAI. Видео - OpenAI

Люди всегда являются сложной задачей для видеомоделей искусственного интеллекта. Даже здесь я замечаю некоторые странные детали — пальцы выглядят неестественно, а конечности могут быть несоразмерными. Большинство существующих нейросетей испытывают трудности с анатомией человека, и Sora не является исключением. Она не идеальна, но я вижу некоторые улучшения по сравнению с тем, что я видел раньше.

Нейросеть Sora от OpenAI теперь также доступна в Bing, что звучит круто, но она довольно ограничена с точки зрения функций и управления. Вы можете генерировать только базовые видео по текстовым промптам. Нет поддержки нескольких сцен, нет расширенных элементов управления.

Качество нормальное, но не потрясающее. Я подозреваю, что OpenAI придерживает выпуск реальной версии Sora, пока не выяснит, как избежать тех же проблем с неправомерным использованием, с которыми сталкиваются другие модели для генерации видео.

---

Я уже два года использую, тестирую и пишу про нейросети для создания видео. На данный момент я довольно хорошо понимаю, что действительно стоит вашего времени и денег, а что является просто рекламным трюком.

Так что, независимо от того, только ли вы начинаете знакомиться с ИИ- генераторами для создания видео или уже являетесь опытным пользователем и просто ищете что-то лучше того, чем вы пользуетесь сейчас, я надеюсь, что эта статья помогла вам определиться с выбором.

Тем не менее, эти нейросети быстро развиваются. Видео-модели, на базе которых они работают, постоянно совершенствуются, а функции могут быстро меняться. Поэтому не стоит принимать мои примеры как истину во всех инстанциях — обязательно проверьте их веб-сайты и попробуйте новые версии. Возможно, ваш опыт будет сильно отличаться от того, что я описал в этой статье.

А если вы знаете другие нейросети для создания всдео, которые должны быть в этом списке, не стесняйтесь оставлять их в комментариях. Спасибо, что прочитали!

Друзья, буду рад, если вы подпишетесь на мой телеграм-канал про нейросети, чтобы не пропускать анонсы статей, и на канал с гайдами и советами по работе с нейросетями - я стараюсь делиться только полезной информацией.