Привет, Хабр! Меня зовут Артём Орлов, я директор по инновациям в Wink. В этой статье расскажу, как нейросети влияют на создание контента на всех его стадиях — от проработки идеи и планирования производства до кастинга и постпродакшена.

Под катом:

• интуиция человека VS анализ больших данных ИИ;

• чувство вкуса VS огромная насмотренность;

• нерациональные факторы VS шаблонный анализ;

• спасение сцен на постпродакшене;

• примеры сервисов, которые помогают киношникам;

• и другое.

Давайте по порядку.

Проработка идеи и поиск сюжета

Скажем честно, на стадии концепта ИИ — это довольно мощный инструмент. Правильно составленный запрос к нейросети поможет вам собрать визуальные референсы и проанализировать тренды. Если вам нужно немного визуального вдохновения — нейронка соберёт мудборд в нужной вам стилистике, сделает наброски постеров, или даже небольшой логлайн (краткий пересказ сценария). 

Понятное дело, что всё это потом в любом случае надо будет править руками и отрисовывать, но это неплохо подходит для быстрой визуализации идеи, когда вам нужно что-то показать команде проекта или инвесторам.

Можно написать запрос на генерацию идей для сериала в конкретных рамках, например

— Сгенерируй идеи для сериала о советском маньяке в жанре «трукрайм»

Если у используемой вами нейросети включена функция поиска по интернету, она сможет не просто набросать концепт на основе данных для обучения, но и предложить идею на основе каких-то реальных историй.

Главное тут — не думать, что с одного промпта вы получите какую-то качественную идею. Чтобы получить что-то полезное, на вход модели нужно подать как можно больше аналитической информации — нужные жанры, портреты целевой аудитории, текущие тренды, используемый сеттинг и подобное.

О вкусах

Пожалуй, один из самых дискуссионных вопросов.

Довольно важную роль в успехе любого фильма или сериала играет чувство вкуса его создателей, отражающееся на качестве сценария, картинки и даже актёрской игры.

В человеческом смысле у ИИ в принципе нет вкуса — он оперирует лишь статистикой, а не чувствами или эмоциями. Зато у него есть своя определённая «насмотренность», он обучен на миллионах примеров. Это даёт ему возможность сравнивать варианты, подсказывать решения, да даже вдохновлять.

Но при этом он не заменит интуицию. Лучшие идеи всё ещё рождаются в голове человека, и нейросети тут — даже не соавторы, а просто инструменты. Увеличивается количество команд, которые используют ИИ, и приходится пересматривать множество сценариев, написанных при помощи генеративных нейросетей. Особое внимание при этом на себя обращают те работы, в которых соединяются творческая интуиция человека и насмотренность ИИ.

Один из интересных подходов тут — собрать персонажа в конструкторе и пообщаться с ним в формате чат-бота.

Сервис в помощь — character.ai

Прогнозирование успеха проекта

Есть ряд параметров успешности медиа, которые хочется оценивать на старте — например, реакция аудитории или потенциал сценария.

Нейросети тут помогают оценить вероятности благодаря быстрому анализу огромного объёма данных. И затем уже — спрогнозировать востребованные у целевой аудитории темы, удобные форматы подачи и жанры контента. Скажем, ИИ может выдать анализ сценария по структуре и тематике, сопоставить его с успешными аналогами, провести исследование аудитории в социальных сетях. С одной стороны, это полезно и отчасти снижает риски, экономит бюджеты и повышает скорость реакции на изменения в мире.

С другой — нейросети не учитывают «магии»: личной харизмы исполнителей, вирусного эффекта, культурного момента. В этом плане нейронки выступают в качестве аналитика, нежели какого-то провидца. Да, он может быстро подсветить какие-то тренды и имеющиеся закономерности, чтобы творческая команда приняла решения на их основе. Но вывести формулу 100-процентного хита не удалось пока людям, и точно ещё не получается у ИИ.

А даже если она и появится, её тут же скопируют примерно все, она перестанет быть уникальной и придётся придумывать новую.

Сервис в помощь — www.parrotanalytics.com

Кастинг

Правильный подбор актёров часто определяет судьбу проекта. И речь не только о том, как тот или другой актёр сыграет своего персонажа, но и насколько он попадёт в ожидания зрителей. Особенно такое встречается на проектах, выросших из книг или игр, где уже есть устоявшийся сеттинг, лор и довольно однозначное восприятие того или иного героя. Отсюда, собственно, все недавние скандалы насчёт мискастов в том же «Ведьмаке» и прочем.

В плане кастинга ИИ тоже уже помогает, он подбирает актёров по заданным параметрам и оценивает их портфолио на соответствие роли, имитирует пары. Но вот ту самую «химию» на экране, от которой многое зависит, он не предскажет. Это иррациональная штука. Нейросеть может, например, предложить какие-то комбинации, которые человек бы не заметил, но последнее слово — за режиссёром. Здесь ИИ тоже выступает как помощник кастинг-директора, нежели даже его частичная замена.

Сервис в помощь — www.castingdroid.com

Планирование производства

Сегодня есть ИИ-системы, способные создавать съёмочные планы. Это та рутина, которая не видна зрителю, но важна при производстве контента. Нейросети могут составить оптимальный график съёмок с учётом занятости актёров, длины светового дня, прогноза погоды и других факторов. Всё это экономит недели работы — ведь ИИ не устаёт, не теряет сцены и не забывает учитывать время заката. От человека тут требуется правильно задать входные данные и оставить место для гибкости.

Ещё одна важная вещь — планирование бюджета. Здесь нейронка может добавочно подсветить моменты, которые надо не забыть посчитать. 

Но стоит иметь в виду — нейросети точны только тогда, когда речь идёт о шаблонах и цифрах. При этом они не чувствую нюансов. Скажем, по умолчанию они не понимают, что актёру будет тяжело играть эмоциональную сцену в конце съёмочного дня. Или, например, что в локации поблизости кто-то решил провести корпоратив, поэтому день съёмок лучше немного перенести. Однако ИИ хорошо находит какие-то конфликты и наложения в расписаниях.

Чего ещё не может сделать ИИ, так это контролировать форс-мажоры, ведь на съёмочной площадке может произойти что угодно. А вот выйти из форс-мажора — может помочь.

Сервис в помощь — thefilmstage.com

Производство контента и работа с оборудованием

При помощи ИИ сейчас можно выставлять свет по заданным шаблонам, контролировать звук и настраивать камеры. Проводят эксперименты с цифровыми дублёрами — полезно в массовках, или при трюках и при замене фона.

Полноценной замены живому актёру тут не предвидится, ведь зрители чувствую фальшь. Но можно с помощью ИИ переносить эмоции живого человека на нарисованного персонажа. В общем, ИИ только помогает раскрыть хорошую актёрскую игру, но заменить способен только статистов и откровенно посредственных актёров.

Сервис в помощь — runwayml.com

Работа с неудачными дублями

Возможности нейросетей активно применяются для спасения испорченных кадров и улучшения качества изображения. Если где-то случился какой-то брак, то ИИ может устранить шумы и стабилизировать кадр. Или, например, на уже отснятом кадре понадобилось заменить реплику персонажа — с нейронкой можно синхронизировать губы при замене фраз. 

Это очень полезно в тех условиях, когда по ряду причин нельзя просто взять и сделать пересъёмку, так что порой это буквально спасает сцену. В том числе и увеличивая хронометраж на пару секунд, если этого не хватило на площадке.

Неочевидная экономия бюджета

Тут речь идёт об анализе сцен на предмет продолжительности и ритма — чтобы заранее понимать, что будет скучно. Здесь же — генерация постеров и превьюшек сразу для нескольких платформ с учётом их требований и особенностей. А ещё при помощи ИИ можно адаптировать контент под разные языки и культуры, нейросеть будет предлагать редактуру под локальные особенности менталитета и законодательства. 

Постпродакшен

Сейчас с помощью ИИ можно заметно ускорять монтаж, выбирать лучшие дубли и автоматизировать озвучку на разных языках. Частично автоматизирована и цветокоррекция, ИИ предлагает LUT и имитирует стили других фильмов. Это даёт быструю заготовку, с которой можно работать, но никак не отменяет творческого подхода. 

Сервис в помощь — filmora.wondershare.com.ru

Влияние на онлайн-стриминг

Пожалуй, самое важное, что стоит отметить в этом пункте — это рекомендации и персонализированные обложки. Плюс есть и более точечные функции, например, анализ поведенческих паттернов для принятия решений о продлении сезона. Из рутинных действий — автоматическая генерация субтитров и дубляжа, локализация трейлеров.

В Wink мы с помощью ИИ повышали качество старого фонда кино. Также используем нейросети для автоматической разметки мест, в которых показываем кнопку «Пропустить» на заставках, флешбеках и титрах, а также автоматизируем наполнение карточек проектов.

Сейчас мы готовим совершенно новый AI Native-продукт в сфере развлечений.