Источник: NVIDIA
NVIDIA анонсировала SDK RTX Broadcast Engine, который использует возможности искусственного интеллекта и графических процессоров GeForce RTX.
Одна из самых полезных для стримеров функций SDK — RTX Greenscreen. Она представляет собой виртуальный хромакей. RTX Greenscreen убирает фон во время стримов и заменяет его геймплеем или чем угодно по желанию пользователя.
«Алгоритм RTX Greenscreen понимает, какая часть изображения является человеком, а какая фоном, поэтому геймеры получают преимущества зелёного экрана без необходимости его покупки», — сообщается в пресс-релизе NVIDIA.
Ещё один инструмент — RTX AR — может обнаруживать лица, отслеживать черты лица и моделировать поверхность лица, обеспечивая в реальном времени эффекты дополненной реальности с помощью стандартной веб-камеры. Этот инструмент может накладывать эмоции и мимику человека на виртуального персонажа аналогично тому, как это реализовано в Apple Memoji.
Последний анонсированный инструмент называется RTX Style Filters. С его помощью стример может оформить видеотрансляцию в стиле своей любимой картины, аниме или игры.
Сейчас NVIDIA работает с OBS (Open Broadcaster Software) над интеграцией RTX Greenscreen в программное обеспечение для потокового вещания. С помощью этой функции стримеры смогут удалять фон и «телепортировать» себя куда угодно. Эта функция была представлена ??на TwitchCon и, по словам представителей NVIDIA, будет доступна в ближайшие месяцы.
«RTX Broadcast Engine — впечатляющее новшество, которое позволит разработчикам в нашем магазине приложений создавать новые мощные инструменты для стримеров с графическими процессорами NVIDIA RTX, — сказал Али Мойз, генеральный директор Streamlabs. — Мы рады продолжать работать с NVIDIA и с нетерпением ждем возможности внедрения этой новой технологии».
vmpartner
Суховато без примера )
lSAVerl
Тут немного есть, если честно «аналоговому» хромакею пока не конкурент, грязновато. developer.nvidia.com/rtx-broadcast-engine
vmpartner
Спасибо, посмотрел, я далёк от понимания всех тонкостей хромокя, но демо выглядит круто!
Javian
Хромакей основа всех видеоэффектов
saboteur_kiev
Там под картинкой есть ссылка на источник, где есть ссылка на видео
Для домашнего стриминга выглядит однозначно очень круто.
martin__marlen
Эдак осталось один шаг то того, сто актеры в светлых джинсах и майках просто будут собираться на сцене с парой десятков кубиков разного размера, а комп уже будет им дорисовывать разные костюмы, декорации и свет. И даже тела и лица.
Причем все это в реальном времени. Прибавляем 3д очки. Проецируем на экран.
Театр технически становится весьма простым делом.
Aquahawk
Зачем? Один раз отсканили лица, фигуру, характер движения и голос и нарисовали мультик. Более того, вполне вероятно что удастся отсканить с уже снятых плёнок. А т.к. успех умеет только визуальный образ и вымышленный характер, то можно целиком всё синтезировать, см пример habr.com/ru/company/pochtoy/blog/421035