С первого дня, как я запустил ДЛСС 5, я понял, что с моделью что‑то не так. Но для того чтобы понять, что именно, мне пришлось запустить его на 50+ играх и снять 100+ футажей для наглядности. Поэтому вместо скриншотов буду прикреплять футажи с таймовичками.

Итак, сначала, чтобы не быть голословным: DLSS 5 и Pong.

Понг, если что, — досовский порт, не на оригинальном автомате. Так вот:

Миф 1: DLSS5 не меняет полигоны, и является только «решейдом»

И нет, это не так. ДЛСС 5 меняет геометрию лиц, если запустить её на этапе «рендера»…

Шаг назад. Как сейчас прикручивают DLSS5 к играм

Очень коротко.

Сейчас DLSS 5 прикручивают к играм через RenoDX, библиотеку и обычно (для старых игр) векторы. Энтузиасты расковыряли это всё, и у обычных пользователей есть следующие настройки:

1. Выбор, где встроить нейрорендер (после апскейла, на этапе рендера, на этапе вывода картинки).

2. Сила эффекта.

3. Цветовые пресеты.

4. Количество проходов (от х1 до х4).

При этом важное замечание: если использовать DLSS 5 в режиме х2 и более, он берёт для выборки только 1 кадр, и нейросеть больше галлюцинирует. Но именно так можно посмотреть, что именно рисует DLSS.

Так вот…

Миф 1: DLSS5 не меняет полигоны, и является только «решейдом»

И это помогло мне понять RBdoom (DX12) на вот этом таймовичке:

Собственно, как раз в режиме прогона х3 мы отчётливо видим, что геометрия «квадратного» персонажа в Doom 3 на некоторых кадрах (если делать стопы) сильно изменилась по отношению к оригиналу

При этом, так как каждый кадр ДЛСС 5 перерисовывает, не опираясь на предыдущие, мы видим высокий уровень галлюцинаций (когда буквально каждый кадр у персонажа новое лицо). Более того, в зависимости от пресета меняется и лицо в кадре (от бородатого седого мужика до фиолетового инопланетянина без бороды).

Утверждение 2: ДЛСС тяготеет к определенным цветам, и делает все игры одинаковыми

Базово у ДЛСС 5 есть три пресета:

1. Дефолт.

2. А‑ля натурель.

3. А‑ля синематик.

И при обычном проходе (х1), что на этапе встраивания в рендер, что на вывод, разница невелика.

Но стоит вкрутить все ползунки на максимум, и вместо «подчёркивания и фотореализма» на выходе получаем:

1. Дефолт — преобладание зелёного.

2. Натурель — синие цвета, а‑ля ранний Миджорней.

3. Синематик — преобладание фиолетового и поднятая точка чёрного.

При этом неважно, какая картинка подаётся на вход. Ради чистоты эксперимента был выбран L.A. Noire в режиме «Ч/Б».

И умная нейросеть, которая видит перед собой Ч/Б… раскрасила картинку. Таймовичок:

С одной стороны, приятно. А с другой — она раскрасила её именно в те цвета, которые были указаны в соответствии с пресетом. ЧЁРНО‑БЕЛУЮ КАРТИНКУ, КАРЛ!

• Очень важно помнить: каждый следующий проход делает картинку темнее. Всегда. Вне зависимости от игры и условий. Ярким примером для меня стал логотип dgVoodoo, который я оставлял в разных играх, чтобы сверить, как он себя будет вести. И всегда на х4 он был тёмным и блёклым.

Миф 3: ДЛСС 5 «хорошо» обрабатывает лица.

Ну, можно, конечно, 100 раз рассказывать об анимешных девочках, но зачем… Если можно взять знаменитый RE3 400% faces mod и посмотреть, как он справится с результатами «фотореалистичного лица», но с увеличенной экспрессией.

Собственно… Вместо тысячи слов — губозакаточный дед:

Даже не знаю, как это прокомментировать. Везде, где модель не знает деталей, она их додумывает.

Миф 4: ДЛСС 5 хорошо подходит для использования на старых играх

Так как библиотеку слили вместе с инструментами для прикручивания её к чему угодно (включая Wolfenstein 3D)

то может сложиться впечатление, что мы берём старую игру, прокидываем достаточное количество врапперов, накидываем внешние вектор‑моушены… и… получаем какой‑то результат (в качестве примера здесь оставлю Witcher 3 + Yessemir & Gessemir mod, не спрашивайте, почему с модами).

Так вот:

Почему именно Ведьмак? Потому что у него есть как старая DX11-версия (1.32, на которой был записан футаж), так и некстген DX12-версия.

И хотя DX11-версия может запуститься на GTX 560, а ремастер требует хотя бы RTX 5080 при той же картинке, речь не о том.

А о том, что в отсутствие DX12 картинка шумит, разваливается и галлюцинирует даже при одном проходе без денойза. Хотя все векторы и все костыли пришиты правильно. В то же время версия на DX12 ведёт себя стабильно даже на самых экстремальных вариантах запуска DLSS 5.

(Пример — футаж Спайди:

x4 + встраивание на этапе рендера). (Пример — футаж Киберпанка)

А значит, как бы хитро мы ни прокидывали для DLSS 5 различные костыли, без какой‑то информации, связанной, видимо, с остальной цепью DLSS 5, он работает не на всю мощность.

Кстати, это же и разрушает идею прокидывания DLSS 5 на YouTube и так далее. Так как результат хоть и есть, но получается «идентичным натуральному», ведь векторы модели всё ещё нужны. И история по кадрам, желательно, тоже.

В чем же ДЛСС 5 хорош?

В создании статических картинок. 

Ладно, Lada Racing Club тоже хорошо себя показала.

Перед Финалом

А ещё ДЛСС 5 нещадно жрёт ресурсы, что не позволяет на самом деле прокидывать его на эмуляторы PS2 и PS3, потому что из‑за падения фреймрейта многие игры начинают заикаться.

И плохо работает с 2D‑играми: хоть «Герои 1, 2, 3», хоть оригинальный MGS.

И даже изометрия даётся модели с большим трудом («Герои 5» и незаписанный SC2 не дадут соврать), так как модель обучалась только на FPS‑шутерах (вероятно).

И всё это — титаническими усилиями мобильной 5090, которая выдавала 10 кадров хоть на Wolfenstein 3D, хоть на Cyberpunk 2077.

Вывод

И всё же… DLSS 5 — это просто недообученная модель и очень сырая технология.

Объясню. Ранее, когда выходили первые модели, которые могли генерировать видео, у них были точно такие же проблемы со стабильностью изображения. И, что более важно, такие же проблемы с цветокоррекцией.

А значит, 150-мегабайтная библиотека — это только начало. И если дообучить её большим количеством данных и вкрутить несколько проходов силами самой Nvidia, чтобы модель могла стабильнее вести себя на х2–4 прогонах, а не пересчитывать каждый кадр, как будто предыдущих не существует…

А файлики для прокидывания ДЛСС5 на старые игры, как обычно лежат здесь.

Но да… вот такое «будущее нас ждёт».