Искусственный интеллект (конечно, слабая его форма) позволяет автоматизировать решение огромного количества задач и, в целом, упростить человеку жизнь. Самые разные отрасли науки и техники уже используют технологии на основе искусственного интеллекта. Игровая сфера тоже работает с ИИ, в частности, для улучшения «интеллекта» NPC и законов игровой вселенной. Но ИИ можно применять и для оптимизации графики. Известны кейсы, когда технологии помогали восстановить старую, почти испорченную фотографию или обновить какой-то старый фильм, записанный на поврежденную пленку. Но есть и еще одна возможность — это улучшение графики в играх.
Многие моддеры занимаются тем, что создают моды к старым популярным играм или же обновляют сами игры при помощи улучшенной графики. В качестве примера можно привести Resident Evil 4 с HD-текстурами. Игра с обновленной графикой гораздо ближе современным геймерам, чем изначальная ее версия.
Но для обновления графики во всей игре нужно огромное количество времени, поэтому моддеры, зачастую, занимаются своей работой годами. Теперь для этой задачи можно привлекать искусственный интеллект. Недавно в сети появилась информация о том, что уже выпущены Doom 2 и Morrowind именно с такой, обновленной графикой.
В случае с Doom 2, автор новинки, hidfan, использовал специализированные инструменты Nvidia Gameworks, а также инструмент AI Gigapixel от Topaz Lab. Оба сервиса нужны для того, чтобы улучшить качество текстур, затем вернуть к прежнему разрешению с удалением ИИ-артефактов. Правда, некоторые артефакты и прозрачность необходимо настраивать вручную. Кстати, по словам того же hidfan, ИИ не может разобраться с Black&White.
Что касается второй игры, Morrowind, то над ней работала целая команда моддеров, которые использовали ESRGAN ( Enhanced Super Resolution Generative Adversarial Networks). Этот инструмент позволяет улучшать изображение с не слишком качественным разрешением.
По словам представителей команды, после пары трюков сервис начинает работать, делая изображения более реалистичными. В частности, текстуры Morrowind удалось улучшить благодаря ESRGAN. Пример изображения до и после обработки — ниже. Качество текстур удалось улучшить в четыре раза.
В настоящее время технология подобного рода лишь зарождается, но потенциал ее понятен. Если «обучить» искусственный интеллект улучшать графику старых игр, то геймеры всего мира получат большое количество классических игр в «новой обертке». Если же ИИ научится улучшать и качество видео, то ценители Star Trek: Deep Space 9, Babylon 5 смогут смотреть любимые эпизоды с двойным удовольствием.
Выше упоминались инструменты от NVIDIA, и не напрасно. Эта компания давно работает над интеграцией возможностей ИИ в работу с графикой и видео. В начале этого месяца компания представила программную платформу, которая позволяет объединять эффекты, генерируемые искусственным интеллектом, с графическом движком игр. Основа платформы — нейронная сеть типа GAN (генеративная состязательная сеть). При помощи этой же нейронной сети NVIDIA научилась генерировать лица людей в беспрецедентном качестве.
Эту технологию можно использовать не только для игр, но и для создания фильмов или VR-контента. Что касается изображений, размещенных выше, то они взяты из «игры», которую создал ИИ. Изначально систему обучали вождению на алгоритмах робомобилей. Затем, когда процесс обучения завершился, ИИ обучили идентифицировать различные объекты, включая небо, автомобили, деревья, дороги, разметку и т.п. В итоге платформа создала собственную вселенную на основе движка Unreal Engine 4. Графика в этом мире генерируется в режиме реального времени.
Правда, даже эта современная технология находится лишь в начале своего пути — до ее коммерциализации может пройти много времени. Тем не менее, NVIDIA добилась многого, если эта компания будет совершенствовать свой продукт, через несколько лет можно говорить о возможности использования платформы для решения практических задач.
Комментарии (27)
Tankerxyz
22.12.2018 10:38Достойное применение AI!
От себя добавлю, что вижу закономерную тенденцию в использовании AI как некоего «улучшателя» т.е. различные кодеки, улучшение качества картинки, и т.д.
В этом есть смысл, и очень радует что AI продвигается в этом направлении.
striver
22.12.2018 11:58А нет подобных ИИ'ников, которые б 240р доводили хотя бы до 1080р?
red75prim
22.12.2018 12:03+1Какая-нибудь вариация на тему BigGAN. Но любые картинки увеличить не получится — только те классы картинок, на которые он натренирован.
striver
22.12.2018 13:01Это фото, а хочется видео. Ибо кроме фильмов и сериалов есть интересные спортивные матчи и гонки, которые б круто смотрелись в 4к, но даже 1080р — просто мечта.
Darth_Biomech
23.12.2018 03:05+1Что есть видео, если не последовательность быстро сменяющихся фото?
striver
23.12.2018 03:08Правильный вопрос. С учетом ИИ — ему до лампочки сколько картинок, хоть сотни на 1 секунду.
S-trace
23.12.2018 23:21Не совсем.
Видео имеет ещё временнУю связность между кадрами. И это надо учитывать, иначе каждый кадр будет выглядить хорошо, но видео при просмотре будет дико мерцать и колбасить.Darth_Biomech
24.12.2018 00:27Может из-за особенностей работы нейросетей, но когда кадры видео прогоняли через нейросети которые не были рассчитаны на обработку видео, результат получается весьма плавный.
www.youtube.com/watch?v=DgPaCWJL7XIstriver
24.12.2018 00:40Это какой-то фильм ужасов получился. Чем дальше тем хуже, похоже на прогрессирующий/регрессирующий рассинхронизация видео и аудио. На каком-то этапе нужно ставить эталонную картинку, чтоб можно было ориентироваться в какую сторону что делать.
Darth_Biomech
24.12.2018 02:07Ну так и нейросеть через которую это прогоняли была настроена на то чтобы определять собак на фотографиях, если не ошибаюсь.
striver
22.12.2018 13:01Babylon 5 смогут смотреть любимые эпизоды с двойным удовольствием.
Я лет 5 назад пересматривал. Хочется как-то еще пересмотреть. Ибо продолжений и спин-оффов не планируется, то было бы не плохо пересмотреть в качестве хотя бы на уровне «Затерянных сказаний».
maybe24
22.12.2018 15:05В общем скоро не мы будем застревать в текстурах, а текстуры в нас
striver
22.12.2018 15:15Мы еще долго будем застревать в текстурах, даже в самих гладких, а вот то, что не будем «резаться» о них — это похоже на то.
timdorohin
23.12.2018 23:35ИМХО правильная процедурная генерация текстур вероятно менее затратной будет, чем нейросетью обрабатывать готовые. Если еще заставить это делать тензорные ядра — так точно быстрее будет. Процедурно-генерируемые миры Minecraft соврать не дадут.
striver
23.12.2018 23:45Так сама суть в том, чтоб поиграть в то, что было 20-30 лет назад. Например, я могу смотреть фильмы, которым по 40-50 лет и они не вызывают никаких негативных эмоций в плане картинки. Игры же… есть те жанры, которые сейчас почти не развиваются и не выпускаются игры. Запускал полгода назад Коммандос, захотелось тактики… было очень сложно. Я уже отвык от такой графики, был дискомфорт. В основном из-за интерфейса, но картинка не доставляла, слишком широкий экран. Графика просто резала глаза и я быстро начал уставать. Крайне прискорбно.
timdorohin
24.12.2018 00:26Это да, старым играм картинку улучшать — логично использовать нейросеть.
Но дальше в статье NVIDIA и ее сети рисующие картинки показаны. Вот это, как мне кажется, бессмысленно, потому что генерировать текстуры проще процедурно, чем нейросетями.
А картинки у сетки NVIDIA хорошо получается только статические. На видео рисованные объекты текут и меняются в реальном времени, забавно, но не то что игроделам надо. (сами посмотрите)striver
24.12.2018 00:51На видео рисованные объекты текут и меняются в реальном времени, забавно, но не то что игроделам надо.
Даааа, за заре ютуба и плохо коннекта, картинка получалась хуже, чем машина сейчас рисует танец человека по картинке.
humbug
ponich
Quiet! Here comes the guard.
Georg93
Ну ты и соня, тебя даже вчерашний шторм не разбудил.
А вообще я бы с радостью взглянул на любимую игру юности с новыми, но, в то же время, сохранившими оригинальную стилистику, текстурами.
Ждём-с.
striver
Так без ИИ и СМСок делают ремастеры и ХД версии.
Georg93
Не спорю, более того, видел.
Я не совсем точно выразился — интересен результат нового метода.
striver
А, ну да. Хочется час от часу запустить игру 20-и летней давности… но после запуска… как-то уже не то.
General_Failure
В таком случае одной технологии по улучшению текстур недостаточно. Нужна ещё одна, помогающая «развидеть» игру, то есть забыть всё что в ней было.
striver
DrZlodberg
Если это тот самый мод (для doom), который я недавно скачал (очень уж характерный шум), то становится понятна некоторая странность прорисовки отдельных элементов, Однако в целом — чертовски круто! Вся прелесть не в сохранении стилистики, а в сохранении самой текстуры! Не считая возросшей детальности новые текстуры никак не отличаются от старых. Если посадить человека, не знающего о моде — он вряд-ли сразу заметит, что что-то изменилось.
Но, повторюсь, если это тот самый мод.