Технологии искусственного интеллекта постепенно развиваются, помогая решать задачи и проблемы самых разных сфер — от бизнеса до медицины и развлечений. Недавно стало известно еще об одной задаче, которую ИИ решает очень хорошо. Речь идет об игровых модах — как оказалось, машинное обучение отличный инструмент для улучшения графики классических компьютерных игр.
Технология, о которой идет речь, получила название “AI upscaling”. Все просто, как часы: алгоритму «скармливается» изображение из игры низкого разрешения, и чуть позже ИИ выдает улучшенную версию этого экземпляра. Конечно, в начале работы необходимо обучить нейросеть, иначе никакого улучшения не будет. Но после обучения ИИ демонстрирует весьма интересные результаты работы.
Пример — графика из The Elder Scrolls III: Morrowind. Поклонник этой игры обработал все графические файлы при помощи алгоритма и получилось если не идеально, то близко к тому.
Обычно на улучшение качества текстур из какой-либо игры нужна работа целой команды энтузиастов, которые тратят дни, недели и месяцы личного времени на достижение нужного результата. Это сотни и сотни часов всей команды, причем далеко не всегда проект удается закончить.
При помощи ИИ графику нельзя улучшить за пару минут, но все же работа выполняется гораздо быстрее — уже за недели, а не месяцы или даже годы. Причем работу может выполнить один-единственный человек. Вполне может быть, что вскоре мы увидим большое количество «перелицованных» старых игр, которые будут выглядеть по-новому.
Улучшениям уже подверглись такие известные тайтлы, как Doom, Half-Life 2, Metroid Prime 2, Final Fantasy VII, и Grand Theft Auto: Vice City. Недавно даже Mass Effect 2 улучшили, получив очень неплохой результат.
По словам одного из «оптимизаторов», у него ушло около 200 часов работы на настройку работы алгоритма и получение желаемого результата. Но зато всего один человек смог обновить Doom.
Оптимизаторы ведут работу с играми, где текстуры хранятся в специальных файлах. Это изображения камней, металла, травы, оружия и всего прочего, что есть в игре. При запуске все эти изображения «натягиваются» на карты уровней и мы видим то, что видим.
По словам тех, кто уже занимался улучшением графики, после работы ИИ остаются графические артефакты, которые приходится убирать вручную. На это и уходит время. К слову, примерно то же происходит и во всех остальных случаях, когда используется искусственный интеллект — его наличие в проекте вовсе не означает отсутствие человека. «Ручная» работа все еще нужна.
Вот один из сервисов, которые активно используются моддерами и оптимизаторами.
Сервис имеет две функциональных части. Первая переводит изображение (вернее, пытается перевести) из low-res в high-res. Ну а вторая часть занимается сравнением того, что получилось с накопленным после обучения «опытом». Если вторая часть оценивает картинку как «удачную», она принимается в качестве результата.
При этом с течением времени ИИ совершенствует методы своей работы и усложняет алгоритмы. Это не просто «растягивание» изображений, что может делать графический редактор, а реальное многоступенчатое преобразование.
Геймеры, которые играют в оптимизированные игры (и помнят оригинальные версии) говорят, что впечатление при прохождении остается прежним, эмоции все те же. Но добавляется еще и восхищением качеством «новой» картинкой. Раньше геймеры видели более качественную картинку благодаря тому, что графика отображалась на кинескопах старых версий, так что многие графические артефакты были просто незаметны. А вот сейчас, при запуске старой игры на современном мониторе все недостатки видны, как на ладони, что в некоторых случаях снижает удовольствие при прохождении.
Выше уже говорилось, что вскоре мы увидим старые игры в новой упаковке — и это действительно так. Все больше появляется сервисов, позволяющих оптимизировать графику и моддеры всех мастей работают над различными проектами. Остается немного подождать и мы сможем насладиться новыми впечатлениями от игры в известные тайтлы.
Комментарии (45)
kin63camapa
22.04.2019 02:48Готовимся к тому, что скоро на видеокартах будет еще и fpga для нейросети…
Taciturn
22.04.2019 08:23Вот бы посмотреть сравнение не с Nearest neighbor, а с Lanczos.
DrZlodberg
22.04.2019 08:59Будет просто мыло. IMHO лучше уж квадраты.
DOOM с новыми текстурами очень порадовал.
CoolCmd
22.04.2019 13:18можно ссылку для дума? тоже хочу порадоваться.
DrZlodberg
22.04.2019 13:35Если не ошибаюсь — вот тут. Не помню уже откуда качал.
CoolCmd
22.04.2019 18:24посмотрел в doom 1. стиль итоговой картинки мода похож на встроенный в gzdoom режим xbrz 2x, только деталей побольше. если бы не знал, то не уверен, что заметил бы разницу. мне с пикселами как-то привычнее, не так заметна низкая детализация. я только оружие сглаживаю.
DrZlodberg
23.04.2019 08:21Такого режима не пробовал, но текстуры были больше чем *2. Вроде писали, что алгоритм несколько раз прогоняли для больших разрешений. По крайней мере артефакты были очень характерные для этого способа.
Ruddymetor
22.04.2019 09:57«Геймеры, которые играют в оптимизированные игры (и помнят оригинальные версии) говорят, что впечатление при прохождении остается прежним, эмоции все те же. » — это самое главное!
Морра была великолепна, она такой остается и до сих пор.
Andrey_Dolg
22.04.2019 10:37Прощай рынок ремастер поделок.
qw1
22.04.2019 12:12Наоборот, здравствуй рынок простых ремастеров. Теперь не нужно рисовать новые текстуры, а можно апскейлить старые и заново продать.
juray
22.04.2019 12:50Это упирается в вопрос общедоступности такого софта.
Если он будет работать на среднем компьютере и стоить недорого — то для многих игр пользователь сам сможет сделать ремастер, и зачем ему покупать всякие там «enhanced edition»?
А, да, есть еще второй вопрос — сложность выковыривания ресурсов из игры и заковыривания обратно после улучшения. Могут быть проблемы, если ресурсы хранятся достаточно жестко и обфусцированно. Но это крайне редкий вариант.
ffs
22.04.2019 16:43Ну, многие старые игры надо адаптировать к широкому экрану, починить интерфейс и возможность запуска на win10 например.
juray
22.04.2019 21:23Надо-то надо, но если игроки смогут это делать самостоятельно (а нейросети для апскейла изображений уже вполне доступны — Let's Enhance, waifu2x, Mail.ru Vision, и даже в Фотошопе такой фильтр есть, в общем — см. habr.com/ru/post/438886), то рынок ремастеров коммерческих («продать второй раз то же, но с перламутровыми пуговицами») может таки потерять свою прибыльность.
Andrey_Dolg
22.04.2019 23:53Одумайтесь не повторяйте мою ошибку. Если вдруг ремастер будет сделать сложнее чем запустить косынку, то это выгодный рынок и потребитель будет.
Kugata
22.04.2019 10:40Мне кажется все пошло от статьи про Монти и его 4к
Я тогда тоже скачал эту программу чтобы хоть как то улучшить свой любимый сериал The Golden Girls в итоге ничего не вышло, нейросеть практически не улучшила его
Sadler
22.04.2019 12:44Логичным продолжением нейросетевой модернизации графики стала бы модернизация 3d-моделей (где они есть), а не только текстур. Наиболее приемлемым для таких целей мне видится воксельное представление моделей.
Mykola_Von_Raybokobylko
22.04.2019 16:11+1Было бы любопытно посмотреть на обновленного первого макс пейна если это вообще возможно.
Hidon
22.04.2019 22:05+2у старых 3d игр есть большая проблема — очень простенькие модельки. на «квадратную» голову первого макса хоть какую текстуру не натяни, лучше она от этого не станет.
вот когда нейросети научатся полноценно воссоздавать старые игры на новых движках с полной заменой всего и вся — тогда да.
думаю, что и до этого доживём, причём довольно скоро.Mykola_Von_Raybokobylko
23.04.2019 08:54Согласен. Может быть в будущем при подобной переделке в игру добавят нсп, а то город малолюдный очень.
Druu
23.04.2019 13:07а потом все это будет тормозить на топовых печах, т.к. движок на такое не рассчитывался :)
juray
23.04.2019 14:25Сейчас не вспомню конкретики, но бывали случаи, когда грамотно сделанная текстура маскировала недостаток детальности модели.
Но для совсем примитивных моделей да, это плохо работает. Впрочем, даже в этом случае можно добиться интересных результатов:
(скины для Quake 1)Hidon
23.04.2019 19:45на картинке текстуры как раз под стать модели, поэтому смотрится вполне нормально. а вот если на эту модель натянуть текстуры высокого разрешения с хорошей детализацией и чёткостью — то вся убогость модельки мгновенно вылезет наружу.
можно конечно и замаскировать, но для этого нужен талантливый художник и далеко не факт, что на выходе получится что-то похожее на оригинал.
ordoss
23.04.2019 01:12Жду того момента, когда нейронке будет достаточно «скормить» бинарник лобой игры, а та сможет его полностью перекомпилировать на современный движок, с детально проработанными текстурами, модельками и анимациями. Вот тогда нас ждет настоящий ренессанс ретрогейминга. Но для этого нужен уровень едва ли не полноценного ИИ.
Femistoklov
23.04.2019 08:21У меня было подозрение, что мой мозг улучшает качество картинки, теперь же я в этом просто уверен.
Mykola_Von_Raybokobylko
23.04.2019 09:00Так оно и происходит, мозг дорисовывает, буквально додумывает то, чего на картинке не было. Исключение наверно просмотр корявых экранок.
Sotis
23.04.2019 12:16Подскажите, где можно посмотреть на Vice City и есть ли такой мод для American McGee's Alice?
Hidon
23.04.2019 19:52набрать в youtube «vice city esrgan». или надо именно вживую? ну тогда гугл в помощь. про алису не интересовался, мож и делал кто, сейчас чуть ли не каждый день что-то новое по этой теме появляется(не в смысле готовых текстур, а в смысле проектов).
Flakky
24.04.2019 17:46В действительности графика не улучшается, просто картинка становится четче.
Как по мне, куда важнее освещение, а не качество текстур. Чего только стоит Minecraft с рейтрейсингом. Думаю, что нужно совмещать такие вещи. А если добавить ещё и деталей через Меш-шейдер, постобработку, то вообще сахарно будет :)
Zmiy666
А почему не научить нейросети вылавливать графические артефакты и убирать их, чтоб еще больше ускорить процесс и снизить трудозатраты??
kin63camapa
Учить как? Это мы знаем как трава и деревья выглядят, а для нейросети придется брать реальные пейзажи и отрисовывать на движке игры
masai
Сети, построенные на архитектуре GAN (как упомянутый ESRGAN), так и учат — показывают реальные траву и деревья. Сеть запоминает закономерности, характерные для реальных объектов и соответственно этому вносит коррекцию при повышении разрешения.
Zmiy666
если человек может отличить графический артефакт, то и нейросеть сможет — а как обучать — да так же нарезать картинки с артефактами и без, и учить. Артефакты же не уникальны, нейросеть сможет их распознать и возможно удалить, налепив заплатку.