Привет, Хабр! Меня до сих пор зовут Владимир Садовский, я по-прежнему работаю программистом инструментария в Nau Engine, всё так же обожаю игры, и меня всё ещё не заменил искусственный интеллект. В прошлый раз я рассказывал о процедурной генерации в игровой индустрии. Пришла пора продолжить тему и взглянуть на другую сторону генеративной медали — искусственный интеллект.

Вопрос создания ИИ будоражит лучшие умы человечества уже давно. Позитронные роботы Айзека Азимова, всемогущий суперкомпьютер Харлана Эллисона, репликанты Филипа Дика и сотни, тысячи других искусственных разумов, придуманных фантастами, так глубоко проникли в поп-культуру, что рождение реального AI было исключительно вопросом времени. И в современных IT, включая геймдев, без него уже никуда. 

Современную игровую индустрию тоже сложно представить без ИИ, хотя ещё пару лет назад они были в новинку. Нейросети помогают геймдизайнерам в поиске идей и автоматизируют рутинную работу художников.

По данным Unity, в 2023 году 62% игровых студий использовали в работе ИИ для быстрого прототипирования, создания ассетов, кодинга и других задач. При этом 71% разработчиков, применяющих нейросети, утверждают, что AI ускоряет и облегчает их труд.

Пройти мимо такого масштабного явления просто невозможно. Поэтому предлагаю вспомнить историю генеративного ИИ, обсудить его роль в современном геймдеве и представить, что он сможет предложить игровой индустрии в будущем.

Подноготная GAI

Генеративный искусственный интеллект (Generative Artificial Intelligence, GAI) способен создавать различный медиаконтент, например текст или изображения, с использованием так называемых генеративных моделей.

Генеративные модели работают примерно так же, как и другие нейросети. Они изучают закономерности в представленных на вход данных, а затем генерируют новые данные, которые напоминают то, на чём их непосредственно обучали.

Началом истории искусственного интеллекта можно считать статью Алана Тьюринга 1950 года «Вычислительная техника и интеллект». Она задала первые вопросы о том, что является машинным разумом, насколько он может быть аналогичен человеческому интеллекту, да и в целом внесла некоторое фундаментальное понимание того, что может собой представлять искусственный интеллект.

По-настоящему активное развитие темы ИИ началось с «Дартмутского летнего исследовательского проекта по искусственному интеллекту» в 1956 году. Именно на этом научном семинаре прозвучали первые призывы к более активному изучению вопроса искусственного интеллекта.

К началу 1970-х появились первые работы, связанные с ИИ. Например, компьютерная программа AARON, которая предназначалась для создания картин.

В начале XXI века прогресс в области искусственного интеллекта сильно стимулировало появление метода глубокого обучения. Этот подход позволил дальше исследовать классификацию изображений, распознавания речи и обработки естественного языка. Но из-за больших объёмов данных на тот момент нейронные сети обучались как дискриминационные (условные) модели.

В 2017 году была представлена новая архитектура нейронных сетей с глубоким обучением — «трансформер» (или «преобразователь»), которая позволила усовершенствовать уже существующие модели. Это привело к созданию так называемого «первого генеративного предварительно обученного преобразователя» или же GPT-1 в 2018 году. А в 2021 году вышла DALL-E — модель генерации растровых изображений на основе архитектуры трансформера.

К последним громким новостям в этой сфере относится заявление Microsoft Research, сделанное в марте 2023 года, о том, что GPT-4 можно считать системой общего искусственного интеллекта (AGI). То есть, в сущности, почти полным аналогом человеческого разума. Тем не менее это достижение всё ещё оспаривается, так как некоторые исследователи считают, что GPT-4 не дотягивает до нужного уровня.

Но для этого материала не так уж важно, насколько конкретный ИИ похож на человека. Главное, что современные нейросети создают медиаконтент почти всех возможных форматов.

GAI на службе человечества

В число актуальных генеративных моделей входят GPT, Copilot, а также ряд художественных систем искусственного интеллекта: Stable Diffusion, Midjourney, DALL-E и отечественная нейронная сеть Kandinsky.

Недавно в тройку самых популярных приложений на основе GAI вошёл Шедеврум Яндекса. Как отмечают в самой корпорации, с момента запуска в апреле 2023 года нейросеть уже установили почти 8,5 миллионов пользователей.

Ну и как не упомянуть выход 15 февраля 2024 года новой нейросети OpenAI Sora! Потенциально она может стать полноценным поставщиком визуального контента для видеохостингов. Более подробно про нее можно почитать на сайте разработчика, да и на Хабре уже есть несколько подробных статей.

Хотя для генерации всего одной минуты FullHD-видео требуются колоссальные вычислительные мощности и около часа времени.

Большого бума решений от небольших коммерческих компаний в этой области, к сожалению, не случилось. Дело в том, что для обучения таких нейронных сетей требуются фантастические объёмы данных. Гиганты вроде Microsoft или Google годами собирали информацию для обучения ИИ. А компания, ответственная за создание крупнейшего китайского интернет-поисковика Baidu, относительно недавно выпустила свой аналог GPT под названием ERNIE, который обучался на основе двух триллионов токенов. Маленькие студии не имеют доступа к такому количеству данных и поэтому не спешат с разработками области ИИ.

На рынке игровых движков ситуация аналогичная. Возможность создать собственный GAI имеют только самые крупные и популярные решения вроде Unity или Unreal Engine. Впрочем, им хватает альтернатив. О том, что сейчас есть на рынке, и чем уже можно пользоваться, расскажу ниже.

ИИ как инструмент игрового разработчика

Всеобщее распространение нейронных сетей началось недавно, поэтому на рынке пока мало решений, заточенных под игровую индустрию. Обычно в геймдеве применяют генеративные модели общего назначения. Например, можно использовать ChatGPT для развития уже придуманной истории. Или попросить Midjourney нарисовать арты, чтобы потом использовать их при создании диздока или быстрого прототипа. Однако существуют несколько проектов, ориентированных на игровую индустрию.

Самый интересный, на мой взгляд, инструмент — Unity Muse. Уже сейчас, в стадии раннего доступа, он позволяет создавать текстуры и спрайты прямо в интерфейсе движка, а для работы с генеративной моделью предлагает аналог ChatGPT. Нейросеть охотно генерирует, например, новые идеи или куски часто встречающегося кода. В дальнейшем Unity планирует добавить новые возможности по созданию гуманоидных анимаций, деревьев поведения игрового ИИ, 3D-моделей для прототипирования игр.

Epic Games пока что не заявили об официальных инструментах для работы с нативным искусственным интеллектом. Тем не менее уже сейчас существуют сторонние решения от сообщества.

Promethean AI уже с 2019 года автоматизирует рутину разработчиков. Этот инструмент предназначен для менеджмента игровых ассетов и создания виртуального мира.

Благодаря тому, что Promethean AI комбинирует в себе как генеративную нейронную сеть, так и менеджер ассетов, пользователь может достаточно быстро проектировать игровые уровни. Для создания больших объемов контента предусмотрен встроенный помощник. Его можно попросить, к примеру, создать участок для генерации большого массива растительности или небольшую зону отдыха для спальни. Плюс всегда можно вызвать встроенный менеджер ассетов и оперативно собрать необходимые визуальные элементы из готовых решений.

Такой подход немного отличается от концепции Muse. Ведь в Unity, скорее всего, хотят, чтобы игровые ассеты, которые генерирует искусственный интеллект, не нужно было как-то править. В то время как Promethean AI выглядит больше как некий аналог визуального ассистента на основе искусственного интеллекта, который позволяет упростить и ускорить работу, например, технического художника.

Ещё один полезный для игрового разработчика инструмент интегрирован в MANU Video Game Maker. Создатели позиционируют свой проект как трёхмерный игровой движок, который позволяет создать игру мечты без программирования — зато с использованием встроенного ИИ-ассистента. В перспективе он сможет генерировать даже небо почти весь игровой контент, включая уровни и катсцены. Но пока всё это по большей части экспериментальные фичи, недоступные широкой публике. Зато уже сейчас MANU может помочь с проработкой истории и игровых механик.

Достаточно написать запрос, нажать кнопку “Imagine storytelling” — и…  

…вуаля! MANU представляет готовую историю в виде схемы с подробными комментариями. Например, вот что может получиться, если попросить ИИ придумать сюжет для платформера про зомби, которые ориентируются на запах.

А вот так выглядит логика вражеского NPC, сгенерированная искусственным интеллектом. 

Я провёл в MANU несколько часов и могу сказать, что здешнему AI-ассистенту точно есть куда расти, но натолкнуть на верную мысль и задать направление работы он может уже сейчас. Осталось подружить его с генерацией ассетов, и можно будет оставить в интерфейсе всего одну кнопку — «Создать игру». Фантастика, конечно, но не такая уж далёкая от реальности. 

А пока оставим мечты и обратимся к проекту наших соотечественников, на котором хотелось бы чуть подробнее остановиться по двум причинам. Во-первых, он приносит геймдеву реальную пользу уже сейчас. Во-вторых, принцип его работы очень наглядно демонстрирует особенности функционирования нейросетей. 

В 2019 году Московская студия Banzai Games начала работать над новым инструментом для создания анимаций Cascadeur. У авторов образовалось много материала после работы над Shadow Fight 3, и они разумно рассудили, что более 1100 анимаций не должны пылиться на полке. Разработчики дополнили уже существующий датасет, разбили анимации на отдельные позы и обучили на этом несколько нейросетей, которые предсказывают поведение всех ключевых точек в анимации по нескольким значениям управляющих точек.

Подход Banzai Games основан на использовании композиции нейросетей. По началу они пытались использовать стандартную архитектуру нейронной сети и ключевых точек, поданных на вход. В зависимости от того, насколько отклонилось предсказанное значение, оценивалась точность работы сети.

Поначалу отклонения было высоким — около 3,5 сантиметра. Но разработчики заметили, что при увеличении входного количества точек до 16 точность улучшилась в два раза. Это натолкнуло их на мысль, что можно использовать композицию нейросетей. 

Так, первая нейросеть может принимать всё те же 6 ключевых точек, а вот следующая за ней будет принимать 15 точек, предсказанных прошлой нейросетью и т.д. Таким образом можно добиться уменьшения ошибки без увеличения работы аниматора, который всё так же использует лишь 6 точек.

Интересно было бы посмотреть, как Cascadeur справляется с предсказанием поведения анимации неантропоморфных персонажей. Ведь, судя по открытой информации, он обучался на человекоподобных анимациях. Впрочем, Banzai Games, судя по всему, справилась и с этой задачей. По крайней мере авторы смогли решить проблему позиционирования кошки в пространстве при падении.

Совсем недавно, 13 марта 2024 года, в открытый доступ вышел исходный код работы под названием Animatable Gaussians: Learning Pose-dependent Gaussian Maps for High-fidelity Human Avatar Modeling. Данный метод создания анимированных гуманоидных моделей обучается на основе RGB-видео и благодаря технологии 3D Gaussian splatting, а также инновационному подходу к обучению нейросети, превосходит существующие решения на основе neural radiance fields (NeRF).

Я немного затронул тему создания 3D-моделей по их текстовому описанию, когда говорил про Unity Muse. Но нельзя не отметить, что сегодня уже существует похожее решение, которое называется Luma AI.

Решение позволяет по текстовому описанию генерировать полноценные 3D-модели с развёрткой и текстурами в удобных для игровой индустрии форматах, например .fbx или .gltf. Также Luma AI имеет интеграцию с Unreal Engine, точнее с UEFN.

Но говорить про полноценные генераторы 3D-моделей по запросам на естественном языке пока рановато. Любая более-менее сложная задача заставляет такие GAI генерировать несвязные образы — генеративную овсянку. Совсем как первые версии нейронных сетей при генерации 2D-изображений. 

Хотя генеративные модели для работы с 2D-изображениями всё же развились и сейчас выдают более-менее адекватные результаты даже на сложных запросах. Существуют и специализированные решения для геймдева, типа PixelLab, которые упрощают рутинную работу со спрайтами.

Сложно выделить какой-то один инструмент, потому что каждый пользуется тем, чем удобно. Сфера применения таких моделей представляет, на мой взгляд, больший интерес.

Нейронные сети можно использовать в основном для двух вещей. Первая — это скоростное прототипирование 2D-ассетов, будь то иконки для пользовательского интерфейса или какие-то простенькие скетчи. Вторая — быстрое улучшение качества изображений. Тем более, что сейчас часть таких нейросетей встраивается на аппаратном уровне разработчиками микропроцессоров. Живой пример — Deep Learning Super Sampling (DLSS). Это может пригодиться при работе, например, над ремастером уже существующей игры.

GAI к успеху идёт

Одним из перспективных, на мой взгляд, направлений использования генеративного искусственного интеллекта является сканирование пространства.

Некоторое время назад качественная фотограмметрия произвела фурор в игровом сообществе. Когда Epic Games купила компанию Quixel, крупнейшую в мире библиотеку доступных ассетов на основе технологии фотограмметрии, это сильно упростило вход в игровую разработку. Можно было начать создание игры не с примитивным набором базовых ассетов, которые поставлялись вместе с движком, а использовать качественные ассеты из библиотеки Quixel Megascan — и не тратить ни время, ни деньги.

Тем не менее процесс качественной фотограмметрии остаётся сложным и долгим. В полевых условиях можно воспользоваться лазерным сканером, но при этом качество фотограмметрии будет очень сильно отличаться от профессионального.

При этом та же Luma AI предоставляет экспериментальный инструмент для 3D-сканирования пространства, который улучшает качество фотограмметрии за счёт применения нейронных сетей. Данный метод называют NeRF или Neural Radiance Field. Он основан на глубоком обучении и позволяет восстанавливать трёхмерное пространство по его двумерным изображениям. В отличие от других методов восстановления сцены NeRF может учитывать в том числе и отражения.

Интерактив:

Другим перспективным направлением в области генеративного искусственного интеллекта я считаю ИИ для неигровых персонажей.

Компания NVIDIA предлагает использовать языковые модели как основу для системы общения NPC друг с другом и с игроком. Такой подход позволяет сделать каждый разговор с NPC уникальным. Этот функционал представлен в технодемке NVIDIA ACE.

Пока я работал над этим материалом, в сети появился анонс BuildBox 4 — игрового движка, основанного на ИИ. Авторы обещают встроенную генерацию ассетов, сцен, логики и вообще чуть ли не всей игры по текстовым запросам. Уже сейчас можно записаться в лист ожидания и поучаствовать в альфе.

То, насколько широким становится спектр применения генеративного искусственного интеллекта в игровой индустрии, не может не радовать. Однако технический прогресс немыслим без проблем. В первую очередь юридического толка.

Проблемы с законом

До сих пор нет единого понимания, что делать с искусственным интеллектом, который обучался на текстах или изображениях, защищённых авторским правом. Тем более, что это могло произойти случайно. Например, во время разметки интернет-ресурсов, которые необходимы, чтобы сформировать контекст истории для генеративного искусственного интеллекта за определенный промежуток времени. Ни для кого не секрет, что ChatGPT знает только о тех событиях, которые произошли на момент его обучения.

Разумеется, эта тема важна не только для геймдева. Риэ Кудан, лауреат премии Рюноскэ Акутагавы, признавалась, что около 5% её романа «Токийская башня сочувствия» написал ИИ. Книга как раз затрагивает моральный вопрос использования искусственного интеллекта.

Риэ Кудан решила на себе проверить, как же ИИ влияет на нашу жизнь. В итоге получила волну негатива, так как не все считают, что без использовании нейросетей она смогла бы добиться такого успеха. Оргкомитет пока остался в стороне.

Steam же долгое время предупреждал, что в случае использования в играх контента, созданного с помощью генеративных моделей, у разработчиков могут возникнуть проблемы — вплоть до блокировки. Дело в том, что внутри вроде бы уникальных изображений, сгенерированных нейронной сетью, могут находиться фрагменты чьих-то работ, защищенных авторским правом. А его необходимо уважать.

Совсем недавно Steam ввёл правила, которые регулируют этот вопрос. Теперь в случае использования GAI при создании игры необходимо это указывать. При публикации такой контент обязательно нужно помечать и доказывать, что он действительно не нарушаете ничьи права.

Но никакие ограничения не могут помешать энтузиастам исследовать границы применимости ИИ в игровой индустрии. И уже сейчас в Steam хватает достойных игр с использованием ИИ от независимых разработчиков. Вот лишь несколько примеров.

Играем в GAI

В стильном приключении в духе "Твин Пикс" Who's Lila от российского разработчика-одиночки Garage Heathen мы не выбираем диалоговые опции, а меняем мимику главного героя при помощи мыши. Нейросеть распознаёт эмоцию, и это влияет на сюжет.

Ещё один соло-проект «АИдвенчура» предлагает отправиться в текстовое приключение, которое на лету создаёт искусственный интеллект. Можно писать что угодно на живом языке — причём почти на любом, ведь игра поддерживает автоперевод с помощью всё того же ИИ.

Ещё дальше идёт отечественная DREAMIO: AI-Powered Adventures. Она генерирует не только текст, но заодно иллюстрации и голос диктора. Получается что-то вроде бесконечной визуальной новеллы, в которой можно делать всё что угодно.

Интерактивный детектив Vaudeville предлагает общаться со свидетелями и подозреваемыми как с живыми людьми — голосом. С персонажами можно поболтать почти на любые темы, кроме оскорбительных и неэтичных, и они будут поддерживать разговор, не выходя при этом из роли. Кажется, будущее уже здесь.

Прошло совсем немного времени с момента массового распространения генеративных моделей как инструмента для разработчиков. В дальнейшем, конечно, эту сферу формализуют получше. Но тем не менее проявить осторожность при использовании трудов GAI стоит уже сейчас. Тем более, что ИИ постепенно охватывает всё больше областей геймдева.

Где от ИИ больше всего пользы?

Наибольшую полезность нейронные сети показывают на ниве визуального ассистирования, когда на их могучие плечи перекладывают рутинную работу по расстановке объектов. Такие предложения отлично чувствуют себя на рынке (вспомнить хотя бы Promethean AI). Судя по обещаниям создателей Unity Muse, данное направление продолжит развитие.

А ещё нейросети могут стать для программиста полезными помощниками в изучении игровых библиотек.

Сложно найти примеры использования GAI для создания, допустим, игровых уровней во время работы программы. Это связано с тем, что нейронные сети подвержены такой проблеме, как генеративная овсянка, и в целом не являются детерминированными. Разработчик может влиять на процесс обучения и таким образом улучшать результаты, которые будет получать в дальнейшем. Но после обучения повлиять на то, какие результаты будет выдавать ИИ, уже нельзя.

Для игр очень важен гарантированный стандарт игрового опыта. А его сложно добиться при использовании нейронной сети, которая не способна даже понять, что созданный ей уровень, например, непроходим. Более того, мы не можем гарантировать заданный игровой темп или то, что от генерации к генерации сложность игрового уровня (скажем, в шутере от первого лица) будет одинакова. В то время как при использовании PCG эти метрики можно проверить ещё на этапе генерации.

После создания уровня нейронной сетью можно запускать процесс апробации на соответствие его игровым метрикам с помощью агентных систем. Но всё же это достаточно долгий процесс, да и агентные системы не сильно отличаются от PCG, так как тоже являются алгоритмическими.

В совокупности эти проблемы приводят к тому, что на рынке не существует коммерческих продуктов, способных создавать игровые уровни. Но, надеюсь, в будущем ситуация изменится.

Тем более, что один из крупнейших игроков на рынке открыто заявляет: «ИИ спасёт игровую индустрию». CEO Tencent Holdings Пони Ма заявил, что, несмотря на высокую конкуренцию, им удалось за 2023 год сократить технологическое отставание от компаний первого эшелона в области ИИ-технологий. Пока, правда, не совсем понятно, что нас ждёт: PUBG Mobile и Genshin Impact с применением этих технологий или массовые сокращения. Время покажет.

***

Итак, сейчас нейронные сети можно использовать для генерации простого игрового контента вроде спрайтов, текстур и (пока с солидными ограничениями) 3D-моделей. Есть первые попытки использовать текстовые модели как основы для какой-то части игрового искусственного интеллекта. Но всё это нужно делать с осторожностью, потому что юридическая и этическая стороны вопроса пока не до конца проработаны.

Если во время разработки необходимо гарантировать какой-то детерминированный постоянный результат, который опирается на понятные параметры генерации, то, конечно же, нужно использовать алгоритмы процедурной генерации. 

Если же необходим быстрый инструмент для прототипирования игр, чтобы на ранних этапах работы уже собирать первые наброски игровых ассетов, или просто инструмент креативного ассистента, то для этого смело можно использовать генеративные нейронные сети, которые намного лучше себя показывают в творческом ключе.

Для разработчиков как игр, так и игровых движков очень важно различать PCG и GAI, потому что это абсолютно разные инструменты, которые при умелом совместном использовании могут дать невероятные результаты.

P.S. Неужели будущее настолько близко? А сколько искусственно созданных лиц сможете угадать вы?