Я по фану нарисовал куклу, чтобы потом на ее основе делать разные фанарт скины с анимациями и выкладывать их во все запрещенные и нет соцсети.

Кукла и анимация
Кукла и анимация

А спустя время наткнулся на нейросеть playgroundai основанной на stable diffusion и DALL·E 2. Там оказалось можно генерировать изображения на основе текста и на основе своего фото или рисунка, что меня привлекло.

UPD: Сейчас появилось множество всевозможных сервисов для генерации изображений, например: Midjourmey, Leonardo, Alpaca и т.д.

На сайте множество настроек от степени похожести на оригинал до готовых пресетов с ключевыми словами, в общем поиграться есть с чем (тем более, что в день дается аж 1000 изображений!)

Скрин с сайта нейросети
Скрин с сайта нейросети

Сначала я естественно побаловался на фотографиях и своих старых работах, интересно, но не более того.

Непосредственно генерация

Через некоторое время решил вставить куклу как основу для генерации и посмотреть что получится и понеслась.

Для генерации выбрал тему постапокалипсиса, прописал соответствующие ключевые слова и нажал Generate.

mad max, book of eli, character, man in sand, comics, art, concept art, detailed, line art, cartoon

? Ключевые слова по фильмам и стилю желаемой рисовки (промт) ?

То, что мне выдавало при базовых настройках без фильтров. Прикольно, но слишком мало деталей.

Полез дальше в настройки:

Похожесть на оригинал — 40

Фильтр — Delicate Detail

Соответствие ключевым словам — 20

Качество и детализация — 30

И тут полезли уже интересные варианты:

Фрики на любой вкус и цвет!

По превью изображений сразу угадывается стиль изображений комикса "Mad Max" и концептов к фильму "Книга Илая" (ключевые слова сработали и как реф за основу просто супер).

Получались интересные результаты и не очень, но в целом есть с чем работать.

Очень много картинок
Очень много картинок

В итоге за 3 дня я нагенерировал более 150 изображений с разными вариациями, используя дополнительные ключевые слова.

Вот, что получалось когда к имеющимся словам добавлял дополнительные ключевые слова.

Что получилось и как с этим можно работать

Нагенерировав большое количество изображений можно приступать к отбору самых подходящих.

Где-то я брал только головы и дорисовывал огрехи сети сам, где-то просто вырезал подходящие элементы.

Примеры в картинках ниже ?.

Головы от разных генераций, выровнил цвет под один
Головы от разных генераций, выровнил цвет под один

Кисти рук по классике выходят как культи и по итогу лучше дорисовывать их самому.

Золотая коллекция референсов кистей рук для художника
Золотая коллекция референсов кистей рук для художника

Интересные части на изображениях, будь то головы, обувь, пояс или футболка с нагрудной бронёй.

Можно также поиграться с исходным изображением для более четкой генерации, дорисовывая на куклу схематичные предметы.

Пример сборки персонажа из разных изображений
Пример сборки персонажа из разных изображений

Подготовка к интеграции в игровой движок

Для анимации я использую программу костной анимации Spine. Нарезаю персонажа на нужные части и он готов к экспорту из фотошопа. Все головы, ремни, жилетки и ботинки можно будет сделать скинами на одном персонаже, что очень удобно и дает вариативность в создании персонажа.

Нарезка под костную анимацию
Нарезка под костную анимацию

Риг персонажа в Spine

Базовые анимации + скины голов, сумки и жилета (задел на снаряжение)
Базовые анимации + скины голов, сумки и жилета (задел на снаряжение)

Положение и ракурс персонажа очень хорошо ложатся на 2D игру по типу платформер или сайдскроллер.

Интеграция в Unity

Закидываем файл json от spine в unity, предварительно поставив специальный пак для импорта. Пишем простой контроллер чтобы персонаж мог стоять и ходить.

Персонаж в движке Unity

Вот и всё получается, персонаж сгенерированный нейросетью в игре!
Остается только добавить возможност грабить караваны и игра готова.

UPD: Эту статью я написал ещё в далёком 2022 году, понятно, что сейчас нейросети шагнули далеко вперед, но и я не останавливаюсь на достигнутом!

Подписывайтесь на мой Телеграм-канал, там я регулярно выпускаю посты про разработку и анимацию!

Спасибо, что дочитали! Надеюсь моя статья поможет вам освоить такой удобный инструмент как нейросети.

Комментарии (6)


  1. Asterris
    19.09.2024 01:35
    +2

    Отличная статья, спасибо! Накинул кармы, почему-то был там -1


    1. oshpunch Автор
      19.09.2024 01:35
      +1

      Спасибо!
      Кто-то подгорел и влепил минус)


  1. safari2012
    19.09.2024 01:35
    +1

    Я тоже зашел посмотреть почему на главной странице в статье с таким интересным заголовком стоит -2.

    А тут всё норм :)


  1. mathildeeverheart483
    19.09.2024 01:35
    +1

    Спасибо за статью! Познавательно и полезно!)


  1. ieusoltsev
    19.09.2024 01:35
    +1

    Сам пишу сейчас игру, и смотрю на разные нейросетки. Нашел одну, нагенерил в ней нормально так текстур, некоторые удачно, некоторые не очень. Но в целом довольно неплохо. И как раз встал вопрос с текстурами для персонажей и их анимацией. Весьма полезно, лайк и подписка


    1. oshpunch Автор
      19.09.2024 01:35
      +1

      Спасибо!
      У меня тут назреват большой эксперимент и лонг в частности, на тему - игра полностью на нейросетях от кода до звука.