В свободное время я генерирую тысячи красивых (и не очень) картинок. Иногда я пробую сделать что-то, что будет иметь практическую ценность. Основным преимуществом рисующих нейросетей сейчас я вижу время. Можно сделать портрет почти готового качества за несколько минут; стилизовать любое изображение или набросать композицию. Как же это использовать?
На превью статьи иллюстрация, которую я сделал буквально за час. Это фан-арт на еще не вышедшую игру Hollow Knight: Silksong. Игра выполнена в двухмерной, стилизованной графике, довольно простой технически, но очень интересной и замысловатой с точки зрения идей. Задачу я себе поставил простую – создать постер, показывающий главную героиню игры на условном фоне в реалистично-живописной манере (насколько это возможно в случае с антропоморфными фэнтези-жуками).
В современном арте очень редко рисуют руками от и до. Большинство изображений, которые вы видите в видеоиграх или на площадках, где собираются цифровые художники (типа artstation), не нарисованы полностью от руки. Как правило, процесс выглядит следующим образом: художник создает 3д сцену (часто уже из готовых элементов, китбашей), или коллаж из фотографий, а потом сверху вручную доводит до состояния полноценной иллюстрации или концепт арта. Все что я сделал – заменил 3д сцену или коллаж из фото, коллажем из того, что сгенерировала нейронная сеть.
За основу я взял уже существующую иллюстрацию, которая засветилась на обложке журнала EDGE:
На первом этапе я прогнал изображение через нейронку, используя подготовленную мною заранее модель, натренированную на всяких органических и насекомоподобных рыцарях.
Из получившихся вариантов мне понравилась идея головы с фактурой, похожей на кость, и плащ, напоминающий кожистую перепонку. Определившись с наборами промптов (текстовых запросов), я “отделил” персонажа от фона и стал генерировать уже более конкретные дизайны.
Затем я сгенерировал фон – мне было не принципиально его содержание, так как я собирался его довольно сильно размыть и “размазать”, интересовала только цветовая гамма. Остановился на зеленом варианте:
Получив фон, я все “склеил” в одну картинку, выбрав лучшие на мой взгляд куски дизайнов, и добавил лого.
Получившийся коллаж я прогнал еще раз через нейронную сеть, чтобы лучше вписать персонажа в окружение и получить некоторые дополнительные детали:
Отдельно сгенерировал несколько вариантов копья:
Всё получившееся я снова собрал в одно изображение и потратил оставшееся время на ручную доводку: добавил синего дыма, сильнее размыл задний план, уточнил некоторые детали, нарисовал шелковую нить, провел цветокоррекцию и немного декорировал лого.
Резюме
По итогу на работу суммарно ушло около часа-полутора. Я не делал все в один присест, а занимался картинкой между домашними делами и игрой в Dark Souls. Всего я сгенерировал 214 изображений. В работе я использовал: фотошоп и stable diffusion 1.5 с заранее обученной моделью (время на обучение модели я не учитывал).
Что можно вынести из этого опыта?
Я уже и раньше экспериментировал с подобными подходами, но все это не выходило за рамки набросков или генерации портретов для нарисованных “вручную” персонажей. Как видно, уже сейчас можно использовать рисующие нейронные сети в профессиональной деятельности (концепт арт, иллюстрация), как минимум как часть процесса.
Этот инструмент способен очень сильно сэкономить время и даже помочь в поиске дизайна, композиции или цветовой гаммы. К сожалению, профессиональные художники все еще боятся нейронных сетей и видят в них скорее конкурента, чем помощника, в то время как это может быть полезным инструментом, методом экономить время и устранять рутину.
Другие мои статьи:
Давайте запретим нейронные сети
Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion
Комментарии (30)
Abat22
07.12.2022 13:44+5Я уже и рефенсами из интернета почти перестал пользоваться.
Нейронка предлагает 20-30 вариантов - я выбираю из них лучшие куски, и так собираю концепт
chiliec
07.12.2022 13:57А с 3D-модельками так уже можно?
Gorislav Автор
07.12.2022 13:58Есть какие то попытки, но там все слабо. Пока только в 2d значительный прогресс.
furior
08.12.2022 10:083д моделей в открытом доступе банально куда меньше, чем картинок, да и модель все таки более сложная конструкция, чем изображение
Drayden
07.12.2022 14:48+2Полагаю, что художники избегают модных нейрорисователей, потому что они уже сталкивались с проблемами лицензирования.
А в этой области прецеденты ещё не созданы.
А вот когда всё устаканится...
Gorislav Автор
07.12.2022 15:44Нейросети в этом плане безопаснее, чем материалы из интернета
Drayden
07.12.2022 15:48Пока - да. Но т.к. реальные картинки участвовали в обучении нейросети - вполне можно ожидать каких-то юридических баталий. А вот когда будет вердикт и прецедент - то либо все вооще перестанут их юзать, либо все начнут.
Kwent
07.12.2022 16:16вполне можно ожидать каких-то юридических баталий
Маловероятно, доказать что конкретная картинка была в обучении крайне сложно (формально невозможно, только если авторы не признаются), а вот что еще именно эта картинка хоть как-то повлияла на именно этот арт, не смогут доказать даже авторы сети.
> то либо все вообще перестанут их юзать
Нейросети такая штука, что их как бы нельзя запретить. Допустим, мы можем запретить конкретный файл весов с хэшом Х, но они настолько избыточны что можно поменять буквально все веса чуть-чуть и качество практически не изменится, да и запретить обучить мне нейросеть никто не сможет
Тут скорее художники и юристы должны подстроиться, свои правила гнуть поздноDrayden
07.12.2022 16:32+1Да? А если художники скинутся на нейросеть, которая доказывает, что данная картинка была в матерьяле обучения? :)
Меня, кстати, больше интересует, что будет, когда большинство перестанет рисовать и начнёт только нейросетевые сны копипастить. Просто интересно, как изменится индустрия, подготовка, навыки и тд.
Kwent
07.12.2022 17:46+2Да? А если художники скинутся на нейросеть, которая доказывает, что данная картинка была в матерьяле обучения? :)
Любая нейросеть это не про да или нет, а про вероятности, которые еще и не совсем классические вероятности. Максимум тут будет классическое "эксперт сказал что так".
Кроме того, там сильная потеря информации, миллионы картинок "сжимаются" с огромными потерями, мягко говоря, непредсказуемым алгоритмом в не интерпретируемые сущности, котят из фарша не восстановишь (С)
Большинство не перестанет рисовать, большинство начнет использовать нейросетевые заготовки, как автор в статье
Tarakanator
09.12.2022 09:11+1Вы хотите сказать, что если художник обучался в том числе на картинке из интернета, то результат его трудов может быть признан нелицензионным только на основании того как он обучался?
Drayden
09.12.2022 10:27Давайте представим, что художник, обучавшийся на платной картинке из интернета, нарисует новую картинку - в том же стиле, с теми же деталями, с теми же фонами. Просто переставит их местами. Возможны ли юридические проблемы?
Есть разница между художником и нейросетью - в том, что художник кроме кучки картинок обучается ещё на всём, что видит. А ещё у каждого художника ручки дрожат по-своему.
Tarakanator
09.12.2022 12:19Вы искажаете смысл. Не обучавшейся на платной картинке, а обучавшийся на куче картинок, в числе которых была платная. Да, там может вылезти такая-же делать. Но у человека она так-же может вылезти. И не со зла, просто сложно отличить придуманное от вспомненного.
Да обучается на всём, что видит. Т.е. проблема в количестве картинок на которых обучали нейросеть? Сколько картинок надо запихнуть в нейросеть?
Вон писатели обучаются на платных книгах и ничего.Drayden
09.12.2022 13:00Вы искажаете и смысл, и мои слова.
Во фразе про нейросеть я написал "кучка картинок", а вы пишете про одну.
Слова "платная картинка" были во фразе, где не было нейросети, а был художник.
А ещё вы манипулируете словами, приравнивая термины "обучение человека" и "обучение нейросети".
Решать "чего или ничего", "проблема или все ок", "признан нелицензионным или нет" - буду не я. Это будут решать суды и законодатели.
Я просто пишу про риски для использователей технологии. Потому что вижу возможные обиды со стороны художников.
Вероятностные риски. Потому что предсказывать решения судов я тут не берусь. Может пойти и так, и так.
Tarakanator
09.12.2022 13:57Во фразе про нейросеть я написал "кучка картинок", а вы пишете про одну.
Насколько я понимаю не может быть нарушением использование кучи картинок. Может быть только сумма нарушения использований по одной картинке. Поэтому достаточно рассмотреть вариант когда мы берём одну платную картинку.
Мы конечно при этом не рассматриваем вариант когда нейросеть обучили скажем ТОЛЬКО на одном и платном наборе картинок. Но я не думаю что это реальный кейс. Реальный кейс в датасет затесалась платная картинка.А ещё вы манипулируете словами, приравнивая термины "обучение человека" и "обучение нейросети".
Я не манипулирую. Я считаю что эти термины достаточно близки.
Потому что предсказывать решения судов я тут не берусь.
Я вообще нигде не берусь предсказывать решение судов. Вот буквально вчера мне от приставов пришло письмо, где расписывается какой я плохой, а потом ВНЕЗАПНО снять арест. Почему-совершенно непонятно.
Это конечно не суд, но в судах я такое-же вижу.Drayden
09.12.2022 14:00Окей. Речь, конечно же, не шла про суды в РФ. Речь шла про более изощрённые и сложные цивилизованные суды.
Давайте, чтобы упростить беседу, я просто отвечу кратко на ваш изначальный вопрос:
Вы хотите сказать, что если художник обучался в том числе на картинке из интернета, то результат его трудов может быть признан нелицензионным только на основании того как он обучался?
Нет, я не хочу этого говорить.
(ха-ха)
Gorislav Автор
09.12.2022 14:47Они возможны только если на картинке будут те же персонажи или какие то очень характерные только для определенной интеллектуальной собственности места или объекты. И они будут очень точно воспроизведены. Добиться подобного результата от нейросети случайно, почти нереально. Только если очень хотеть этого и очень стараться.
Многие думают что "стиль" как то может быть предметом авторского права, но и тут нет.: такого определения в области авторского права просто нет. А нейронки как раз очень хорошо копируют именно то, что люди обычно называют "ситилем".
Drayden
09.12.2022 15:17+1Звучит разумно.
Я в данном случае не хочу играть в адвоката дьявола и приводить контраргументы. Так что просто будем посмотреть, как дело пойдёт.
savostin
07.12.2022 17:41+3А мне как-то "Итоговый коллаж" (вернее "некоторые варианты" после него) лучше смотрится, чем "Финальный результат". Имхо "кожаный мешок" что-то испортил своей фантазией. Или я бот (уже).
agray
07.12.2022 19:05+5Проблемка есть. Это всё симулякры, которые не имеют под собой вообще никакого смысла. Оружие не оружие, потому что нейросеть не понимает что такое вес или форма, плащ не плащ, потому что складки нарисованы там где никаких складок быть не должно, разные коленки и пальцы на одной модели. Потерян общий смысл, выглядит будто внеземной или разум из другой вселенной пытается подражать тому что не понимает, используя лишь формы, а не содержание.
Не понимаю как подобные казусы кто-то принимает за что-то стоящее или вообще приемлемое, так ещё подобное и конкурсы какие-то выигрывает. Неужели кому-то не видно?
Areek
07.12.2022 20:19+8Анекдот про поддельные ёлочные игрушки знаете?
А если серьёзно, то авангардизм смотрит на вас... всеми своими течениями. Вот и ещё одно новое зарождается. ИИзм)))
agray
08.12.2022 09:07А ведь и правда. Тогда, как отдельное течение искусства - вполне себе ничего. Даже на стену повесить можно, объект искусства перемноженных матриц.
D03ER
08.12.2022 11:26+1выглядит будто внеземной или разум из другой вселенной пытается подражать тому что не понимает, используя лишь формы, а не содержание.
В принципе, почти так и есть
Hlad
08.12.2022 08:35+1Немного попридираюсь: в руках у персонажа должно быть не копьё, а швейная игла. Плащ должен быть из шёлка. В погоне за внешней крутизной, как это часто бывает, потеряна суть.
vassabi
а в грядущем обществе изобилия проблема выбора встанет еще острее
Mozzzez
Нейрона решит всё за тебя