С тех пор, как год назад вышел ChatGPT, индустрия генерации цифрового контента находится в суматохе. Всех постепенно начинает вытеснять ИИ. Ряд художников, авторов, исполнителей, и даже звукозаписывающие компании подали многочисленные иски против компаний, занимающихся искусственным интеллектом, в основном против OpenAI. Все они касаются одного: обучающих данных. Компании ходят по всему интернету и собирают миллиарды фрагментов текста/звука, а также миллионы изображений в дата-сеты для тренировки своих моделей ИИ. Естественно, авторам или владельцам контента за это никто не платит, и их даже вообще никак не нотифицируют. Развитие технологии превыше всего.
Чтобы пресечь такой сбор данных, Reddit и X этим летом запретили доступ к своим API сторонним приложениям. Но обычные дизайнеры и цифровые художники не имели никакой возможности противостоять использованию их работ для обучения новых коммерческих ИИ.
При этом практику свободного распространения данных в интернете художники обычно поддерживают. Индексация их картинок раньше могла принести новых клиентов или сделать популярнее их сайт. Но теперь многие вынуждены делать свои данные полностью приватными, опасаясь со временем остаться вообще без работы. Чем больше картинок о тебе есть в Сети — тем точнее твой стиль может скопировать одна из этих моделей. Дошло до того, что если ты популярен, сейчас можно дать боту команду «сделай мне эту картинку, но в стиле художника Х». Вместо того, чтобы платить сотни долларов и ждать результата неделю, картинка выходит бесплатно и через несколько минут. Кому-то такая «демократизация контента» очень нравится, но сами создатели цифровых изображений от этого развития в шоке.
Теперь же у художников появился шанс дать реальный отпор ИИ. Чтобы не они боялись генеративных моделей, а те боялись их. Это будет сделано не с помощью эфемерных судебных исков, а тоже с помощью передовых технологий. Недавно MIT Technology Review получили эксклюзивный доступ к новому инструменту с открытым исходным кодом под названием Nightshade, который художники смогут добавлять к своим изображениям перед их загрузкой в Сеть. Он изменяет пиксели способом, невидимым для человеческого глаза, но это «отравляет» картинку для любых моделей ИИ, желающих на ней тренироваться. Технология готовится к выпуску, будет доступна бесплатно для всех, и, похоже, имеет хорошие шансы изменить всю индустрию.
Откуда взялся Nightshade
Nightshade был разработан исследователями Чикагского университета под руководством профессора информатики Бена Чжао. Он будет добавлен в качестве дополнительной настройки к их предыдущему продукту Glaze, еще одному онлайн-инструменту, который может скрывать цифровые произведения искусства и изменять их пиксели, чтобы сбить с толку модели ИИ относительно их конкретного стиля.
В случае с Nightshade технология противодействия ИИ идет намного дальше: система даже заставляет модели ИИ запоминать неправильные названия объектов и пейзажей, на которые они смотрят. В качестве примера исследователи отравили изображения собак, включив в пиксели информацию, благодаря которой для моделей ИИ они выглядели как кошки. Постепенно при запросе «нарисуй мне собаку» генеративная модель могла выдавать только что-то кошкоподобное.
Грубо говоря, у ИИ получается «замутнение разума», и оно не понимает, что именно находится перед ним, и как это использовать. Машины превращаются в коров, сумочки — в тостеры, реалистичный стиль — в какую-то абстракцию. Поскольку каждый художник может внедрить свою информацию, противодействия такой системе (по крайней мере, теоретически) нет. Единственный вариант для создателей ИИ — обходить картинки такого иллюстратора стороной, чтобы он не портил им обучение.
При этом заметьте, что самая отвратительная мешанина получается, когда «отравленных» изображений в датасете немного. Если они начинают доминировать — модель с большой четкостью рисует кошку. Но если таких картинок немного, выходит ужасный котопес, которого точно не захочет увидеть ни создатель, ни пользователь ИИ. Поэтому даже относительно небольшое количество изображений, «испорченных» с Nightshade, может сильно усложнить разработку новых генеративных моделей.
Конечно, обычных картинок в интернете всегда будет больше. Поэтому даже в мире с Nightshade GPT-ИИ не станут выдавать «кошек». Но они будет работать сильно хуже. Может даже оказаться, что самые точные генеративные ИИ были выпущены до того, как были найдены способы им противодействовать.
Яд капает с клыков
Для тестирования Nightshade и получения фото исследователи применяли Stable Diffusion. Благодаря характеру работы генеративных ИИ — путем группировки концептуально схожих слов и идей в пространственные кластеры, известные как embeddings — Stable Diffusion также перестала нормально работать на словах «хаски», «щенок» и «волк». По всем этим запросам модель теперь тоже выдавала что-то похожее на кошек.
По словам разработчиков, от техники отравления данных крайне сложно защититься, поскольку она требует от разработчиков ИИ-моделей отсеивать любые изображения, содержащие зараженные пиксели. Но многие обычные картинки тоже имеют ошибки и погрешности. Отличить их от технологии Nightshade будет крайне непросто.
Любые зараженные изображения, которые уже были добавлены в набор обучающих данных, также придется как-то обнаруживать и удалять. Если какие-то пройдут через фильтр, выяснить это можно будет только после дорогого и длительного процесса обучения модели. А если модель ИИ уже была на них обучена, её, скорее всего, придется переобучать.
Вместо этого, возможно, проще будет заплатить создателям картинок за исходные изображения, которые не были «заражены» технологией Nightshade. И таким образом художники сохранят права на свою интеллектуальную собственность. А те, кто просто хочет загружать фото своих собак и котов в Интернет, даже не будут знать о той борьбе, которая идет за кулисами.
НЛО прилетело и оставило здесь промокод для читателей нашего блога:
-15% на заказ любого VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.
Комментарии (31)
VelocidadAbsurda
24.10.2023 08:53+4Интересно, во времена луддитов кто-то тоже разрабатывал какие-нибудь «кувалды для более эффективного разрушения станков»? </sarcasm>
Newbilius
24.10.2023 08:53+3А вот DRM как способ технического ограничения запуска нелицензионной копии продукта тоже можно считать луддизмом? Или защита бесплатных копий картинок на фотостоках ватермарками? По сути ведь художники просто хотят защитить свой контент от нелегального использования, не более того. В паблике - "отравленные" картинки, по запросу - "платите и хоть заобучайтесь, вопрос цены".
Kristaller486
24.10.2023 08:53Но только это не DRM, это вирус, который стирает все данные при запуске не лицензионной копии.
logran
24.10.2023 08:53+2ДРМ защищает закрытый платный контент. Фотостоки ватемарками тоже защищают закрытый платный контект, бесплатно выложив лишь искаженные превьюшки.
Выложенный в свободный доступ контент подразумевает что на него может смотреть кто угодно (не только белковые создания, взгляд цифрового создания на кремниевом носителе в этом плане мало отличается, как и взгляд поискового бота). Тут нет нелегального использования. Их контект никто не перепродает, не перевыкладывает, не тиражирует и не присваивает. Им лишь "вдохновляется", просто не человек. И далее производятся не копии их контента, а новый контент, лишь в схожей (не идентичной, поверьте, я очень пытался сделать идентичную) стилистике. Вот только стиль не является объектом авторского права и рисование в схожем стиле, но других (не охраняемых авторским правом) объектов не является нарушением чего либо. Я спокойно могу рисовать огромных боевых роботов и портреты аквариумных рыб в стиле Pixar - и они ничего мне за это не предъявят, пока я не рисую их персонажей.
Если художникам так уж хочется свой контент не выкладывать в свободный доступ, но при этом привлекать новых людей - они могут выкладывать 250*400 превьюшки, а полный прятать на патреон или просто за деньги полную версию отдавать.
morokk
24.10.2023 08:53Такое "вдохновляние" может попасть под определение плагиата? Я знаю случаи, когда люди копировали стиль коммерчески успешных художников, типа sakimichan или cutesexyrobbuts, но чем это закончилось юридически, я не в курсе.
azTotMD
24.10.2023 08:53+7почему бы не привести ссылку на arxiv? https://arxiv.org/pdf/2310.13828.pdf
dmiche
24.10.2023 08:53+6Некоторое время после появления цифровой фотографии держались "плёночники", затем "зеркальщики". Здесь будет то же самое: те, кто продолжает наяривать на свою способность рисовать пиксели карандашом, через какое-то время уйдёт в прошлое, отравившись собственным ядом.
С другой стороны, даже при помощи ИИ создать не просто картинку, а композицию, которая будет что-то конкретное сообщать зрителю и будет выражать заданную художником мысль, а не "вообще", по прежнему требует времени, мастерства, видения. И вот эта работа будет цениться и даже расти в цене.
Можно даже пофантазировать о новом виде изобразительного искусства: многослойной картине, когда детализация на холсте не запредельная, а отвечает законам жанра, но стоит вам задержать взгляд на каком-то фрагменте, или мышку там задержать, как он начинает приобретать глубину и рассказывать свою историю. Такой апскейл, только не целиком ИИ-шный, а следующий заданной автором истории для этого конкретного артефакта.
MaksimMukharev
24.10.2023 08:53+2Вместо запрета стоило бы научить модель сообщать информацию об авторе, чай стиль был использован. Это позволило бы использовать контент как рекламу создателя, к творчеству которого, затем можно было бы обратиться напрямую.
logran
24.10.2023 08:53Рутковский как раз этим и не был доволен - куда генераций в интернете с подписью "in style of Greg Rutkowsky" забила всю выдачу, из-за чего его настоящие работы стало сложнее найти.
Wizard_of_light
24.10.2023 08:53+1Хм, новая борьба снаряда и брони. Как насчёт деления обучающего датасета на сессии и прогон контрольных промтов после сессий, которые позволят выделить и выкинуть "отравленные" куски? Хотя, конечно, будет уже труднее.
iig
24.10.2023 08:53Как насчёт деления обучающего датасета на сессии и прогон контрольных промтов после сессий
Много ручной работы. Если картинки не подписаны как отравленные - после каждой сессии результат будет немного хуже. Удачи найти среди 100000 картинок ту самую ;)
vesper-bot
24.10.2023 08:53Энтропия младших бит, весьма вероятно, выцепит конкретно зараженные картинки.
engine9
24.10.2023 08:53+1Художникам мужества признать что эта война проиграна, успеют на поезд вскочить те, кто сам начнёт нейронки юзать и думать как свой бренд раскручивать. Остальных смоет цунами и растворит в потоке контента.
dilukhin
24.10.2023 08:53+1Предполагаю, что секрет прост и неолуддиты просто обманывают ИИ, называя кошку собакой. Вполне решаемая проблема.
RarogCmex
24.10.2023 08:53Тоже первая мысль: нужно просто сделать другой механизм латентного кодирования, чтобы картинка воспринималась нейронкой более естественным образом, т.е. она перестала замечать "яд".
safari2012
24.10.2023 08:53+1Ну вот, ждите теперь антивирусы для датасетов ИИ, Касперского там и симантеков :)
Sergey_zx
24.10.2023 08:53+1Глупость откровенная. При любом минимальном изменении ВСЕ пиксели изменятся. Да и основной анализ АI идёт не на пиксельном уровне. В пикселях лишь выделяются грани-градиенты.
Но как инструмент заработать денег на умеющих рисовать, но ничего не понимающих в технологиях вполне нормальный. Ведь нет никакого способа предьявить авторам, что оно не работает.
mordoorg
24.10.2023 08:53+2Не вижу ни малейшего смысла противостоять разработке художественному ИИ - проигравший в этой борьбе уже есть, а создавать такие "отравляющие" продукты, это круто, но бессмысленно.
Нашли подход к Stable Diffusion? Есть ещё Dall-e, Midjourney и множество других, и не все они работают по одному и тому же принципу.
Да, обидно, когда машина забирает у тебя работу, но любые изменения - это повод к адаптации. Думаю, в своё время, когда на заводах начали вводить машины вместо ручного труда, выиграли именно те, кто начал осваивать станки и машины, а не те, кто устраивал бунты, саботажи и т.п.
EndarVS
24.10.2023 08:53+1Это же прекрасно, разработчики нейросетей будут вынуждены улучшить их, чтобы те не опирались на отдельные пиксели при формировании признаков, а ещё более точно анализировали суть изображения, а не отдельные детали. Качество моделей повысится.
Впрочем, почти наверняка уверен, что такому "заражению" подвержены лишь очень простые, маленькие и старые модели, в которые на самом деле, определение объектов производится зачастую по каким-то побочным и неочевидным признакам, т.е. отсутствует целостная модель объектов и их свойств. Чем больше модель, тем ближе её представление об объектах к человеческому, и тем меньше возможностей сбить её с толку внесением каких-либо артефактов.
Santosh
24.10.2023 08:53+1Интересно, что все комментарии касаются того, как взломать защиту. Ни одного в поддержку художников.
logran
24.10.2023 08:53+1Нормальные художники давно взяли на вооружение нейросетки (как минимум Adobe Firefly), а не срачи в твиттерах разводят.
Нормальные выкладывающие в свободный доступ картинки художники осознают, что другие художники могут учиться на их стиле и пытаться его повторить (что нейронки и делают, и что не является нарушением если не является нарушением для человека) , и что по их работам может появляться фанарт (что нейронки и рисуют, и тут тоже мало отличий от человека, кроме скорости).
LordCyberfox
24.10.2023 08:53+3Честно? Мне жаль художников. Со временем, в результате развития ии тренда будет становиться меньше тех кто разбирается в том как устроен процесс рисования. Часто людьми, которые говорят, что нужно переходить на новые инструменты - не затрагивается аспект того, что художникам может нравиться их вид деятельности, так же как разработчикам может нравится создание кода. Создание при помощи ии несомненно разовьет навыки выражения мысли в командах и указаниях, но это далеко не то, за что художники любят свою работу и выбирали свой вид деятельности. И если другие виды искусства, такие как музыка - могут ещё противостоять ии, благодаря концертам, то художникам с этим значительно сложнее. Даже при том, что я не занимаюсь этим в качестве источника дохода - я все же занимаюсь рисованием более 15 лет и я понимаю мысли тех, кто зарабатывает этим на жизнь.
Но понимаю я и то, что этого джина уже выпустили из бутылки. Не могу сказать, что я в восторге от этого, некоторые из причин я привел сверху, их больше, но я и так написал уже достаточно большую стену текста. Контента станет намного больше, у этого массового контента будет расти качество. Но проводить параллели с автомобилестроением, фотографией и конвейером - неправильно. Потому что в данном случае страдает перспектива творческого развития человечества. У людей станет меньше поводов создавать что-то самим, а для того чтобы создавать то, что ранее было творчеством - будет нужно значительно меньше людей - станет больше потребителей и меньше создателей. Шансов быть услышанным в потоке генерации будет все меньше, а у человека есть потребность в самовыражении.
Что в итоге? Да, мне жаль художников, я осознаю опасности, в том числе неочевидные, которые могут нас ждать благодаря ии. Но как разработчик, я знаю - что никакие средства не смогут остановить и повернуть вспять этот процесс. И вряд ли какой-то не глобальный инструмент внедряемый на этом этапе сможет вернуть художникам их заработок.
logran
24.10.2023 08:53Часто людьми, которые говорят, что нужно переходить на новые инструменты - не затрагивается аспект того, что художникам может нравиться их вид деятельности, так же как разработчикам может нравится создание кода.
Никто не мешает художникам продолжать для удовольствия рисовать руками. Никто у них фотошоп, перо, карандаш и блокнот не отбирает. Для себя и своих фанатов можно продолжать творить как и раньше (как никто не мешает в эпоху кинематографичных ААА-игр делать инди-игры в стиле PS1 и наслаждаться игрой в них). Но это если делаешь именно потому что нравится. А не чтобы зарабатывать или быть популярным.
А вот чему мешает ИИ - это рисованию на коммерческой основе (или для удовлетворения ЧСВ), ибо создает сильную (и дешевую) конкуренцию. Но работа за деньги - это обычно не про удовольствие, а про дедлайны и заказчиков с ТЗ уровня "7 красных линий зеленым цветом".Потому что в данном случае страдает перспектива творческого развития человечества. У людей станет меньше поводов создавать что-то самим, а для того чтобы создавать то, что ранее было творчеством - будет нужно значительно меньше людей - станет больше потребителей и меньше создателей. Шансов быть услышанным в потоке генерации будет все меньше, а у человека есть потребность в самовыражении.
Генерации рождаются не сами. Промт сочиняет человек. И чтобы получить что-то красивое и интересное, а не дженерик аниме девочку стоящую в центре кадра, надо обладать не только определенными навыками, но еще и видением, идеей и фантазией. А еще (пока что) желательно поработать руками над эскизом ДО генерации и довести до ума и совершенства работу после.
Я, например, всегда хотел рисовать, но дается мне это так себе, да и времени полноценно учиться в анатомию и улучшать скилл нету (тут бы кодерский актуальным поддерживать успевать). Релиз SD + пара кастомных своих Лор и файнтюнов + дешевый китайский экранник позволили мне, при ограниченном свободном времени и низком уровне навыков, всё же творить какой-никакой арт в более-менее вменяемом уровне качества для выкладывания на люди. Да, львиную долю покраса, анатомии и света на себя берет модель. Но ей дается и набросок на вход (кривой и страшный), и элементы лица/рук/анатомии и почти гарантированно всей одежды допиливается потом руками и (для выпрямления кривых мазюк на планшете) еще пару раз гоняется в img2img.
Так что напротив - больше людей получают возможность творчески самовыражаться за счет того, что сильно падает порог вхождения.
Да, достичь признания в 300к подписчиков в инсте будет сложно (а в виде работы не интересно - работа и так есть). Но - для этого ли всё делается? Для популярности и как работа? Или для удовольствия и самовыражения?LordCyberfox
24.10.2023 08:53+1Дедлайны разумеется присутствуют, присутствует и тз. Это все верно, но есть нюанс - принцип работы как таковой разный в случае рисования и в случае генерации. Это совершенно разные виды деятельности. Идея результата одинаковая, принцип работы разный, большая часть художников рисует потому что им нравится рисовать, и если они на этом зарабатывают- то их вид деятельности приносит им доход. Иными словами люди зарабатывают на виде деятельности который им по душе. По моему - это хорошая практика. И этот вид деятельности определенно имеет существенные различия с генерацией.
На правах человека, знакомого с тем как устроено общение с заказчиками в средах рисования и дизайна - художника нанимают часто по стилю его рисования и художник же выдвигает немалую часть идей по реализации идеи заказчика. Он предоставляет эскизы, оценивает сроки реализации в зависимости от сложности и прочее - это не сильно ушло от коммуникации по части разработки, только больше берется во внимание стиль художника. И выражая идею в своем стиле художник все ещё получает удовольствие.
По экономической части. ии продолжительное время не сможет конкурировать с мастодонтами направления. Условный Альберто Мьельго будет уверенно творить и дальше. А вот желающих профессионально развиваться в этой нише станет меньше. Потому что преодолеть барьер из центиллиона генераций и получить работу станет критически сложно, и платить художникам можно будет меньше, потому что порог вхождения станет ниже (генерация может позволить создать потребимый контент даже не умеющему рисовать уже сейчас, а она будет развиваться), найти замену специалисту не астрономического уровня - будет несложно. И специалистов будет нужно меньше и платить можно меньше = profit. Когда пришли за художниками я молчал… продолжите мысль если желаете.
О творческом самовыражении и развитии. У меня два хобби - рисование и писательство. И мне важно выразить мою мысль так как это делаю я. Она может быть не идеальна, в ней могут быть характерные сильные и слабые стороны, которые в процессе моего развития в направлении могут изменяться. Но их выразил я, формируя свой собственный узнаваемый стиль путем проб и ошибок. Если вам важен в первую очередь конечный результат или не хочется погружения в сферу - разумеется использовать генеративные механизмы удобнее и комфортнее, без проблем. Но эта же простота может помешать становлению творческой уникальности автора, если он все же собирается заниматься творчеством несколько серьезнее. Переходить с удобной генерации на вышеуказанное - будет весьма непросто если такое случится.
О чсв. Может ли творец, который смог достичь высокого уровня мастерства в своей стезе гордиться своим творением? Человек учился, старался, работал годы и, возможно, десятилетия различным техникам, приемам, тонкостям - для того чтобы достичь своего уровня и те 300 и более тысяч подписчиков у него, вероятно, возникли не на пустом месте. У человека может быть вполне здоровое ощущение того, что его усилия не были напрасны.
Спасибо за внимание, если дочитали до конца
logran
24.10.2023 08:53+1Звучит как дичь и подлог ради хайпа. Диффузионки способны оверфититься (на малых наборах, особенно с применением Лор со сверточными слоями) до почти полного повторения картики. И если картинка для человека выглядит нормально - то генерация будет выглядеть также. И даже эти их "отравленные пиксели" нейронкой просто воссоздадутся как есть, а не превратят собачку в котика.
Вангую, что данные "исследователи" просто сперва зашумили свои картинки, а потом вместо нормальных руками написанных корретных подписей, сгенерили по шумным некорректные автоматические через CLIP/BLIP/GPT4-V и учили на подписях не соответствующих картинкам, отсюда и такой результат.
Anarchist
24.10.2023 08:53Вспоминается старая статья Каганова про ГМО
"""
Поморская артель «Ломоносовъ». Только кони!
Мы доставляем рыбу в столицу, не используя паровозъ!
"""Попытки затормозить любые технологии совершенно бесплодны. А этот инструмент пахнет лохотроном за парсек. Ну, значит, заработают деньги на тех, кто пытается встать на пути. В этом тоже ничего плохого.
iagan
24.10.2023 08:53Помнится, что-то подобное пытались провернуть против автопилотов. Пара наклеек на знак стоп заставляла ИИ думать, что пора разгоняться. Но судя по всему нашли способ с этим бороться.
Aniro
Хотя тут и нет технического описания способа, так что обсуждать особо нечего, но все-же предположу что "зараженные пиксели" не переживут даунскэйлинг при подготовке датасета.
ITSoftWeb
Они сами пока не обсуждают метод, как вижу. "Держат в секрете". Но предполагаю, что фактор даунскейлинга как-то учли.
aihood
Его невозможно полностью учесть, тут как в криминалистике. Чем больше даунскейлинг, тем меньше добавленной информации остается