С развитием нейросетей им придумывают всё более разнообразные способы применения. С их помощью обучаются автопилоты Tesla, а распознавание лиц используется не только для обработки фотографий приложениями типа Prisma, но и в системах безопасности. Искусственный интеллект учат диагностировать болезни. В конце концов, с его помощью даже выигрывают выборы.
Но есть одна сфера, которая традиционно считалась принадлежащей исключительно человеку — творчество. Однако и это утверждение начинают ставить под сомнение. Ли Седоль, проигравший AlphaGo, признался: «Поражение заставило меня засомневаться в человеческой креативности. Когда я увидел, как играет AlphaGo, то усомнился в том, насколько хорошо играю сам». Поэтому в сегодняшнем посте давайте поговорим о том, способны ли роботы ступить на территорию искусства, в пространство креативности, а значит эмоций и восприятия.
/ Flickr / franck injapan / PD
Самообучающиеся системы давно начали проверять на креативность. Например, в 1970 году ученые разработали алгоритм, который мог писать прозаические тексты — правда, довольно бессмысленные.
С тех пор нейросети научились рисовать картины, сочинять музыку и стихи, а также придумывать сценарии к фильмам. Яндекс учит нейросети записывать музыкальные альбомы, похожие на альбомы популярных групп, и писать стихи в стиле Егора Летова. Принцип действия всех алгоритмов похож: они анализируют огромный массив произведений искусства, а потом на основе полученных закономерностей «создают» свое творение: картину, музыкальную композицию, роман и т. д.
Творчество нейросетей постепенно институционализируется. Так, в 2016 году впервые прошел конкурс художественных произведений, созданных роботами. В этом году главный приз в 40 тыс. долларов выиграл алгоритм PIX18, придуманный Creative Machines Lab: его похвалили за хороший мазок и умение генерировать произведения на базе фотографий, находящихся в его распоряжении.
Так прокомментировали победу в комитете: «Композиция и работа с кистью напоминает Ван Гога. Интересная палитра». Это выглядит как настоящая критика картины начинающего художника.
Картины, созданные алгоритмом DeepDream от Google, считаются практически искусством — в первую очередь именно потому, что их создал искусственный интеллект.
Однако есть другой важный вопрос — новизна. По этому критерию мы оцениваем и творения художников. Если алгоритмы не срисовывают или не обрабатывают фотографии, а, например, пишут абстрактные картины, могут ли они действительно создать что-то новое?
На этот вопрос попробовали ответить разработчики из Лаборатории искусственного интеллекта и искусства Ратгерского университета, создав генеративно-состязательную сеть (GAN). Ранее алгоритм учился на основе ответов одного дискриминатора: анализировал картины, рисовал свои и сверял результат. Он продуцировал изображения, похожие на те, что изучал до того.
Команда сделала следующий шаг в развитии сети и добавила второй дискриминатор, соревнующийся с первым. Теперь нейросеть анализирует примерно 81 тысячу картин и, опираясь на такую объемную выборку, формирует список условий, при которых созданная картина может быть отнесена к произведениям искусства. Параллельно второй дискриминатор составляет список стилей и проверяет картину на схожесть с ними – проводит операцию по верификации. Новая картина рождается тогда, когда изображение признается произведением искусства, не идентичным ни одному из существовавших ранее стилей.
Кроме того, нейросети уже способны создавать мульфильмы. Компьютерная программа The Painting Fool, разработанная Саймоном Колтоном (Simon Colton) из Имперского колледжа Лондона, смогла сплести нарисованные ею же изображения в видеоряд.
Система адаптирует специальные решения для автоматизированного создания коллажей, симулируя мазки кисти на холсте. ПО в состоянии имитировать техники рисования, для чего используются возможности многоядерных процессоров — каждый поток контролирует отдельную кисть. Это позволяет «смешивать» кисти в непредсказуемых комбинациях, что приводит к более правдоподобному эффекту.
Сам процесс рисования – например, портрета – начинается с разметки областей заинтересованности: глаз, рта, бровей и т. д. Для каждого «региона» программа сегментирует изображение методом neighbourhood-growing и обосновывает границы. Затем The Painting Fool занимается окраской каждого сегмента. Он может «рисовать» карандашами, пастелью, акварелью и мелками, учитывая освещенность, условия среды.
И The Painting Fool — лишь показательный пример, только один представитель «компьютеров искусства». Причем их количество постоянно увеличивается. Одному роботу удалось настолько очаровать аудиторию музыкальной композицией, что они решили, будто её написал человек. А короткий роман, написанный японским роботом, чуть не выиграл литературную премию.
Это подводит нас к важному вопросу — проблеме рецепции искусства смотрящим. Существует ли разница между нашим восприятием произведения, созданного человеком, и тем, что «сгенерировано» роботом? В интернете есть сайт Bot or Not, предлагающий угадать, кто написал то или иное стихотворение — бот или человек. Ответ не всегда очевиден. Это неоднозначная территория.
На сайте Bot or Not есть стихотворения, написанные роботами – при том, что люди отнесли их к авторству человека. Соответственно, можно считать, что эти алгоритмы прошли тест Тьюринга для поэзии. Компьютер должен убедить 30% людей в своей «человечности», чтобы пройти тест. Но писатель Оскар Шварц, создатель Bot or Not, отмечает что это игра не в одни ворота: мы не только можем перепутать написанное ботом с работой человека, но и наоборот — принимаем творчество людей за творчество роботов. Возникает смешение уровней, новое понимание текстов и смыслов, где стирается грань между иллюзией и аутентичностью в привычном нам виде.
Здесь встает еще одна проблема, связанная с сутью художественного произведения: чем оно отличается от копирования и воспроизведения прошлого опыта.
Американский психолог Колин Мартиндейл (Colin Martindale) предложил оригинальную теорию креативности. Согласно его исследованиям, первоочередная цель творца — вызвать в потребителе эмоциональное возбуждение. Этого можно достичь разными средствами: новизной, сложностью идей, интеллектуальным вызовом, двусмысленностью и неоднозначностью трактовок и посылов. Социум, в котором уровень возбуждения перестает расти (или начинает убывать) — деградирует.
Мартиндейл выделил два этапа познавательного процесса. Первичный процесс — ненаправленное, иррациональное мышление вроде сновидений или мечтаний. Вторичный процесс — осознанный, концептуальный, это решение конкретных задач и использование логики. Похожую оптику он приложил и к творческому процессу: концептуальное сознание может различать, может логически мыслить, но оно не способно создать или вывести что-то, чего не знало раньше, ex nihilo nihil fit — «из ничего ничто не происходит». Изначальное мышление может проводить аналогии, выстраивать цепочки ассоциации и сравнивать, порождая новые комбинации ментальных элементов. Оно производит сырье, которое концептуальное мышление может обработать.
По близкому принципу работает описанная выше сеть GAN — одна нейросеть «различает», другая — «сравнивает и находит ассоциации». Алгоритм следует теории креативности, производит новые полотна, провоцирующие эмоциональный отклик в людях.
Искусство и технологии всегда пересекались и подпитывали друг друга (достаточно вспомнить об эпохе Возрождения, об экспериментах Леонардо и Микеланджело). Новые материалы, подходы и изобретения часто позволяли художникам создавать шедевры и целые виды искусства. Так и сегодня, помимо самостоятельного «производства» поэм, картин и музыки, нейросети помогают ученым проводить исследования в творческой сфере.
Развитие современной музыкальной индустрии ориентируется на классифицированные паттерны, помогающие в буквальном смысле построить математическую модель музыки и «запрограммировать» желаемый эффект от прослушивания композиции.
Международная исследовательская группа из университетов Японии и Бельгии в сотрудничестве с компанией Crimson Technologies выпустила специальное устройство на базе машинного обучения, умеющее выявлять эмоциональное состояние слушателей и генерировать на основании собранной информации принципиально новый контент.
«Как правило, машины и программы для создания песен зависят напрямую от автоматических композиционных систем, их предварительно заданный и хранящийся объем готового музыкального материала позволяет сочинять только похожие между собой треки», — отмечает профессор Масаюки Нумао (Numao Masayuki) из Университета Осаки.
Нумао и его команда хотят предоставить «машинам» информацию об эмоциональном состоянии человека. По их мнению, это должно способствовать увеличению интерактивности музыкального опыта. Ученые провели эксперимент, во время которого испытуемые слушали музыку в наушниках с сенсорами активности головного мозга. Сведенные воедино данные ЭЭГ транслировались роботу-композитору. В результате удалось выявить большую вовлеченность и более интенсивную эмоциональную реакцию слушателей на определенную музыку.
Нумао считает, что эмоционально-связанные интерфейсы имеют потенциал: «Например, мы можем использовать их в здравоохранении, чтобы мотивировать человека чаще упражняться или же просто приободрить его, поднять настроение».
Джон Бергер (Бёрджер) в «Искусстве видеть» отмечал, что зрение для человека первично по отношению к языку. Знание влияет на нашу оценку. По Бергеру, любое изображение — это просто один из многочисленных способов видения, но наше восприятие изображения зависит от того, каким способом видения пользуемся мы.
Поэтому дискуссия о творчестве алгоритмов мотивирует нас задуматься не только о том, как «творят» программы, но и о том, как мы сами воспринимаем творчество. Нейросети могут писать стихи, а мы порой путаем их с человеческими: но именно наше восприятие, наше прочтение наполняет их смыслом. Например, для алгоритма слова, мазки, цвета и звуки являются всего лишь набором знаков, которые он может сложить в гармоничную структуру. Это сырье, за которым робот не видит содержания, смыслового поля. По крайней мере, пока не видит.
Роботы не могут придать предметам значение, а произведениям — глобальную культурную ценность. «Никогда еще не писалось так много стихов и так мало поэзии», – читаем у Умберто Эко. ИИ может создать гениальную симфонию или сочетание рифм, правильно организованных графически, но лишь признание человека позволит всему этому обрести столь желаемый многими статус – действительно быть искусством, а не казаться им.
Но есть одна сфера, которая традиционно считалась принадлежащей исключительно человеку — творчество. Однако и это утверждение начинают ставить под сомнение. Ли Седоль, проигравший AlphaGo, признался: «Поражение заставило меня засомневаться в человеческой креативности. Когда я увидел, как играет AlphaGo, то усомнился в том, насколько хорошо играю сам». Поэтому в сегодняшнем посте давайте поговорим о том, способны ли роботы ступить на территорию искусства, в пространство креативности, а значит эмоций и восприятия.
![](https://habrastorage.org/web/4d1/729/6b3/4d17296b37fd4200a06f3cf0972ba04c.jpg)
Творчество роботов
Самообучающиеся системы давно начали проверять на креативность. Например, в 1970 году ученые разработали алгоритм, который мог писать прозаические тексты — правда, довольно бессмысленные.
С тех пор нейросети научились рисовать картины, сочинять музыку и стихи, а также придумывать сценарии к фильмам. Яндекс учит нейросети записывать музыкальные альбомы, похожие на альбомы популярных групп, и писать стихи в стиле Егора Летова. Принцип действия всех алгоритмов похож: они анализируют огромный массив произведений искусства, а потом на основе полученных закономерностей «создают» свое творение: картину, музыкальную композицию, роман и т. д.
Творчество нейросетей постепенно институционализируется. Так, в 2016 году впервые прошел конкурс художественных произведений, созданных роботами. В этом году главный приз в 40 тыс. долларов выиграл алгоритм PIX18, придуманный Creative Machines Lab: его похвалили за хороший мазок и умение генерировать произведения на базе фотографий, находящихся в его распоряжении.
Так прокомментировали победу в комитете: «Композиция и работа с кистью напоминает Ван Гога. Интересная палитра». Это выглядит как настоящая критика картины начинающего художника.
Восприятие произведений
Картины, созданные алгоритмом DeepDream от Google, считаются практически искусством — в первую очередь именно потому, что их создал искусственный интеллект.
Однако есть другой важный вопрос — новизна. По этому критерию мы оцениваем и творения художников. Если алгоритмы не срисовывают или не обрабатывают фотографии, а, например, пишут абстрактные картины, могут ли они действительно создать что-то новое?
На этот вопрос попробовали ответить разработчики из Лаборатории искусственного интеллекта и искусства Ратгерского университета, создав генеративно-состязательную сеть (GAN). Ранее алгоритм учился на основе ответов одного дискриминатора: анализировал картины, рисовал свои и сверял результат. Он продуцировал изображения, похожие на те, что изучал до того.
Команда сделала следующий шаг в развитии сети и добавила второй дискриминатор, соревнующийся с первым. Теперь нейросеть анализирует примерно 81 тысячу картин и, опираясь на такую объемную выборку, формирует список условий, при которых созданная картина может быть отнесена к произведениям искусства. Параллельно второй дискриминатор составляет список стилей и проверяет картину на схожесть с ними – проводит операцию по верификации. Новая картина рождается тогда, когда изображение признается произведением искусства, не идентичным ни одному из существовавших ранее стилей.
Кроме того, нейросети уже способны создавать мульфильмы. Компьютерная программа The Painting Fool, разработанная Саймоном Колтоном (Simon Colton) из Имперского колледжа Лондона, смогла сплести нарисованные ею же изображения в видеоряд.
Система адаптирует специальные решения для автоматизированного создания коллажей, симулируя мазки кисти на холсте. ПО в состоянии имитировать техники рисования, для чего используются возможности многоядерных процессоров — каждый поток контролирует отдельную кисть. Это позволяет «смешивать» кисти в непредсказуемых комбинациях, что приводит к более правдоподобному эффекту.
Сам процесс рисования – например, портрета – начинается с разметки областей заинтересованности: глаз, рта, бровей и т. д. Для каждого «региона» программа сегментирует изображение методом neighbourhood-growing и обосновывает границы. Затем The Painting Fool занимается окраской каждого сегмента. Он может «рисовать» карандашами, пастелью, акварелью и мелками, учитывая освещенность, условия среды.
И The Painting Fool — лишь показательный пример, только один представитель «компьютеров искусства». Причем их количество постоянно увеличивается. Одному роботу удалось настолько очаровать аудиторию музыкальной композицией, что они решили, будто её написал человек. А короткий роман, написанный японским роботом, чуть не выиграл литературную премию.
Это подводит нас к важному вопросу — проблеме рецепции искусства смотрящим. Существует ли разница между нашим восприятием произведения, созданного человеком, и тем, что «сгенерировано» роботом? В интернете есть сайт Bot or Not, предлагающий угадать, кто написал то или иное стихотворение — бот или человек. Ответ не всегда очевиден. Это неоднозначная территория.
На сайте Bot or Not есть стихотворения, написанные роботами – при том, что люди отнесли их к авторству человека. Соответственно, можно считать, что эти алгоритмы прошли тест Тьюринга для поэзии. Компьютер должен убедить 30% людей в своей «человечности», чтобы пройти тест. Но писатель Оскар Шварц, создатель Bot or Not, отмечает что это игра не в одни ворота: мы не только можем перепутать написанное ботом с работой человека, но и наоборот — принимаем творчество людей за творчество роботов. Возникает смешение уровней, новое понимание текстов и смыслов, где стирается грань между иллюзией и аутентичностью в привычном нам виде.
Творчество — это эмоциональное воздействие
Здесь встает еще одна проблема, связанная с сутью художественного произведения: чем оно отличается от копирования и воспроизведения прошлого опыта.
Американский психолог Колин Мартиндейл (Colin Martindale) предложил оригинальную теорию креативности. Согласно его исследованиям, первоочередная цель творца — вызвать в потребителе эмоциональное возбуждение. Этого можно достичь разными средствами: новизной, сложностью идей, интеллектуальным вызовом, двусмысленностью и неоднозначностью трактовок и посылов. Социум, в котором уровень возбуждения перестает расти (или начинает убывать) — деградирует.
Мартиндейл выделил два этапа познавательного процесса. Первичный процесс — ненаправленное, иррациональное мышление вроде сновидений или мечтаний. Вторичный процесс — осознанный, концептуальный, это решение конкретных задач и использование логики. Похожую оптику он приложил и к творческому процессу: концептуальное сознание может различать, может логически мыслить, но оно не способно создать или вывести что-то, чего не знало раньше, ex nihilo nihil fit — «из ничего ничто не происходит». Изначальное мышление может проводить аналогии, выстраивать цепочки ассоциации и сравнивать, порождая новые комбинации ментальных элементов. Оно производит сырье, которое концептуальное мышление может обработать.
По близкому принципу работает описанная выше сеть GAN — одна нейросеть «различает», другая — «сравнивает и находит ассоциации». Алгоритм следует теории креативности, производит новые полотна, провоцирующие эмоциональный отклик в людях.
Нейросети — в помощь художнику. И музыканту
Искусство и технологии всегда пересекались и подпитывали друг друга (достаточно вспомнить об эпохе Возрождения, об экспериментах Леонардо и Микеланджело). Новые материалы, подходы и изобретения часто позволяли художникам создавать шедевры и целые виды искусства. Так и сегодня, помимо самостоятельного «производства» поэм, картин и музыки, нейросети помогают ученым проводить исследования в творческой сфере.
Развитие современной музыкальной индустрии ориентируется на классифицированные паттерны, помогающие в буквальном смысле построить математическую модель музыки и «запрограммировать» желаемый эффект от прослушивания композиции.
Международная исследовательская группа из университетов Японии и Бельгии в сотрудничестве с компанией Crimson Technologies выпустила специальное устройство на базе машинного обучения, умеющее выявлять эмоциональное состояние слушателей и генерировать на основании собранной информации принципиально новый контент.
«Как правило, машины и программы для создания песен зависят напрямую от автоматических композиционных систем, их предварительно заданный и хранящийся объем готового музыкального материала позволяет сочинять только похожие между собой треки», — отмечает профессор Масаюки Нумао (Numao Masayuki) из Университета Осаки.
Нумао и его команда хотят предоставить «машинам» информацию об эмоциональном состоянии человека. По их мнению, это должно способствовать увеличению интерактивности музыкального опыта. Ученые провели эксперимент, во время которого испытуемые слушали музыку в наушниках с сенсорами активности головного мозга. Сведенные воедино данные ЭЭГ транслировались роботу-композитору. В результате удалось выявить большую вовлеченность и более интенсивную эмоциональную реакцию слушателей на определенную музыку.
Нумао считает, что эмоционально-связанные интерфейсы имеют потенциал: «Например, мы можем использовать их в здравоохранении, чтобы мотивировать человека чаще упражняться или же просто приободрить его, поднять настроение».
Искусство видеть
Джон Бергер (Бёрджер) в «Искусстве видеть» отмечал, что зрение для человека первично по отношению к языку. Знание влияет на нашу оценку. По Бергеру, любое изображение — это просто один из многочисленных способов видения, но наше восприятие изображения зависит от того, каким способом видения пользуемся мы.
Поэтому дискуссия о творчестве алгоритмов мотивирует нас задуматься не только о том, как «творят» программы, но и о том, как мы сами воспринимаем творчество. Нейросети могут писать стихи, а мы порой путаем их с человеческими: но именно наше восприятие, наше прочтение наполняет их смыслом. Например, для алгоритма слова, мазки, цвета и звуки являются всего лишь набором знаков, которые он может сложить в гармоничную структуру. Это сырье, за которым робот не видит содержания, смыслового поля. По крайней мере, пока не видит.
Роботы не могут придать предметам значение, а произведениям — глобальную культурную ценность. «Никогда еще не писалось так много стихов и так мало поэзии», – читаем у Умберто Эко. ИИ может создать гениальную симфонию или сочетание рифм, правильно организованных графически, но лишь признание человека позволит всему этому обрести столь желаемый многими статус – действительно быть искусством, а не казаться им.
arthur_veber
Как человек, изредка сочиняющий музыку на компьютере и иногда играющий на фортепиано могу сказать, что придумать «красивую» мелодию, такую, чтоб «зацепило» — это случайность. Конечно, сделать потом из этого полноправную музыкальную композицию (трек, песню) — это уже труд+вкус+опыт. Но изначально — случайность.
Так же в одной из популярных программ для создания музыки есть кнопочка у муз. инструмента — Randomize. Она случайно генерит ноты. У неё даже параметры есть. Нажимаешь на кнопочку, слушаешь, не понравилось, нажимаешь ещё раз, и так до тех пор пока не услышишь какой-то кусочек мелодии «вот оно!». Потом уже работаешь с этим «вот оно».
Так что ИИ + искусство — вполне себе, ведь всё равно критерий нравиться\не нравиться останется за человеком.
iCpu
Всё-таки, не только и не столько случайность. Ноты — это только часть дела, есть ещё ритм, длительность нот, аккорды. Очень большой вклад вносит аранжировка. Можно До-Мажорную гамму сыграть так, что не стыдно выложить на тытуб филармонии, а можно, ни разу не сфальшивив, запороть лунную сонату.
https://www.youtube.com/watch?v=6p6OmuzLcLA
Авторская переработка.
https://www.youtube.com/watch?v=iIowwZThIXM
При том, что, в общем-то, оба произведения имеют много сходств в нотах, такте, выбранных инструментах и тп., вторая мелодия «выстрелила». И это не на волне популярности игры или комикса — сама переработка достаточно хороша для того, чтобы её растаскивали в разные стороны, из проекта в проект.
RafaelRS
Правильно вопрос должен звучать так, а именно: «Может ли называться искусственным интеллектом то, что не способно творить?»
А то взяли моду называть интеллектом все автоматизирующие алгоритмы.
semmaxim
Далеко не каждый «натуральный интеллект» способен творить.
RafaelRS
Думаю, что потенциально — каждый. Особенно если ограничивать смысл творения только тем, что официально считается искусством.
Sinatr
Две претензии к «AI искусству»: что именно делать и как они оценивают сделанное.
Взять изобразительное исскусство, как AI решит, что вот именно это стоит нарисовать? Пока что, я так понял, человек скармливает ему 2 картинки, из которых он делает третью. Или вообще тупо программируется алгоритм, рисующий скажем лица или круги, или там линии.
И даже если картинка нарисована, музыка/рассказик написан — как AI без человека поймет, что вот это шедевр, а вот это днище?
Походу рано еще говорить об AI, это просто A (исскуственное) все.
SchmeL
agentblack
Соглашусь с RafaelRS, что на данном этапе развития нейросетей более-менее строгая алгоритмизация позволяет решать задачи экстраполирования, которые схожи с элементами «творчества», но не позволяют сделать нечто качественно нового, т.к. неизвестно вообще как появляется качественно новое в творчестве.
Для примера, если бы данный разговор возник в середине позапрошлого века в Москве в музыкальной среде, то набор данных состоял из народных песен, зарубежных классиков, современников игры духовых, скрипичных, фортепиано, оркестровые записи, марши. Выделив среди параметров используемые инструменты, метрико-частотные зависимости (темп, динамический рисунок, нотные паттерны), субъективно определяемый характер композиции и обучив сеть можно будет получить великое множество комбинаций оперных зарисовок на виолончелях с гитарой, классические партии в исполнении на народных инструментах и т.д., но среди них не будет жанра авангарда, который возник под влиянием более широкого слоя обстоятельств в обществе. Как это формализовать в наборы данных, а ещё интереснее как это повторить с современным набором неизвестно.