Год назад «искусственный интеллект» от «Яндекса» сочинил стихи в стиле Егора Летова, которые затем наложили на музыку в стиле группы «Гражданская оборона». Это был первый музыкальный опыт «Автопоэта», разработанного в компании ещё десять лет назад. С 2006 года он попробовал себя в сочинении стихов под Пушкина, стихов на основе поисковых запросов, его применяли вместе с системой генерации голоса для декламирования стихов в авторском исполнении.

Сейчас разработчики программы Алексей Тихонов и Иван Ямщиков (в данный момент работает в Институте научной математики Общества Макса Планка в Лейпциге) решили повторить опыт и сделать нечто подобное, но уже на английском языке. В качестве образца для подражания «Автопоэту» задали культовую группу Nirvana. Тем более что Курту Кобейну в этом году исполнилось бы 50 лет.

Иван Ямщиков пишет, что для обучения нейросети они собрали по всему интернету примерно 200 мегабайт классической и современной поэзии. Но внезапно выяснилось, что обучить нейросеть по этим сырым данным невозможно: «Очевидно, много людей пишут стихи на английском языке, но примерно 50% из них не знают базовых правил грамматики английского языка. Самых основных вещей», — сокрушается Иван.

Собранные данные пришлось тщательно фильтровать, на что ушло много времени. Набор данных сократили примерно вдвое, то есть примерно до 100 МБ текстов. После фильтрации качество данных оказалось достаточным, чтобы обучить языковую модель, и нейросеть затем специально обучали для подражания Курту Кобейну.

Одновременно авторы опубликовали препринт научной работы о генерации музыки нейросетью. Скорее всего, алгоритмы работы нейросети и детали разработки будут вскоре опубликованы в одном из научных журналов.

Правда, для четырёх песен этого альбома в стиле «Нирваны» минусовку написал сам Ямщиков, а не нейросеть, но стихи сочинила именно программа. Из всего объёма сочинённых ею стихов были отфильтрованы и выбраны самые лучшие. Затем авторы начали искать вокалиста, который бы исполнил эти произведения. Были прослушаны четверо исполнителей, но суровым требованиям удовлетворил только пятый — Роб Кэрролл, он и записал вокал для всех четырёх песен.

Как и в случае с «Гражданской обороной», для большей реалистичности авторы перенесли результат на старую плёночную кассету, а затем уже оцифровали звук с неё с характерным шипением, потрескиванием и искажениями. Они говорят, что все мы слушали «Нирвану» на старых кассетных магнитофонах, так что такой звук будет казаться более родным и знакомым.

Процесс записи на плёнку показан на видео. Треки просто запускали на планшете iPad в метре от аппаратуры, которая записывала звук на кассету. Ради символического смысла песни записывались не просто на какие-то случайные кассеты, а именно на кассеты с альбомами «Нирваны», поверх старых песен.

Итак, сами можете оценить результат. Альбом Model от коллектива Neurona опубликован на всех популярных музыкальных платформах.

AppleMusic:
https://itunes.apple.com/album/id1248121490

Google Music:
https://play.google.com/music/preview/Bbeknqo5djw3kysh7ildla6zgne

Spotify:
https://open.spotify.com/artist/6Y3iq1wJEPEj6e6P0NNL4Z

Yandex.Music:
https://music.yandex.ru/artist/5153458

На одну из песен с альбома In the back of your glass даже сняли видеоклип.


Ранее на GT и Хабре сообщалось о научных работах, в которых нейросети успешно переносят стиль с одной фотографии на другую, а также стиль художника с одной картины на другую.

Как видим, нейросети могут переносить и стиль поэзии, и стиль музыки. В интервью РИА «Новости» Ивану Ямщикову задали вопрос, учитывая появление нейросетей, способных имитировать творчество известных людей, не появится ли в будущем соблазн ввести право собственности и копирайт не только на конкретные аудиозаписи, но и на стиль художника, музыканта или композитора? Автор программы-автопоэта не видит такой угрозы. Совсем наоборот, он считает, что ИИ может быть соавтором и помогать человеку: «В искусстве в целом пока есть элемент эксклюзивности. То, что нейросети умеют теперь имитировать стиль Ван Гога, не девальвирует его творчество. Есть элемент опосредованного общения между человеком, создавшим то или иное произведение, и человеком, который его увидел, услышал, прочитал. Это, мне кажется, должно снимать вопросы копирайта. Куда интереснее то, что машинный интеллект может становиться соавтором, очередным инструментом, который просто доступен художнику и позволяет делать более интересные вещи».