Разработчики из исследовательского проекта Magenta (подразделение Google) представили синтезатор с открытым исходным кодом NSynth Super. В его основе лежит система искусственного интеллекта, которая миксует несколько предварительно загруженных сэмплов (например, звучание гитары и пианино) в новый звук с уникальными характеристиками.
Подробнее о системе NSynth Super и других алгоритмах-композиторах расскажем далее.
Фото Ta Da CC
Синтезатор NSynth Super имеет сенсорный дисплей, на котором отображается квадратная «рабочая поверхность». Музыкант выбирает несколько инструментов, звучание которых будет использоваться для создания нового звука, и назначает их углам этого квадрата.
Во время выступления исполнитель управляет воспроизводимым звуком, перемещая указатель в пределах рабочего поля. Результирующий сэмпл будет представлять собой комбинацию исходных звуков в разных пропорциях (в зависимости от близости курсора к тому или иному углу).
Для генерации новых сэмплов NSynth анализирует 16 характеристик входящих звуков. Затем они линейно интерполируются для создания математических представлений каждого аудиосигнала. Эти представления декодируются обратно в звуки, которые имеют объединенные акустические качества тех, чтобы ли на входе алгоритма.
Использовать NSynth Super можно с любым MIDI-источником: например, DAW, синтезатором или секвенсором. Как работает NSynth Super вы можете посмотреть в этом видео. В нем исполнитель «смешивает» звуки ситара, электрического фортепиано и др:
NSynth Super — экспериментальный инструмент, потому не будет продаваться как коммерческий продукт. Однако его код и схема сборки выложены на GitHub.
В проекте Magenta работают и над другими технологиями, связанными с машинным обучением. Одна из них — модель MusicVAE, которая может «смешивать» мелодии. На её основе уже создано несколько веб-приложений: Melody Mixer, Beat Blender и Latent Loops. MusicVAE (и другие модели от Magenta) собраны в открытой библиотеке Magenta.js.
Над алгоритмами для создания музыки работают и другие компании. Например, в Sony Computer Science Laboratories реализуют проект Flow Machines. Их система ИИ способна анализировать различные музыкальные стили и использовать эти знания для создания новых композиций. Примером его работы может быть музыка для песни Daddy’s Car в стиле The Beatles.
В рамках проекта Flow Machines создано несколько приложений, например, FlowComposer, помогающий музыкантам писать музыку в заданном стиле, и Reflexive Looper, самостоятельно дополняющий недостающие инструментальные партии. При помощи решений Flow Machines даже записали и выпустили музыкальный альбом Hello World.
Еще пример — стартап Jukedeck. Он разрабатывает инструмент для создания композиций с заданным настроением и темпом. Компания продолжает развивать проект и приглашает к сотрудничеству разработчиков и музыкантов. Вот пример композиции, созданной алгоритмами машинного обучения Jukedeck:
Похожий инструмент создает компания Amper. Пользователь может выбрать настроение, стиль, темп и продолжительность композиции, а также инструменты, на которых она будет «сыграна». Приложение синтезирует музыку в соответствии с этими требованиями.
Над системами ИИ для написания музыки работает и компания Popgun. Они разрабатывают алгоритмы, способные писать оригинальные поп-песни. Также исследования в этой сфере проводит стриминговый гигант Spotify. В прошлом году компания открыла лабораторию в Париже, которая будет заниматься созданием инструментов на базе систем ИИ.
Хотя некоторые компании разрабатывают алгоритмы для создания музыки, их представители подчеркивают, что эти инструменты призваны не заменить музыкантов и композиторов, а наоборот, дать им новые возможности.
В 2017 году американская певица Тэрин Саузерн выпустила альбом, записанный с помощью систем искусственного интеллекта. Саузерн использовала инструменты от Amper, IBM, Magenta и AIVA. По её словам, этот опыт был похож на работу с человеком, который помогает создавать музыку.
При этом с алгоритмы машинного обучения могут использовать не только композиторы, но и другие специалисты из музыкальной индустрии. Нейронные сети лучше, чем люди, справляются с классификацией объектов. Эту особенность могут использовать музыкальные стриминговые сервисы для определения жанров песен.
Более того, при помощи алгоритмов машинного обучения можно «отделить» вокал от аккомпанемента, создавать музыкальные транскрипции или сводить треки.
Кстати, если вам нравится читать о звуке в микроформате — наш Telegram-канал:
Удивительные звуки природы
Как услышать цвет
Песни воды
И нарративы в нашем блоге на «Яндекс.Дзен»:
4 известных человека, которые увлекались музыкой
11 интересных фактов из истории бренда Marshall
Подробнее о системе NSynth Super и других алгоритмах-композиторах расскажем далее.
Фото Ta Da CC
Подробнее об NSynth Super
Синтезатор NSynth Super имеет сенсорный дисплей, на котором отображается квадратная «рабочая поверхность». Музыкант выбирает несколько инструментов, звучание которых будет использоваться для создания нового звука, и назначает их углам этого квадрата.
Во время выступления исполнитель управляет воспроизводимым звуком, перемещая указатель в пределах рабочего поля. Результирующий сэмпл будет представлять собой комбинацию исходных звуков в разных пропорциях (в зависимости от близости курсора к тому или иному углу).
Новые сэмплы синтезируются при помощи алгоритма машинного обучения NSynth. Он обучался на 300 тыс. инструментальных звуков при помощи открытых библиотек TensorFlow и openFrameworks. В его работе также применяется модель WaveNet.
Для генерации новых сэмплов NSynth анализирует 16 характеристик входящих звуков. Затем они линейно интерполируются для создания математических представлений каждого аудиосигнала. Эти представления декодируются обратно в звуки, которые имеют объединенные акустические качества тех, чтобы ли на входе алгоритма.
Использовать NSynth Super можно с любым MIDI-источником: например, DAW, синтезатором или секвенсором. Как работает NSynth Super вы можете посмотреть в этом видео. В нем исполнитель «смешивает» звуки ситара, электрического фортепиано и др:
NSynth Super — экспериментальный инструмент, потому не будет продаваться как коммерческий продукт. Однако его код и схема сборки выложены на GitHub.
Кто еще использует МО для создания музыки
В проекте Magenta работают и над другими технологиями, связанными с машинным обучением. Одна из них — модель MusicVAE, которая может «смешивать» мелодии. На её основе уже создано несколько веб-приложений: Melody Mixer, Beat Blender и Latent Loops. MusicVAE (и другие модели от Magenta) собраны в открытой библиотеке Magenta.js.
Над алгоритмами для создания музыки работают и другие компании. Например, в Sony Computer Science Laboratories реализуют проект Flow Machines. Их система ИИ способна анализировать различные музыкальные стили и использовать эти знания для создания новых композиций. Примером его работы может быть музыка для песни Daddy’s Car в стиле The Beatles.
В рамках проекта Flow Machines создано несколько приложений, например, FlowComposer, помогающий музыкантам писать музыку в заданном стиле, и Reflexive Looper, самостоятельно дополняющий недостающие инструментальные партии. При помощи решений Flow Machines даже записали и выпустили музыкальный альбом Hello World.
Еще пример — стартап Jukedeck. Он разрабатывает инструмент для создания композиций с заданным настроением и темпом. Компания продолжает развивать проект и приглашает к сотрудничеству разработчиков и музыкантов. Вот пример композиции, созданной алгоритмами машинного обучения Jukedeck:
Похожий инструмент создает компания Amper. Пользователь может выбрать настроение, стиль, темп и продолжительность композиции, а также инструменты, на которых она будет «сыграна». Приложение синтезирует музыку в соответствии с этими требованиями.
Над системами ИИ для написания музыки работает и компания Popgun. Они разрабатывают алгоритмы, способные писать оригинальные поп-песни. Также исследования в этой сфере проводит стриминговый гигант Spotify. В прошлом году компания открыла лабораторию в Париже, которая будет заниматься созданием инструментов на базе систем ИИ.
Заменит ли ИИ композиторов?
Хотя некоторые компании разрабатывают алгоритмы для создания музыки, их представители подчеркивают, что эти инструменты призваны не заменить музыкантов и композиторов, а наоборот, дать им новые возможности.
В 2017 году американская певица Тэрин Саузерн выпустила альбом, записанный с помощью систем искусственного интеллекта. Саузерн использовала инструменты от Amper, IBM, Magenta и AIVA. По её словам, этот опыт был похож на работу с человеком, который помогает создавать музыку.
При этом с алгоритмы машинного обучения могут использовать не только композиторы, но и другие специалисты из музыкальной индустрии. Нейронные сети лучше, чем люди, справляются с классификацией объектов. Эту особенность могут использовать музыкальные стриминговые сервисы для определения жанров песен.
Более того, при помощи алгоритмов машинного обучения можно «отделить» вокал от аккомпанемента, создавать музыкальные транскрипции или сводить треки.
Кстати, если вам нравится читать о звуке в микроформате — наш Telegram-канал:
Удивительные звуки природы Как услышать цвет Песни водыИ нарративы в нашем блоге на «Яндекс.Дзен»:
4 известных человека, которые увлекались музыкой 11 интересных фактов из истории бренда MarshallКомментарии (6)
Antervis
11.08.2018 18:13Заменит ли ИИ композиторов?
только то большинство, которое умудряется делать хуже
Чтобы научиться генерировать хорошую музыку, система должна научиться выделять метрики качества и стиль композиций. А переиспользовав эти метрики можно будет наконец-то создать хорошую персонализированную подборку музыки.AlexTOPMAN
11.08.2018 20:44Как у вас язык вообще повернулся назвать «этих» композиторами? ;)
Мне кажется, хорошую музыку не получить одним микшированием из уже чего-то известного (только ли сэмплы или ещё и + стиль и аранжировка — не важно). В определённой степени приятную — да. Хорошую (т.е. явно уникальную) и запоминающуюся (не путать с навязчивой) — нет. Здесь нужно выходить за границы уже известного. Пробовать новое, а не создавать «разные сорта одного и того же», чем сильно сквозит в каждом видео этой публикации.
P.S. Что-то совсем мало кто стал воспринимать музыку как обучающий тебя чему-то элемент, а не исключительно как сервис, примера: «давай, по-релаксируй меня сейчас, а то я устал».
Gryphon88
13.08.2018 15:59Ещё никто не пробовал работать с голосом, например, выделить манеру исполнения определенного вокалиста и заменить вокал в песне? Очень грустно бывает, когда в группе меняется вокалист, который не вытягивает, а стиль исполнения меняется незначительно (пример — Arch Enemy).
lowtech
Ничего информационного в материале нет. Когда на хабре уже сделают фильтр сообщений от компаний? Вода пустая — идиоту ясно как работает синтез, приплели слово АИ для увлечения аудиории разве что.
KatbertW
Вам никто не мешает показать класс и написать что-то самому «без воды»