Приложение ScoreCloud Songwriter компании DoReMir Misic Reserch AB (Швеция) предназначено как для профессиональных, так и для начинающих музыкантов, создающих и реализующих музыкальные партии или отдельные песни внутри этого продукта.

Компания DoReMir выбрала модель облачного распознавания нот и применение искусственного интеллекта для создания нескольких распознанных потоков. Распределенное музыкальное хранилище находится внутри облака AWS.

Это означает, что любая ваша музыкальная партия будет сначала локально сохранена в формате ogg или mp3, потом загружена на AWS.

После загрузки в облако к вашему музыкальному файлу будут применены следующие алгоритмы: разбиение его на отдельные музыкальные токены, применение к отдельным музыкальным токенам методики по определению тональности, определению музыкального размера и определению ведущих мелодию голосов и аккомпанирующих инструментов.

Отметим, что распознавание музыкальной информации может быть трехуровневое:

1) распознавание только голоса;

2) распознавание голоса+инструментов;

3) распознавание только инструментальной партии.

В этой статье описываются следующие тесты для распознавания: голоса мужского, голоса женского, голоса женского с гитарной партией, мужского голоса с гитарной партией, исполнения а капелла мужского и женского хоров, записи популярной музыки, записи оркестровой классической музыки и популярных оперных произведений.

Для работы с каждым музыкальным файлом программа сама выбирала оптимальный алгоритм по распознаванию, распределяя голоса по автоматически определенным потокам, и далее определяла, какие партии будут воспроизводиться в MIDI при взаимодействии с этим партиями пользователя.

При этом автор попытался определить, насколько качественно происходило распознавание. Признаюсь, что музыкального образования у меня нет, полагаюсь только на опыт работы с детским хором и небольшой стаж сочинительства.

Для работы с итогами распознавания всех указанных фрагментов было выбрано три алгоритма взаимодействия.

Первый алгоритм — взаимодействие через экспорт распознанного фрагмента в MIDI формат.

Второй алгоритм — экспорт нот в виде графических образов страниц.

Третий алгоритм — экспорт в виде музыкальных файлов, которые программа ScoreCloud Songwriter сыграла как MIDI файл и транспонировала его в воспроизводимый в Windows‑ проигрователем звук.

Тестирование проводилось на Windows 7 на встроенный в материнскую плату звуковой кодек ALC 898. Системные требования к операционной системе — 4х ядерный процессор 3,3ГГц, оперативная память — 16ГБ, место на диске — не менее 1ГБ + 2-кратный объем всех распознаваемых треков в WAV. Программа самими авторами рекомендуется к установке на Windows 10 с чуть большими ресурсами.

Установлены последние версии драйверов от материнской платы, установлены следующие программы: ScoreCloud Studio для контроля облака, Audacity 2.1.0, MuseScore 3, Audiveris Music Scanner 5.2.5. О работе со ScoreCloud Studio читайте в моей более ранней статье.

Из этих программ я уже выделял Audiveris Music Scanner 5.2.5 - отличное open-source решение как по автоматизированному, так ручному распознаванию нот с листа. Если нет слуха, но есть напечатанные ноты, то ее применение и освоение - первый шаг.

Первоначально автор статьи занимался с программой ScoreCloud Studio с бесплатно доступной версией с урезанными возможностями по распознаванию. Однако, по мере углубления в тему, автор связался с разработчиками и в январе 2023 года получил первую версию ScoreCloud Songwriter на тестирование под Windows 10. Заметим, что у этой программы также имеется версия Express, рассчитанная на работу под ОС для iPad и iPhone.

Автору статьи выдали лицензию на профессиональные версии продуктов ScoreCloud Songwriter и ScoreCloud Studio, в которых доступны все возможности по взаимодействию с музыкой внутри Windows 7 или 10.

Несмотря на рекомендуемую авторами ScoreCloud Songwriter конфигурацию и работу в Windows 10, автор использовал Windows 7.

Инструменты на закладке Notes

Инструменты на закладке Song

Работа с инструментами закладки Sheet

• MIDI Melody — прослушивать/заглушить MIDI поток мелодии.

• MIDI Accompaniment — прослушивать/заглушить MIDI поток аккомпанемента.

• Accomp. Pattern — выбрать/не выбрать модель аккомпанемента.

• Drum Pattern — выбрать/не выбрать мелодию ударных.

• Melody Recording — прослушивать/заглушить выделенную искусственным интеллектом (ИИ) мелодию песни.

• Accompaniment Rec. — прослушивать/заглушить выделенную ИИ мелодию аккомпанемента.

• Chord Symbols — скрыть/показать символы аккорда.

• Gitar Diagrams — скрыть/показать диаграмму аккорда.

• Melody Notation — скрыть/показать нотоносец мелодии.

• Lyrics — скрыть/показать распознанный текст песни.

• Accomp. Notation — скрыть/показать нотоносец аккомпанемента.

Закладка My Songs

Работа с программой

Комментарий к рекомендуемым параметрам преобразования от авторов программы.

ffmpeg -i AnnaSnegina.mp4 -ss 00:00:00 -to 00:05:00 -ar 44100 -ac 1 -b:a 256k -af  "lowpass=20500"  AnnaSnegina05.mp3

Внимательно следим за длиной файла либо за длительностью записываемой фонограммы

Рассмотрим фазы распознавания и ошибки при их осуществлении

1. Upload

   Processing Recording — обработка записи.

   Upload to Server — загрузка на сервер.

2. Vocals

   Extracting Voice — извлечение голосов.

   Detecting Melody Notes — выделение нот мелодии.

   Detecting Lyrics — выделение текста.

3. Accompaniment

   Extracting Instrumentals — извлечение инструментов.

   Detecting Onsets — детектирование начала звучания.

   Detecting Instrument Notes — определение нот у инструментов.

4. Lead Sheet

   Downloading Results — выгрузка результата

   Analizing Music — анализ музыки

   Generating Chord Symbols — генерация символов аккордов.

Надо заметить, что в новой версии программы все фазы работы проходят заметно быстрее.

Версии программ и цены ее приобретения

Результат работы программы:

При тестировании были выявлены следующие положительные моменты.

Если ведется сольное распознавание мужского голоса, женского голоса; женского голоса или мужского голоса плюс инструмент, причем инструмент гитара или фортепьяно, то распознавание практически находится на уровне 90%-95% качества.

Если говорить о более серьезной работе: распознавании опер, оперетт, распознавании хоров мужских и женских голосов, то программа теряет свое качество по нескольким параметрам.

Выявленные недостатки при распознавании потока музыки:

1) практически невозможно захватить кульминацию музыки, невозможно сконцентрировать распознавание какими‑то отдельными фрагментами;

2) необходимо «захватывать» целиком произведения, но у программы есть ограничения по длительности (до 1 минуты);

3) для того, чтобы захватить фрагменты, большие 1 минуты по длительности, автором делалось разбиение файлов при помощи утилиты ffmpeg на минутные интервалы. Эти минутные интервалы далее подавались на вход ScoreCloud Songwriter, затем полученные MIDI склеивались во внешнем музыкальном редакторе;

4) в результате деления на минутные фрагменты, каждая из частей музыкального произведения получала свою тональность. При этом сдвигался диапазон нот на солирующих голосах или генерировались сравнительно сложные ноты, но не для своих партий. Были замечены особенности внутри вокальных партий. Чаще всего это были тремоло или вибрато, иногда обычная трель.

К положительным моментам использования программы относится то, что с ней может работать человек, не имеющий музыкального образования.

Алгоритм действий следующий.

Пользователь берет любую готовую фонограмму и загружает ее для распознавания внутрь этой программы. Если требуется обработка после распознавания, то внутри программы есть нотный редактор (здесь и в ScoreCloud Studio), который позволяет переставлять ноты с места на место и таким образом создавать правильную партитуру.

Однако, если необходимо редактирование нот, то надо использовать ScoreCloud Studio, а не ScoreCloud Songwriter.

Каждая из партий, которые были представлены в статье, содержала хотя бы один явно солирующий инструмент.

В случае, если это были не живые, а синтезированные инструменты, «безжизненный звук», то распознавание шло правильно.

В этом нас также могут убедить примеры работы, которых на сайте программы очень много, и, самое главное, они все сделаны самой программой. Если же нужно распознать хоровое пение, то здесь возникает вопрос разбиения на более короткие фрагменты, устранение вибрато из голосов солистов. При этом можно столкнуться с невозможностью определения правильной тональности.

Распознавание текстовой партии идет на английском или шведском языках. Точность распознавания сравнительно высокая для протестированных автором фрагментов.

Итоги статьи

На рынке музыкальных программ бытового и полупрофессионального плана в январе 2023 года под Windows появилась новая «звезда» распознавания и применения искусственного интеллекта в музыке. Технологии ИИ реализованы в приложениях ScoreCloud Songwriter и ScoreCloud Studio. Они позволяют любому музыканту‑любителю создавать новую партию, распознавать нотную партию, если он берет ее откуда‑то из готовых источников. Также имеются возможности распознавания с концертного исполнения, создания партитуры из множества инструментов с применением других нотных редакторов, импорт партитуры внутрь приложений.

Более ранние статьи автора о системе распознавания нот с листа и системе распознавания нот при помощи SoundCloud Studio помогут начинающему музыканту сориентироваться в ситуации, когда нужно будет создавать большое количество нот, звуков и музыкальных партий.

На текущий момент компания DoReMir находится в состоянии развития своего продукта (версия 1.0.7), идет на контакт с музыкантами, отлаживает отдельные модули, перенастраивает систему искусственного интеллекта, доделывает работу с облаком.

C точки зрения создания автоаранжировки, работы в режиме автокомпозитора, работы с набором музыкальных банков и инструментов, система из двух программ распознавания ScoreCloud Songwriter и ScoreCloud Studio очень удобна для музыканта‑любителя.

Автор считает, что на текущий момент на музыкальном рынке у этих программ лучшее соотношение цена‑качество. Остальные программы стоят заметно дороже.

Распознанные произведения и исполнительские коллективы

Театр Новороссийска – О, сколько трепетных минут...