Привет, поклонники музыки! Думали ли вы о том, что наступит день, когда нейронные сети начнут генерировать музыкальные композиции в различных жанрах, начиная от Heavy Metal и заканчивая 80-ми? Недавно я выпустил большой апдейт для своего проекта с открытым исходным кодом «Нейронное радио», где музыка и подкасты созданы нейронными сетями. Однако в первых релизах музыка была без слов, и, мягко говоря, слабая. Но сегодня все изменилось. Качество музыки улучшилось, и появилась музыка со словами и голосами под жанры.
Если вас интересует, как развивалось «Нейронное радио» и что использовалось ранее, вы можете прочитать статью на Хабре.
Сервис «Нейронное радио» изначально я создавал для себя, но летом этого года решил открыть его для других людей. Чем больше слушателей, тем лучше сервис становится согласно отзывам и комментариям. Вот как он выглядел в первых релизах.
Я экспериментировал с музыкой, дорабатывал AudioCraft, экспериментировал с so-vits-svc-5.0 и DiffSinger, чтобы извлечь интересные звуки.
Что изменилось? Давайте начнем с основного. Теперь есть музыка как с текстами, так и без. Я генерирую и публикую композиции в таких жанрах, как Neural Metal (музыка в стиле Heavy Metal), Neural 80s (музыка в стиле GTA Vice City), Neural Techno, Neural Lofi и, в преддверии праздников, Neural Christmas.
Музыка играет non-stop, но я также создал плейлист на YouTube, где вы можете найти и сохранить то, что вам понравится. Поскольку музыкальные треки я создавал нейронными сетями с идеей всеобщей доступности, они доступны для использования на YouTube в ваших видеороликах и проектах.
На данный момент у меня есть два видео. Первое — Neural Synthwave Music — это музыка со словами, сочетающая в себе холодные биты, неоновую атмосферу и ностальгию по 80-м, подобно GTA Vice City. Послушайте, не скажете, что голос синтезирован.
Второе — Neural Christmas, музыка без слов. Я добавил укулеле и саксофон, в рождественский ритм, пытаясь узнать, что из этого выйдет. Только послушайте...
Больше жанров уже доступно на Нейронном радио. Если у вас есть предложения относительно жанров и треков, которые можно создать с помощью нейронных сетей, пишите, я их добавлю.
Кроме того, я создаю анимацию с использованием нейронных сетей. Сначала я генерирую изображение в Stable Diffusion в нужном мне стиле, затем анимирую его в Gen-2. Для обеспечения единого стиля для всех кадров я использую свое приложение Wunjo AI, так как Gen-2 отходит от стиля, в котором я рисую. Модель в Stable Diffusion и Wunjo AI одна и та же — SD1.5 Ghibli Animation.
Мне особенно нравится жанр Neural Metal со словами. Чтобы переключиться с музыки без слов на композиции со словами, необходимо нажать кнопку 2D. Это включит режим 3D, что означает новый звуковой канал.
Вся анимация в режиме 3D создается нейронными сетями. В будущем я планирую пересоздать всю пиксельную анимацию 2D также с помощью нейронных сетей, создав плавный переход из 2D в 3D и обратно.
Недавно я выложил в открытый доступ два подкаста: на русском и английском, созданных с использованием нейронных сетей, и добавил уже человеческий подкаст, со смыслом, который сам слушаю. Про стартапы и их секреты.
Также на сервисе есть Нейронная игра «кликер», просто для релаксации в пиксельном стиле. Нажимайте и расслабляйтесь, снимая стресс. Вот и все!
Пожелания по музыке вы можете написать в комментариях телеграм-канала, посвященного моим проектам. Сам код Нейронного радио открыт, так проект полностью с открытым исходным кодом, и вы можете использовать его у себя или дорабатывать под свои нужды.
Комментарии (21)
alan008
22.12.2023 07:20Чёрт, это нереально круто!
Wladradchenko Автор
22.12.2023 07:20Спасибо. Есть еще идея создать историю, чтобы человек каждый раз включая сервис, видел, что и жизнь персонажа из анимации меняется от времени суток и года
IvanPetrof
22.12.2023 07:20Одно время "играл" в игру Годвиль. Вся суть игры - следить за текстовыми похождениями персонажа и иногда направлять его в нужную сторону своей мудрой волей. Но, в принципе, интересно было даже просто иногда заходить и читать что случилось с героем за то время, пока ты отсутствовал (жизнь героя идёт сама собой независимо).
Вот если туда ещё и нейросети прикрутить...
Wladradchenko Автор
22.12.2023 07:20Идея классная. Можно добавить просто страницу где будет каждый день генерироваться допустим текст в дневнике, как прошёл день из жизни персонажа. На выбор которого влияют все слушали Нейронного радио.
checkpoint
22.12.2023 07:20Ага, отростает борода и хаер, а на лице появляется загар от ЭЛТ монитора.
PS: Видеоряд нейронка подсмотрела у Lofi Girl ?
Wladradchenko Автор
22.12.2023 07:20Делаю плейлист в стиле Lofi Girl, Chill Out, и Chilli Music, но со своим персонажем и своей историей в стиле Ghibli, с большим количеством жанров + со словами и без них. Изображения создаются в SD1.5, Gen-2 анимирует как может. История о программисте, странно, если бы он за компьютером не сидел. Он будет и за компьютером, и за монитором, и за ноутбуком, и за телефоном, и за продуктами в магазине, однако в каждом видео будут скрытые пасхалки.
При этом появятся истории, которые вы не найдете в тех каналах. Потому что там персонажи другие, со своей концепцией. Lofi Girl представляет собой студентов, которые учатся, что-то читают. Chilli Music просто история про Симпсонов, Chill Out история о еноте и как он с другими животными тусуется. Казалось бы, все такое похоже, но абсолютно разное, если углубиться.
Вот сейчас, работаю над этим кадром, чтобы поскорее выпустить на Ютюб версию с Heavy Metal.
tw0face
22.12.2023 07:20Подкастеры вздрогнули)
Wladradchenko Автор
22.12.2023 07:20Нейронные сети, еще не научились делать душевные разговоры, такие какие могут быть в подкастах))
vova_sam
22.12.2023 07:20интересно, что не было желания сделать техно - мне кажется, там генерация будет неотличима от оригинала
Wladradchenko Автор
22.12.2023 07:20Привет. Так там есть жанр Neural Techno))
В самом веб сервисе. Про Ютюб, будет постепенно появляться, анимация много времени на вычисления занимает.
Написал музыкальный трек про Хабр, сгенерируется анимация и в плейлисте появится.
schebotar
22.12.2023 07:20Очень круто! Послушал Metal волну, мне не хватило женского и экстрим вокала (гроул, скриминг).
Wladradchenko Автор
22.12.2023 07:20Со временем треков будет больше. В ближайшее время сделаю выпуск на Ютюбе музыки которой есть по Neural Metal со словами
vadimk91
22.12.2023 07:20Послушал Neural Synthwave Music - да, не понять, что это сгенерировано по алгоритмам, а не просто микс "музыки для супермаркетов". Хотя этот стиль я не люблю, еще до нейросетей подобные треки мне казались слишком однотипным.
Кстати, сейчас все авторы контента в отечественной соцсети вк страдают, что контакт по новым алгоритмам уронил практически всем просмотры, для поднятия охвата требуется все время выкладывать новые клипы (источник: https://vk.com/wall-73662138_873801) .
Вот непаханое поле для генерации подобного контента. Это конечно могло быть неудачной шуткой, но вот "клиповое мышление" реально побеждает.
2PAE
22.12.2023 07:20Откуда берете тексты? Русских нет потому что совсем будет плохо?
Поверх видео с ютуба запустил перевод от Яндекса. Ну.. вышло забавно.
Думаю надо больше выбора текстов. В идеале подгрузка своих.
Или если замыкаться, то сгенерированные тексты.
Wladradchenko Автор
22.12.2023 07:20Привет. Просто даётся тема для ChatGPT, например для песни о Хабре: write a song about habr portal where people can find news about IT and is wonderful community. song has to be in heavy metal style. one verse, one chorus. С русским языком не пробовал и не делал, просто потому что когда знаешь о чем поется не так круто, когда не знаешь))
Например в видео, которое будет в стиле Heavy Metal вы часто услышите слова electric guitar, code, programming, battle, road, night. И если слушать песни на родном языке, где одни и те же слова часто встречаются мне кажется устанешь.
Wladradchenko Автор
22.12.2023 07:20И ещё ролик с музыкой в стиле Neural Heavy Metal. Добавил туда две песни про Хабр.
Wladradchenko Автор
И ещё ролик с музыкой в стиле Neural Heavy Metal. Добавил туда две песни про Хабр.