Очередной этап разработки гитары завершен и мы наконец запустили кампанию на Кикстартере!

После публикации предыдущей статьи прошло много времени, наполненного пандемиями, чипапокалипсисами, санкциями, дискриминациями, войнами, блокировками счетов и прочими невзгодами. Все это значительно отсрочило запуск нашего Кикстартера. Но сложа руки мы не сидели. Мы изготовили несколько полнофункциональных красивых прототипов, я существенно доработал аппаратную и софтовую части гитары и мы полностью переработали мобильное приложение.

Изготовление механической части заняло практически все время, было очень сложно. Но результат оказался достойным. Для изготовления использовалось множество техпроцессов: 3д печать разными пластиками с покраской, фрезеровка и анодирование алюминия, нанесение маркировки, литье и overmolding силикона.

Все заявленные в предыдущей статье функции удалось реализовать. Мы собрали очень много фидбека по UX, так что однозначно будут изменения в конструкции в случае успешного краудфандинга. Они коснутся расположения кнопок, распределения масс, чувствительности датчиков, надежности подпружиненных контактов и узла сгибания.

В результате работы над софтовой частью и приложением появилось несколько новых режимов:

Режим игры по табулатурам

В этом режиме можно выбрать песню из списка табулатур, после чего гитара будет показывать диодами как ее играть. На каждом шагу она ждет правильного выполнения и переходит к следующему. Приложение оценивает правильность игры и выдает баллы в конце.

Также можно создавать свои собственные табулатуры и мы даже сделали для этого специальную клавиатуру для ввода символов. В будущем планируем подключить парсинг стандартных табулатур Guitar Pro и облачную библиотеку. Предстоит большая работа с лицензиями на них. Если у кого-то из читателей есть опыт в вопросах лицензий, будем благодарны консультации.

Режим упрощенной импровизации

Этот режим импровизации оказался очень удачным. Благодаря подсвечиванию на грифе гитары связанных друг с другом нот (гамма или пентатоника), которые хорошо сочетаются друг с другом, пользователю не нужно тратить месяцы на изучение музыкальной теории. Достаточно просто выбрать нужную тональность на гитаре или в приложении. При желании неподходящие ноты могут быть вообще проигнорированы системой. Тогда на гитаре будет просто невозможно сыграть неправильные ноты.

Режим импровизации с помощью ИИ

Но мы захотели пойти дальше и сделать режим еще более простой импровизации. Задумка в том, чтобы даже случайное перебирание струн и ладов приводло к адекватной приятной мелодии в рамках выбранного жанра, причем характер перебирания нот влиял на темп и характер выдаваемой мелодии.

Один из вариантов решения задачи - использование нейронной сети, обученной на базе множества midi файлов внутри заданного жанра.

Пока этот режим будет работать только в нашем приложении, но если соберем достаточную сумму, то, может быть, поставим в гитару stm-ку пожирнее и засунем нейронку в нее.
Мы только в начале пути разработки этого режима. Если среди читателей Хабра есть специалисты по нейронным сетям, генеративной музыке или теории музыки, желающие поучаствовать в проекте, прошу написать мне.

Встроенный синтезатор

К встроенному в гитару jack 3.5мм можно подключить наушники или портативную колонку и играть без подключения к внешним устройствам. Встроенный звук, конечно, не ахти, но содержит более 70-ти инструментов от пианино и гитары до барабанов, органа и даже пистолетных выстрелов. При этом ничего не мешает подключить к телефону или компу и записывать миди параллельно.

Вибрато/бенды

Для полноценной игры многим не хватает поддержки таких гитарных техник, как бенды и вибрато. Я наивно думал, что можно использовать модуляцию питч бенда наклоном гитары по акселерометру, но привычные движения рукой это не заменит. Поэтому я решил встроить в гриф датчики силы и интерпретировать изменение силы нажатия на лады как натягивание струн поперек грифа и сдвигать pitch соответствующей струны.

Так что теперь можно забиндить наклон гитары к другим эффектам.

Режим драм машины

Теперь гитару можно положить на стол и настукивать биты на грифе прямо как на midi контроллерах. Осталось адаптировать корпус гитары так, чтобы он не шатался на плоском столе.

Режимы тренажера и обучения в игровой форме

Для изучения нот, аккордов, гамм и отработки мануальных навыков можно включить режим тренажера или аркадную игру в стиле Guitar Hero.

Также за это время мы сняли финальное промо видео:

Мы только что запустили кампанию! Кому интересно следить за новостями проекта или оформить предзаказ – прошу пожаловать на Kickstarter и на наш сайт Sensy. Впереди еще очень много работы и мы надеемся на вашу поддержку.

Спасибо за внимание! Буду рад обратной связи в комментариях.